Hadoop MapReduce Join & Counter s primjerom

Što je Join u MapReduceu?

Operacija spajanja MapReduce koristi se za kombiniranje dva velika skupa podataka. Međutim, ovaj proces uključuje pisanje puno koda za izvođenje stvarne operacije spajanja. Spajanje dva skupa podataka započinje usporedbom veličine svakog skupa podataka. Ako je jedan skup podataka manji u usporedbi s drugim skupom podataka, tada se manji skup podataka distribuira na svaki podatkovni čvor u klasteru.

Nakon što se pridružite MapReduce distribuira se, Mapper ili Reducer koristi manji skup podataka za pretraživanje odgovarajućih zapisa iz velikog skupa podataka, a zatim kombinira te zapise kako bi formirao izlazne zapise.

Vrste pridruživanja

Ovisno o mjestu gdje se stvarno spajanje izvodi, spajanja u Hadoopu se klasificiraju u dvije vrste.

1. Spoj na strani karte — Kada maper izvrši spajanje, to se naziva spajanje na strani mape. U ovoj vrsti, spajanje se izvodi prije nego što funkcija mapiranja zapravo konzumira podatke. Obavezno je da ulaz u svaku mapu bude u obliku particije i da bude sortiran. Također, mora postojati jednak broj particija i moraju biti sortirane prema ključu spajanja.
2. Spoj na smanjenoj strani — Kada spajanje izvodi reduktor, to se naziva spajanje na strani redukcije. U ovom spajanju nije potrebno imati skup podataka u strukturiranom obliku (ili particioniranom). Ovdje, obrada na strani mape emitira ključ spajanja i odgovarajuće korte obje tablice. Kao rezultat ove obrade, svi kortezi s istim ključem spajanja padaju u isti reduktor, koji zatim spaja zapise s istim ključem spajanja.

Cjelokupni tijek procesa spajanja u Hadoopu prikazan je na donjem dijagramu.

Nakon što su dvije varijante razjašnjene, sljedeći odjeljak prolazi kroz spajanje na strani smanjenja na dvije male datoteke odjela.

Kako spojiti dva skupa podataka: primjer MapReduce

Postoje dva skupa podataka u dvije različite datoteke (prikazano dolje). Ključ Dept_ID je zajednički u obje datoteke. Cilj je koristiti MapReduce Join za kombiniranje ovih datoteka.

Ulazni: Ulazni skup podataka je txt datoteka, NazivOdjela.txt i JačinaOdjela.txt

Preuzmite ulazne datoteke odavde

Osigurajte da imate Hadoop instalirano. Prije nego što započnete s primjerom MapReduce Join-a, promijenite korisnika u 'hduser' (id koji se koristi tijekom konfiguracije Hadoop-a, možete se prebaciti na korisnički ID koji se koristi tijekom vaše konfiguracije Hadoop-a).

su - hduser_

Upit se mijenja na Hadoop račun, kao što je prikazano u nastavku.

Korak 1) Kopirajte zip datoteku na mjesto po vašem izboru

Korak 2) Raspakujte Zip datoteku

sudo tar -xvf MapReduceJoin.tar.gz

Bivši/atracImena datoteka se pomiču dok tar raspakira arhivu.

Korak 3) Idite u direktorij MapReduceJoin/

cd MapReduceJoin/

Korak 4) Pokrenite Hadoop

$HADOOP_HOME/sbin/start-dfs.sh

$HADOOP_HOME/sbin/start-yarn.sh

Oba skripta ispisuju demone koje pokreću.

Korak 5) DeptStrength.txt i DeptName.txt su ulazne datoteke koje se koriste za ovaj primjer programa MapReduce Join.

Ove datoteke je potrebno kopirati u HDFS pomoću donje naredbe -

$HADOOP_HOME/bin/hdfs dfs -copyFromLocal DeptStrength.txt DeptName.txt /

Korak 6) Pokrenite program pomoću donje naredbe-

$HADOOP_HOME/bin/hadoop jar MapReduceJoin.jar MapReduceJoin/JoinDriver/DeptStrength.txt /DeptName.txt /output_mapreducejoin

Naredba se prvo ponavlja, a zatim zadatak izvještava o svom napretku na konzoli.

Korak 7) Nakon izvršenja, izlazna datoteka (nazvana 'part-00000') bit će pohranjena u direktoriju /output_mapreducejoin na HDFS-u.

Rezultati se mogu vidjeti pomoću sučelja naredbenog retka

$HADOOP_HOME/bin/hdfs dfs -cat /output_mapreducejoin/part-00000

Rezultati se također mogu vidjeti putem web sučelja kao-

Sada odaberite 'Pregledaj datotečni sustav' i idite do /output_mapreducejoin

Otvori dio-r-00000

Prikazani su rezultati

NAPOMENA: Imajte na umu da ćete prije pokretanja ovog programa sljedeći put morati obrisati izlazni direktorij /output_mapreducejoin

$HADOOP_HOME/bin/hdfs dfs -rm -r /output_mapreducejoin

Alternativa je korištenje drugog imena za izlazni direktorij.

Spojevi vam govore kako podaci izgledaju. Brojači, o kojima će biti riječi u nastavku, govore vam kako se ponašao posao koji ih je proizveo.

Što je brojač u MapReduceu?

Brojač u MapReduceu je mehanizam koji se koristi za prikupljanje i mjerenje statističkih informacija o MapReduce poslovima i događajima. Brojači čuvaju track različitih statistika poslova u MapReduceu, poput broja izvršenih operacija i napretka operacije. Brojači se koriste za dijagnosticiranje problema u MapReduceu.

Hadoop brojači slični su stavljanju poruke dnevnika u kod za mapiranje ili smanjenje. Ove informacije mogu biti korisne za dijagnozu problema u obradi posla MapReduce.

Obično su ovi brojači u Hadoopu definirani u programu (map ili reduce) i povećavaju se tijekom izvršavanja kada se dogodi određeni događaj ili uvjet (specifičan za taj brojač). Vrlo dobra primjena Hadoop brojača je za track valjanih i nevaljanih zapisa iz ulaznog skupa podataka.

Vrste MapReduce brojača

Postoje u osnovi 2 vrste MapReduce brojača

1. Ugrađeni brojači u Hadoopu: Postoje neki ugrađeni Hadoop brojači koji postoje po poslu. Ispod su ugrađene grupe brojača-
   • Brojači zadataka MapReduce — Prikuplja podatke specifične za zadatak (npr. broj ulaznih zapisa) tijekom vremena njegovog izvršavanja.
   • Brojači datotečnog sustava — Prikuplja informacije poput broja bajtova koje je zadatak pročitao ili napisao.
   • Brojači FileInputFormat — Prikuplja informacije o određenom broju bajtova pročitanih putem FileInputFormat-a.
   • Brojači FileOutputFormat — Prikuplja informacije o određenom broju bajtova zapisanih putem FileOutputFormat-a.
   • Brojači poslova — Ovi brojači bilježe statistiku cijelog posla, kao što je broj zadataka pokrenutih za posao.
2. Korisnički definirani brojači: Uz ugrađene brojače, korisnik može definirati vlastite brojače koristeći slične funkcionalnosti koje pružaju programski jezici. Na primjer, u Java, 'enum' se koristi za definiranje korisnički definiranih brojača.

💡 Napomena o verziji: brojače poslova održavao je odjel za posaoTracker pod MRv1. Na YARN-u ta uloga pripada MapReduce ApplicationMasteru, tako da nazivi brojača ostaju, ali se komponenta koja ih izvještava promijenila.

Posao ne može deklarirati neograničen broj brojača. mapreduce.job.counters.max postavka ograničava ukupan broj po zadatku na 120 prema zadanim postavkama, a zadatak koji deklarira više ne uspijeva s LimitExceededException, pa su brojači namijenjeni za nekolicinu agregiranih signala, a ne za brojanja po ključu.

Primjer brojača

Primjer MapClass s brojačima za brojanje nedostajućih i nevažećih vrijednosti. Ulazna datoteka korištena u ovom vodiču Naš skup ulaznih podataka je CSV datoteka, SalesJan2009.csv

public static class MapClass
            extends MapReduceBase
            implements Mapper<LongWritable, Text, Text, Text>
{
    static enum SalesCounters { MISSING, INVALID };
    public void map ( LongWritable key, Text value,
                 OutputCollector<Text, Text> output,
                 Reporter reporter) throws IOException
    {
        
        //Input string is split using ',' and stored in 'fields' array
        String fields[] = value.toString().split(",", -20);
        //Value at 4th index is country. It is stored in 'country' variable
        String country = fields[4];
        
        //Value at 8th index is sales data. It is stored in 'sales' variable
        String sales = fields[8];
      
        if (country.length() == 0) {
            reporter.incrCounter(SalesCounters.MISSING, 1);
        } else if (sales.startsWith("\"")) {
            reporter.incrCounter(SalesCounters.INVALID, 1);
        } else {
            output.collect(new Text(country), new Text(sales + ",1"));
        }
    }
}

Gornji isječak koda prikazuje primjer implementacije brojača u Hadoop MapReduceu.

Ovdje, Prodajni pultovi je brojač definiran pomoću 'nabrajanje'. Koristi se za brojanje NEDOSTAJUĆIH i NEVAŽEĆIH ulaznih zapisa.'

U isječku koda, ako 'zemlja' ima nultu duljinu, tada mu nedostaje vrijednost i stoga se odgovarajući brojač SalesCounters.MISSING povećava.

Zatim, ako 'prodajni' polje počinje s ", tada se zapis smatra NEVAŽEĆIM. To je naznačeno povećanjem brojača SalesCounters.INVALID.

💡 Napomena API-ja: Gornji isječak koristi original org.apache.hadoop.mapred API, gdje MapReduceBase je Mapper sučelje, OutputCollector i Reporter pojavljuju se odvojeno. Trenutni kod je napisan uz org.apache.hadoop.mapreduce, gdje je jedan Context zamjenjuje kolektora i izvjestitelja, a brojač se povećava za context.getCounter(SalesCounters.MISSING).increment(1)Koncept brojača je identičan u oba.

Pitanja i odgovori