Hadoop MapReduce Join & Counter s primjerom

⚡ Pametni sažetak

MapReduce spajanja kombiniraju dva velika skupa podataka na zajedničkom ključu, bilo unutar mapera ili unutar reducera, dok MapReduce brojači prikupljaju statistiku o poslu tako da se loši zapisi mogu mjeriti, a ne nagađati.

  • 🔘 Osnove pridruživanja: Manji od dva skupa podataka distribuira se svakom podatkovnom čvoru i koristi se kao strana za pretraživanje.
  • ☑️ Spoj na strani karte: Zahtijeva da svaki ulaz bude particioniran, jednako podijeljen i sortiran prema ključu spajanja prije pokretanja funkcije mapiranja.
  • ✅ Spoj na smanjenoj strani: Ne treba particioniranje, jer svaka n-torka koja dijeli ključ spajanja završava u istom reduktoru.
  • 🧪 Obrađeni primjer: Datoteke DeptName.txt i DeptStrength.txt kopiraju se u HDFS i spajaju na Dept_ID pomoću zapakirane JAR datoteke.
  • 🛠️ Vrste brojača: Pet ugrađenih grupa brojača isporučuje se sa svakim poslom, a korisnički definirani brojači deklarirani su kao Java nabrajanje.
  • ⚠️ Upotreba brojača: Povećanje brojača za svaki nedostajući ili nevažeći zapis pretvara probleme s kvalitetom podataka u broj u izvješću o poslu.

Vodič za spajanje i brojanje u Hadoop MapReduceu s razrađenim primjerom

Što je Join u MapReduceu?

Operacija spajanja MapReduce koristi se za kombiniranje dva velika skupa podataka. Međutim, ovaj proces uključuje pisanje puno koda za izvođenje stvarne operacije spajanja. Spajanje dva skupa podataka započinje usporedbom veličine svakog skupa podataka. Ako je jedan skup podataka manji u usporedbi s drugim skupom podataka, tada se manji skup podataka distribuira na svaki podatkovni čvor u klasteru.

Nakon što se pridružite MapReduce distribuira se, Mapper ili Reducer koristi manji skup podataka za pretraživanje odgovarajućih zapisa iz velikog skupa podataka, a zatim kombinira te zapise kako bi formirao izlazne zapise.

Vrste pridruživanja

Ovisno o mjestu gdje se stvarno spajanje izvodi, spajanja u Hadoopu se klasificiraju u dvije vrste.

  1. Spoj na strani karte — Kada maper izvrši spajanje, to se naziva spajanje na strani mape. U ovoj vrsti, spajanje se izvodi prije nego što funkcija mapiranja zapravo konzumira podatke. Obavezno je da ulaz u svaku mapu bude u obliku particije i da bude sortiran. Također, mora postojati jednak broj particija i moraju biti sortirane prema ključu spajanja.
  2. Spoj na smanjenoj strani — Kada spajanje izvodi reduktor, to se naziva spajanje na strani redukcije. U ovom spajanju nije potrebno imati skup podataka u strukturiranom obliku (ili particioniranom). Ovdje, obrada na strani mape emitira ključ spajanja i odgovarajuće korte obje tablice. Kao rezultat ove obrade, svi kortezi s istim ključem spajanja padaju u isti reduktor, koji zatim spaja zapise s istim ključem spajanja.

Cjelokupni tijek procesa spajanja u Hadoopu prikazan je na donjem dijagramu.

Dijagram toka procesa koji uspoređuje spajanje na strani mape sa spajanjem na strani smanjenja u Hadoopu
Vrste spajanja u Hadoop MapReduce

Nakon što su dvije varijante razjašnjene, sljedeći odjeljak prolazi kroz spajanje na strani smanjenja na dvije male datoteke odjela.

Kako spojiti dva skupa podataka: primjer MapReduce

Postoje dva skupa podataka u dvije različite datoteke (prikazano dolje). Ključ Dept_ID je zajednički u obje datoteke. Cilj je koristiti MapReduce Join za kombiniranje ovih datoteka.

Prva ulazna datoteka s popisom ID-ova odjela uz nazive odjela

Datoteka 1
Druga ulazna datoteka s popisom ID-ova odjela uz vrijednosti snage odjela

Datoteka 2

Ulazni: Ulazni skup podataka je txt datoteka, NazivOdjela.txt i JačinaOdjela.txt

Preuzmite ulazne datoteke odavde

Osigurajte da imate Hadoop instalirano. Prije nego što započnete s primjerom MapReduce Join-a, promijenite korisnika u 'hduser' (id koji se koristi tijekom konfiguracije Hadoop-a, možete se prebaciti na korisnički ID koji se koristi tijekom vaše konfiguracije Hadoop-a).

su - hduser_

Upit se mijenja na Hadoop račun, kao što je prikazano u nastavku.

Terminal nakon prebacivanja na hduser račun pomoću naredbe su

Korak 1) Kopirajte zip datoteku na mjesto po vašem izboru

Preuzeta MapReduceJoin arhiva smještena u odabrani radni direktorij

Korak 2) Raspakujte Zip datoteku

sudo tar -xvf MapReduceJoin.tar.gz

Bivši/atracImena datoteka se pomiču dok tar raspakira arhivu.

Popis datoteka u konzoli, npr.tracpreuzeto iz MapReduceJoin.tar.gz

Korak 3) Idite u direktorij MapReduceJoin/

cd MapReduceJoin/

Shell prompt nakon promjene u direktorij MapReduceJoin

Korak 4) Pokrenite Hadoop

$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh

Oba skripta ispisuju demone koje pokreću.

Poruke pri pokretanju iz skripti HDFS i YARN daemon

Korak 5) DeptStrength.txt i DeptName.txt su ulazne datoteke koje se koriste za ovaj primjer programa MapReduce Join.

Ove datoteke je potrebno kopirati u HDFS pomoću donje naredbe -

$HADOOP_HOME/bin/hdfs dfs -copyFromLocal DeptStrength.txt DeptName.txt /

Obje ulazne tekstualne datoteke kopirane su u korijenski direktorij HDFS-a

Korak 6) Pokrenite program pomoću donje naredbe-

$HADOOP_HOME/bin/hadoop jar MapReduceJoin.jar MapReduceJoin/JoinDriver/DeptStrength.txt /DeptName.txt /output_mapreducejoin

Naredba se prvo ponavlja, a zatim zadatak izvještava o svom napretku na konzoli.

Pokretanje zapakirane jar datoteke MapReduceJoin pomoću naredbenog retka

Izlaz konzole tracpraćenje napretka posla spajanja MapReduce

Korak 7) Nakon izvršenja, izlazna datoteka (nazvana 'part-00000') bit će pohranjena u direktoriju /output_mapreducejoin na HDFS-u.

Rezultati se mogu vidjeti pomoću sučelja naredbenog retka

$HADOOP_HOME/bin/hdfs dfs -cat /output_mapreducejoin/part-00000

Zapisi o pridruženim odjelima ispisani iz HDFS-a pomoću naredbe cat

Rezultati se također mogu vidjeti putem web sučelja kao-

Početna stranica Hadoop web sučelja koja se koristi za pristup pregledniku datotečnog sustava

Sada odaberite 'Pregledaj datotečni sustav' i idite do /output_mapreducejoin

Pregledavanje prikaza HDFS datotečnog sustava do direktorija output_mapreducejoin

Otvori dio-r-00000

Odabir izlazne datoteke part-r-00000 unutar prikaza preglednika

Prikazani su rezultati

Naziv pridruženog odjela i redovi snage odjela prikazani u pregledniku

NAPOMENA: Imajte na umu da ćete prije pokretanja ovog programa sljedeći put morati obrisati izlazni direktorij /output_mapreducejoin

$HADOOP_HOME/bin/hdfs dfs -rm -r /output_mapreducejoin

Alternativa je korištenje drugog imena za izlazni direktorij.

Spojevi vam govore kako podaci izgledaju. Brojači, o kojima će biti riječi u nastavku, govore vam kako se ponašao posao koji ih je proizveo.

Što je brojač u MapReduceu?

Brojač u MapReduceu je mehanizam koji se koristi za prikupljanje i mjerenje statističkih informacija o MapReduce poslovima i događajima. Brojači čuvaju track različitih statistika poslova u MapReduceu, poput broja izvršenih operacija i napretka operacije. Brojači se koriste za dijagnosticiranje problema u MapReduceu.

Hadoop brojači slični su stavljanju poruke dnevnika u kod za mapiranje ili smanjenje. Ove informacije mogu biti korisne za dijagnozu problema u obradi posla MapReduce.

Obično su ovi brojači u Hadoopu definirani u programu (map ili reduce) i povećavaju se tijekom izvršavanja kada se dogodi određeni događaj ili uvjet (specifičan za taj brojač). Vrlo dobra primjena Hadoop brojača je za track valjanih i nevaljanih zapisa iz ulaznog skupa podataka.

Vrste MapReduce brojača

Postoje u osnovi 2 vrste MapReduce brojača

  1. Ugrađeni brojači u Hadoopu: Postoje neki ugrađeni Hadoop brojači koji postoje po poslu. Ispod su ugrađene grupe brojača-
    • Brojači zadataka MapReduce — Prikuplja podatke specifične za zadatak (npr. broj ulaznih zapisa) tijekom vremena njegovog izvršavanja.
    • Brojači datotečnog sustava — Prikuplja informacije poput broja bajtova koje je zadatak pročitao ili napisao.
    • Brojači FileInputFormat — Prikuplja informacije o određenom broju bajtova pročitanih putem FileInputFormat-a.
    • Brojači FileOutputFormat — Prikuplja informacije o određenom broju bajtova zapisanih putem FileOutputFormat-a.
    • Brojači poslova — Ovi brojači bilježe statistiku cijelog posla, kao što je broj zadataka pokrenutih za posao.
  2. Korisnički definirani brojači: Uz ugrađene brojače, korisnik može definirati vlastite brojače koristeći slične funkcionalnosti koje pružaju programski jezici. Na primjer, u Java, 'enum' se koristi za definiranje korisnički definiranih brojača.

💡 Napomena o verziji: brojače poslova održavao je odjel za posaoTracker pod MRv1. Na YARN-u ta uloga pripada MapReduce ApplicationMasteru, tako da nazivi brojača ostaju, ali se komponenta koja ih izvještava promijenila.

Posao ne može deklarirati neograničen broj brojača. mapreduce.job.counters.max postavka ograničava ukupan broj po zadatku na 120 prema zadanim postavkama, a zadatak koji deklarira više ne uspijeva s LimitExceededException, pa su brojači namijenjeni za nekolicinu agregiranih signala, a ne za brojanja po ključu.

Primjer brojača

Primjer MapClass s brojačima za brojanje nedostajućih i nevažećih vrijednosti. Ulazna datoteka korištena u ovom vodiču Naš skup ulaznih podataka je CSV datoteka, SalesJan2009.csv

public static class MapClass
            extends MapReduceBase
            implements Mapper<LongWritable, Text, Text, Text>
{
    static enum SalesCounters { MISSING, INVALID };
    public void map ( LongWritable key, Text value,
                 OutputCollector<Text, Text> output,
                 Reporter reporter) throws IOException
    {
        
        //Input string is split using ',' and stored in 'fields' array
        String fields[] = value.toString().split(",", -20);
        //Value at 4th index is country. It is stored in 'country' variable
        String country = fields[4];
        
        //Value at 8th index is sales data. It is stored in 'sales' variable
        String sales = fields[8];
      
        if (country.length() == 0) {
            reporter.incrCounter(SalesCounters.MISSING, 1);
        } else if (sales.startsWith("\"")) {
            reporter.incrCounter(SalesCounters.INVALID, 1);
        } else {
            output.collect(new Text(country), new Text(sales + ",1"));
        }
    }
}

Gornji isječak koda prikazuje primjer implementacije brojača u Hadoop MapReduceu.

Ovdje, Prodajni pultovi je brojač definiran pomoću 'nabrajanje'. Koristi se za brojanje NEDOSTAJUĆIH i NEVAŽEĆIH ulaznih zapisa.'

U isječku koda, ako 'zemlja' ima nultu duljinu, tada mu nedostaje vrijednost i stoga se odgovarajući brojač SalesCounters.MISSING povećava.

Zatim, ako 'prodajni' polje počinje s ", tada se zapis smatra NEVAŽEĆIM. To je naznačeno povećanjem brojača SalesCounters.INVALID.

💡 Napomena API-ja: Gornji isječak koristi original org.apache.hadoop.mapred API, gdje MapReduceBase je Mapper sučelje, OutputCollector i Reporter pojavljuju se odvojeno. Trenutni kod je napisan uz org.apache.hadoop.mapreduce, gdje je jedan Context zamjenjuje kolektora i izvjestitelja, a brojač se povećava za context.getCounter(SalesCounters.MISSING).increment(1)Koncept brojača je identičan u oba.

Pitanja i odgovori

Odaberite varijantu mapera kada je jedna strana dovoljno mala da se spremi u memoriju na svakom čvoru, jer u potpunosti preskače miješanje. Odaberite varijantu reducera kada su obje strane velike ili nesortirane i prihvatite dodatne mrežne troškove.

Modeli uče iz povijesne povijesti poslova kako bi predvidjeli vrijeme izvođenja, preporučili veličine podjele i broj reduktora te otkrili odstupanje od vrijednosti brojača. Također označavaju poslove čiji brojači prolivenih zapisa ili neuspjelih zadataka odstupaju izvan normalnog opsega za taj cjevovod.

Copilot stvara uvjerljive kosture mappera i reducera, ali slobodno miješa stari mapred paket s novijim mapreduce paketom u jednoj klasi, što se neće kompajlirati. Ispravite uvoze i potpise metoda prije nego što povjerujete logici.

To je mehanizam koji šalje manju datoteku svakom čvoru prije početka zadataka. Svaki maper zatim učitava tu kopiju u hash mapu i lokalno pretražuje podudaranja, što omogućuje spajanje na strani mapera.

Ispisuju se u sažetku konzole kada se posao završi, prikazuju se u povijesti poslova i web stranicama upravitelja resursa te se mogu programski čitati iz objekta posla, tako da upravljački program može izvršiti assertaciju na njih i propustiti loše pokretanje.

Jedan objekt Context. Prenosi posao koji su OutputCollector i Reporter koristili za podjelu između sebe, pa se izlaz zapisuje i brojači povećavaju putem istog handlea koji se prosljeđuje metodi map.

Za većinu novinarskih radova, br. A Pridruživanje HiveQL-u kompilira se u isti obrazac miješanja i spajanja u nekoliko redaka. Rukom pisani poslovi se isplate kada logika spajanja ne odgovara SQL klauzuli.

Hadoop odbija pisati u izlazni direktorij koji već postoji, što štiti gotove rezultate od prepisivanja. Prvo rekurzivno izbrišite direktorij ili proslijedite drugu izlaznu putanju pri sljedećem pokretanju.

Sažmite ovu objavu uz: