Hadoop MapReduce Join & Counter cu Exemplu

⚡ Rezumat inteligent

Join-urile MapReduce combină două seturi mari de date pe o cheie partajată, fie în interiorul mapper-ului, fie în interiorul reducer-ului, în timp ce contoarele MapReduce colectează statistici despre job, astfel încât înregistrările greșite să poată fi măsurate în loc să fie ghicite.

  • 🔘 Noțiuni de bază despre înscriere: Cel mai mic dintre cele două seturi de date este distribuit fiecărui nod de date și utilizat ca parte de căutare.
  • ☑️ Îmbinare pe partea hărții: Necesită ca fiecare intrare să fie partiționată, împărțită în mod egal și sortată după cheia de joncțiune înainte de rularea funcției map.
  • ✅ Îmbinare pe partea redusă: Nu necesită partiționare, deoarece fiecare tuplu care partajează o cheie de joncțiune ajunge în același reductor.
  • 🧪 Exemplu lucrat: Fișierele DeptName.txt și DeptStrength.txt sunt copiate în HDFS și unite pe Dept_ID printr-un fișier jar împachetat.
  • 🛠️ Tipuri de contoare: Cinci grupuri de contoare încorporate sunt livrate cu fiecare job, iar contoarele definite de utilizator sunt declarate ca Java enumerare.
  • ⚠️ Utilizare contrare: Incrementarea unui contor pentru fiecare înregistrare lipsă sau invalidă transformă problemele de calitate a datelor într-un raport numeric pe lucrare.

Tutorial Hadoop MapReduce join și counter cu un exemplu funcțional

Ce este Join în MapReduce?

Operația MapReduce Join este utilizată pentru a combina două seturi de date mari. Cu toate acestea, acest proces implică scrierea unei cantități mari de cod pentru a efectua operațiunea de unire propriu-zisă. Unirea a două seturi de date începe prin compararea dimensiunii fiecărui set de date. Dacă un set de date este mai mic în comparație cu celălalt set de date, atunci setul de date mai mic este distribuit fiecărui nod de date din cluster.

Odată ce te alături MapReduce este distribuit, fie Mapper-ul, fie Reducer-ul utilizează setul de date mai mic pentru a efectua o căutare a înregistrărilor potrivite din setul de date mare și apoi combină aceste înregistrări pentru a forma înregistrări de ieșire.

Tipuri de alăturare

În funcție de locul în care se efectuează joncțiunea propriu-zisă, joncțiunile în Hadoop sunt clasificate în două tipuri.

  1. Îmbinare pe partea hărții — Când joncțiunea este efectuată de către mapper, aceasta se numește joncțiune map-side. În acest tip, joncțiunea este efectuată înainte ca datele să fie efectiv consumate de funcția map. Este obligatoriu ca datele de intrare pentru fiecare mapare să fie sub forma unei partiții și să fie sortate. De asemenea, trebuie să existe un număr egal de partiții și acestea trebuie sortate după cheia de joncțiune.
  2. Îmbinare pe partea redusă — Când joncțiunea este efectuată de către reductor, aceasta se numește joncțiune de tip reduce-side. Nu este necesar ca această joncțiune să aibă un set de date într-o formă structurată (sau partiționată). Aici, procesarea din partea hărții emite cheia de joncțiune și tuplurile corespunzătoare ambelor tabele. Ca efect al acestei procesări, toate tuplurile cu aceeași cheie de joncțiune intră în același reductor, care apoi unește înregistrările cu aceeași cheie de joncțiune.

Un flux general al procesului de îmbinări în Hadoop este descris în diagrama de mai jos.

Diagramă de flux a procesului care compară o joncțiune de tip hartă cu o joncțiune de tip reducere în Hadoop
Tipuri de îmbinări în Hadoop MapReduce

Odată ce cele două variante sunt clare, următoarea secțiune prezintă o joncțiune de tip reduce-side pentru două fișiere departamentale mici.

Cum să alăturați două seturi de date: Exemplu MapReduce

Există două seturi de date în două fișiere diferite (prezentate mai jos). Cheia Dept_ID este comună în ambele fișiere. Scopul este de a utiliza MapReduce Join pentru a combina aceste fișiere.

Primul fișier de intrare care listează ID-urile departamentelor alături de numele departamentelor

fişier 1
Al doilea fișier de intrare care listează ID-urile departamentelor alături de valorile de concentrare a departamentelor

fişier 2

Intrare: Setul de date de intrare este un fișier txt, DeptName.txt și DeptStrength.txt

Descărcați fișierele de intrare de aici

Asigură-te că ai Hadoop instalat. Înainte de a începe cu procesul exemplului MapReduce Join, schimbați utilizatorul în „hduser” (ID-ul folosit în timpul configurării Hadoop, puteți comuta la ID-ul de utilizator folosit în timpul configurării Hadoop).

su - hduser_

Solicitarea se schimbă în contul Hadoop, așa cum se arată mai jos.

Terminal după trecerea la contul hduser cu comanda su

Pas 1) Copiați fișierul zip în locația dorită

Arhiva MapReduceJoin descărcată și plasată în directorul de lucru ales

Pas 2) Decomprimați fișierul Zip

sudo tar -xvf MapReduceJoin.tar.gz

FostultracNumele fișierelor ted se derulează pe măsură ce tar despachetează arhiva.

Listarea fișierelor din consolă extracextras din MapReduceJoin.tar.gz

Pas 3) Accesați directorul MapReduceJoin/

cd MapReduceJoin/

Prompt shell după schimbarea în directorul MapReduceJoin

Pas 4) Porniți Hadoop

$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh

Ambele scripturi afișează daemonii pe care îi activează.

Mesaje de pornire din scripturile daemon HDFS și YARN

Pas 5) DeptStrength.txt și DeptName.txt sunt fișierele de intrare utilizate pentru acest program exemplu MapReduce Join.

Aceste fișiere trebuie copiate în HDFS folosind comanda de mai jos -

$HADOOP_HOME/bin/hdfs dfs -copyFromLocal DeptStrength.txt DeptName.txt /

Ambele fișiere text de intrare au fost copiate în directorul rădăcină HDFS

Pas 6) Rulați programul folosind comanda de mai jos -

$HADOOP_HOME/bin/hadoop jar MapReduceJoin.jar MapReduceJoin/JoinDriver/DeptStrength.txt /DeptName.txt /output_mapreducejoin

Comanda este reluată mai întâi, iar jobul își raportează apoi progresul în consolă.

Linia de comandă lansează fișierul jar MapReduceJoin pachet

Ieșire de consolă tracurmărind progresul jobului de alăturare MapReduce

Pas 7) După execuție, fișierul de ieșire (numit „part-00000”) va fi stocat în directorul /output_mapreducejoin pe HDFS.

Rezultatele pot fi văzute folosind interfața de linie de comandă

$HADOOP_HOME/bin/hdfs dfs -cat /output_mapreducejoin/part-00000

Înregistrări departamentale asociate imprimate din HDFS prin comanda cat

Rezultatele pot fi văzute și printr-o interfață web ca-

Pagina de destinație a interfeței web Hadoop utilizată pentru a accesa browserul sistemului de fișiere

Acum selectați „Răsfoiți sistemul de fișiere” și navigați în sus la /output_mapreducejoin

Răsfoirea vizualizării sistemului de fișiere HDFS către directorul output_mapreducejoin

Deschideți piesa-r-00000

Selectarea fișierului de ieșire part-r-00000 în vizualizarea browserului

Rezultatele sunt afișate

Rândurile cu numele departamentului asociat și puterea departamentului afișate în browser

NOTĂ: Vă rugăm să rețineți că înainte de a rula acest program pentru data viitoare, va trebui să ștergeți directorul de ieșire /output_mapreducejoin

$HADOOP_HOME/bin/hdfs dfs -rm -r /output_mapreducejoin

Alternativa este să folosiți un nume diferit pentru directorul de ieșire.

Join-urile vă spun cum arată datele. Contorii, discutați în continuare, vă spun cum s-a comportat jobul care le-a produs.

Ce este Counter în MapReduce?

Un contor în MapReduce este un mecanism utilizat pentru colectarea și măsurarea informațiilor statistice despre joburile și evenimentele MapReduce. Contorii mențin track din diverse statistici ale joburilor în MapReduce, cum ar fi numărul de operațiuni efectuate și progresul operației. Contorii sunt utilizați pentru diagnosticarea problemelor în MapReduce.

Contoarele Hadoop sunt similare cu introducerea unui mesaj de jurnal în cod pentru o hartă sau reducere. Aceste informații ar putea fi utile pentru diagnosticarea unei probleme în procesarea jobului MapReduce.

De obicei, aceste contoare în Hadoop sunt definite într-un program (map sau reduce) și sunt incrementate în timpul execuției atunci când apare un anumit eveniment sau o anumită condiție (specifică acelui contor). O aplicație foarte bună a contoarelor Hadoop este de a track înregistrări valide și nevalide dintr-un set de date de intrare.

Tipuri de contoare MapReduce

Există practic 2 tipuri de contoare MapReduce

  1. Contoare încorporate în Hadoop: Există câteva contoare Hadoop încorporate care există pentru fiecare job. Mai jos sunt grupuri de contoare încorporate-
    • Contoare de sarcini MapReduce — Colectează informații specifice sarcinii (de exemplu, numărul de înregistrări de intrare) în timpul execuției sale.
    • Contoare de sistem de fișiere — Colectează informații precum numărul de octeți citiți sau scriși de o sarcină.
    • Contoare FileInputFormat — Colectează informații despre un număr de octeți citiți prin FileInputFormat.
    • Contoare FileOutputFormat — Colectează informații despre un număr de octeți scriși prin FileOutputFormat.
    • Contoare de lucrări — Aceste contoare înregistrează statistici la nivel de job, cum ar fi numărul de sarcini lansate pentru un job.
  2. Contoare definite de utilizator: Pe lângă contoarele încorporate, un utilizator își poate defini propriile contoare folosind funcționalități similare oferite de limbajele de programare. De exemplu, în Java, o „enumerare” este utilizată pentru a defini contoare definite de utilizator.

💡 Notă privind versiunea: contoarele de locuri de muncă au fost întreținute de către Departamentul de locuri de muncăTracker sub MRv1. Pe YARN, acest rol aparține MapReduce ApplicationMaster, deci numele contoarelor supraviețuiesc, dar componenta care le raportează s-a schimbat.

Un job nu poate declara un număr nelimitat de contoare. mapreduce.job.counters.max Setarea limitează totalul per job la 120 în mod implicit, iar un job care declară mai mult eșuează cu un LimitExceededException, deci contoarele sunt destinate pentru o serie de semnale agregate, mai degrabă decât pentru numărători per cheie.

Exemplu de contoare

Un exemplu de MapClass cu contoare pentru a număra valorile lipsă și nevalide. Fișierul de date de intrare utilizat în acest tutorial. Setul nostru de date de intrare este un fișier CSV, SalesJan2009.csv.

public static class MapClass
            extends MapReduceBase
            implements Mapper<LongWritable, Text, Text, Text>
{
    static enum SalesCounters { MISSING, INVALID };
    public void map ( LongWritable key, Text value,
                 OutputCollector<Text, Text> output,
                 Reporter reporter) throws IOException
    {
        
        //Input string is split using ',' and stored in 'fields' array
        String fields[] = value.toString().split(",", -20);
        //Value at 4th index is country. It is stored in 'country' variable
        String country = fields[4];
        
        //Value at 8th index is sales data. It is stored in 'sales' variable
        String sales = fields[8];
      
        if (country.length() == 0) {
            reporter.incrCounter(SalesCounters.MISSING, 1);
        } else if (sales.startsWith("\"")) {
            reporter.incrCounter(SalesCounters.INVALID, 1);
        } else {
            output.collect(new Text(country), new Text(sales + ",1"));
        }
    }
}

Fragmentul de cod de mai sus prezintă un exemplu de implementare a contoarelor în Hadoop MapReduce.

Aici, Contoare de vânzări este un contor definit folosind 'enumerare„. Se folosește pentru a număra înregistrările de intrare LIPSEȘTE și INVALIDE.”

În fragmentul de cod, dacă 'ţarăDacă câmpul ' are lungime zero, atunci valoarea sa lipsește și, prin urmare, contorul corespunzător SalesCounters.MISSING este incrementat.

În continuare, dacă 'de vânzăriCâmpul ' începe cu „ , atunci înregistrarea este considerată INVALIDĂ. Acest lucru este indicat prin incrementarea contorului SalesCounters.INVALID.

💡 Notă API: Fragmentul de mai sus folosește originalul org.apache.hadoop.mapred API, unde MapReduceBase, Mapper interfață, OutputCollector și Reporter apar separat. Codul curent este scris pentru org.apache.hadoop.mapreduce, unde o singură Context înlocuiește colectorul și raportorul, iar un contor este incrementat cu context.getCounter(SalesCounters.MISSING).increment(1)Conceptul de contor este identic în ambele cazuri.

Întrebări frecvente

Alege varianta mapper atunci când o parte este suficient de mică pentru a fi stocată în memorie pe fiecare nod, deoarece omite complet amestecarea. Alege varianta reducer atunci când ambele părți sunt mari sau nesortate și acceptă costul suplimentar al rețelei.

Modelele învață din istoricul joburilor pentru a prezice timpul de execuție, a recomanda dimensiuni de divizare și număr de reductoare și a detecta abateri de la valorile contorului. De asemenea, acestea semnalează joburile ale căror contoare de înregistrări scurse sau sarcini eșuate se abat în afara benzii normale pentru canalul respectiv.

Copilot produce schelete plauzibile de mapper și reducer, dar combină liber vechiul pachet mapred cu noul pachet mapreduce într-o singură clasă, care nu se va compila. Corectați importurile și semnăturile metodelor înainte de a avea încredere în logică.

Este mecanismul care livrează fișierul mai mic către fiecare nod înainte de începerea sarcinilor. Fiecare mapper încarcă apoi acea copie într-o hartă hash și caută potriviri local, ceea ce face posibilă o joncțiune pe partea mapperului.

Acestea sunt afișate în rezumatul consolei la finalizarea jobului, expuse în istoricul jobului și în paginile web ale managerului de resurse și pot fi citite programatic din obiectul jobului, astfel încât un driver să le poată activa și să eșueze o rulare greșită.

Un singur obiect Context. Acesta realizează munca folosită de OutputCollector și Reporter pentru a o împărți între ele, astfel încât ieșirea este scrisă, iar contoarele sunt incrementate prin același handle transmis metodei map.

Pentru majoritatea lucrărilor de raportare, nr. A Alăturare HiveQL se compilează până la același model de amestecare și îmbinare în câteva rânduri. Lucrările scrise de mână merită investiția atunci când logica de îmbinare nu se potrivește unei clauze SQL.

Hadoop refuză să scrie într-un director de ieșire care există deja, ceea ce protejează rezultatele finale de suprascriere. Ștergeți mai întâi directorul recursiv sau transmiteți o cale de ieșire diferită la următoarea rulare.

Rezumați această postare cu: