Hadoop MapReduce Join & Counter cu Exemplu
⚡ Rezumat inteligent
Join-urile MapReduce combină două seturi mari de date pe o cheie partajată, fie în interiorul mapper-ului, fie în interiorul reducer-ului, în timp ce contoarele MapReduce colectează statistici despre job, astfel încât înregistrările greșite să poată fi măsurate în loc să fie ghicite.
Ce este Join în MapReduce?
Operația MapReduce Join este utilizată pentru a combina două seturi de date mari. Cu toate acestea, acest proces implică scrierea unei cantități mari de cod pentru a efectua operațiunea de unire propriu-zisă. Unirea a două seturi de date începe prin compararea dimensiunii fiecărui set de date. Dacă un set de date este mai mic în comparație cu celălalt set de date, atunci setul de date mai mic este distribuit fiecărui nod de date din cluster.
Odată ce te alături MapReduce este distribuit, fie Mapper-ul, fie Reducer-ul utilizează setul de date mai mic pentru a efectua o căutare a înregistrărilor potrivite din setul de date mare și apoi combină aceste înregistrări pentru a forma înregistrări de ieșire.
Tipuri de alăturare
În funcție de locul în care se efectuează joncțiunea propriu-zisă, joncțiunile în Hadoop sunt clasificate în două tipuri.
- Îmbinare pe partea hărții — Când joncțiunea este efectuată de către mapper, aceasta se numește joncțiune map-side. În acest tip, joncțiunea este efectuată înainte ca datele să fie efectiv consumate de funcția map. Este obligatoriu ca datele de intrare pentru fiecare mapare să fie sub forma unei partiții și să fie sortate. De asemenea, trebuie să existe un număr egal de partiții și acestea trebuie sortate după cheia de joncțiune.
- Îmbinare pe partea redusă — Când joncțiunea este efectuată de către reductor, aceasta se numește joncțiune de tip reduce-side. Nu este necesar ca această joncțiune să aibă un set de date într-o formă structurată (sau partiționată). Aici, procesarea din partea hărții emite cheia de joncțiune și tuplurile corespunzătoare ambelor tabele. Ca efect al acestei procesări, toate tuplurile cu aceeași cheie de joncțiune intră în același reductor, care apoi unește înregistrările cu aceeași cheie de joncțiune.
Un flux general al procesului de îmbinări în Hadoop este descris în diagrama de mai jos.

Odată ce cele două variante sunt clare, următoarea secțiune prezintă o joncțiune de tip reduce-side pentru două fișiere departamentale mici.
Cum să alăturați două seturi de date: Exemplu MapReduce
Există două seturi de date în două fișiere diferite (prezentate mai jos). Cheia Dept_ID este comună în ambele fișiere. Scopul este de a utiliza MapReduce Join pentru a combina aceste fișiere.
Intrare: Setul de date de intrare este un fișier txt, DeptName.txt și DeptStrength.txt
Descărcați fișierele de intrare de aici
Asigură-te că ai Hadoop instalat. Înainte de a începe cu procesul exemplului MapReduce Join, schimbați utilizatorul în „hduser” (ID-ul folosit în timpul configurării Hadoop, puteți comuta la ID-ul de utilizator folosit în timpul configurării Hadoop).
su - hduser_
Solicitarea se schimbă în contul Hadoop, așa cum se arată mai jos.
Pas 1) Copiați fișierul zip în locația dorită
Pas 2) Decomprimați fișierul Zip
sudo tar -xvf MapReduceJoin.tar.gz
FostultracNumele fișierelor ted se derulează pe măsură ce tar despachetează arhiva.
Pas 3) Accesați directorul MapReduceJoin/
cd MapReduceJoin/
Pas 4) Porniți Hadoop
$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
Ambele scripturi afișează daemonii pe care îi activează.
Pas 5) DeptStrength.txt și DeptName.txt sunt fișierele de intrare utilizate pentru acest program exemplu MapReduce Join.
Aceste fișiere trebuie copiate în HDFS folosind comanda de mai jos -
$HADOOP_HOME/bin/hdfs dfs -copyFromLocal DeptStrength.txt DeptName.txt /
Pas 6) Rulați programul folosind comanda de mai jos -
$HADOOP_HOME/bin/hadoop jar MapReduceJoin.jar MapReduceJoin/JoinDriver/DeptStrength.txt /DeptName.txt /output_mapreducejoin
Comanda este reluată mai întâi, iar jobul își raportează apoi progresul în consolă.
Pas 7) După execuție, fișierul de ieșire (numit „part-00000”) va fi stocat în directorul /output_mapreducejoin pe HDFS.
Rezultatele pot fi văzute folosind interfața de linie de comandă
$HADOOP_HOME/bin/hdfs dfs -cat /output_mapreducejoin/part-00000
Rezultatele pot fi văzute și printr-o interfață web ca-
Acum selectați „Răsfoiți sistemul de fișiere” și navigați în sus la /output_mapreducejoin
Deschideți piesa-r-00000
Rezultatele sunt afișate
NOTĂ: Vă rugăm să rețineți că înainte de a rula acest program pentru data viitoare, va trebui să ștergeți directorul de ieșire /output_mapreducejoin
$HADOOP_HOME/bin/hdfs dfs -rm -r /output_mapreducejoin
Alternativa este să folosiți un nume diferit pentru directorul de ieșire.
Join-urile vă spun cum arată datele. Contorii, discutați în continuare, vă spun cum s-a comportat jobul care le-a produs.
Ce este Counter în MapReduce?
Un contor în MapReduce este un mecanism utilizat pentru colectarea și măsurarea informațiilor statistice despre joburile și evenimentele MapReduce. Contorii mențin track din diverse statistici ale joburilor în MapReduce, cum ar fi numărul de operațiuni efectuate și progresul operației. Contorii sunt utilizați pentru diagnosticarea problemelor în MapReduce.
Contoarele Hadoop sunt similare cu introducerea unui mesaj de jurnal în cod pentru o hartă sau reducere. Aceste informații ar putea fi utile pentru diagnosticarea unei probleme în procesarea jobului MapReduce.
De obicei, aceste contoare în Hadoop sunt definite într-un program (map sau reduce) și sunt incrementate în timpul execuției atunci când apare un anumit eveniment sau o anumită condiție (specifică acelui contor). O aplicație foarte bună a contoarelor Hadoop este de a track înregistrări valide și nevalide dintr-un set de date de intrare.
Tipuri de contoare MapReduce
Există practic 2 tipuri de contoare MapReduce
- Contoare încorporate în Hadoop: Există câteva contoare Hadoop încorporate care există pentru fiecare job. Mai jos sunt grupuri de contoare încorporate-
- Contoare de sarcini MapReduce — Colectează informații specifice sarcinii (de exemplu, numărul de înregistrări de intrare) în timpul execuției sale.
- Contoare de sistem de fișiere — Colectează informații precum numărul de octeți citiți sau scriși de o sarcină.
- Contoare FileInputFormat — Colectează informații despre un număr de octeți citiți prin FileInputFormat.
- Contoare FileOutputFormat — Colectează informații despre un număr de octeți scriși prin FileOutputFormat.
- Contoare de lucrări — Aceste contoare înregistrează statistici la nivel de job, cum ar fi numărul de sarcini lansate pentru un job.
- Contoare definite de utilizator: Pe lângă contoarele încorporate, un utilizator își poate defini propriile contoare folosind funcționalități similare oferite de limbajele de programare. De exemplu, în Java, o „enumerare” este utilizată pentru a defini contoare definite de utilizator.
💡 Notă privind versiunea: contoarele de locuri de muncă au fost întreținute de către Departamentul de locuri de muncăTracker sub MRv1. Pe YARN, acest rol aparține MapReduce ApplicationMaster, deci numele contoarelor supraviețuiesc, dar componenta care le raportează s-a schimbat.
Un job nu poate declara un număr nelimitat de contoare. mapreduce.job.counters.max Setarea limitează totalul per job la 120 în mod implicit, iar un job care declară mai mult eșuează cu un LimitExceededException, deci contoarele sunt destinate pentru o serie de semnale agregate, mai degrabă decât pentru numărători per cheie.
Exemplu de contoare
Un exemplu de MapClass cu contoare pentru a număra valorile lipsă și nevalide. Fișierul de date de intrare utilizat în acest tutorial. Setul nostru de date de intrare este un fișier CSV, SalesJan2009.csv.
public static class MapClass extends MapReduceBase implements Mapper<LongWritable, Text, Text, Text> { static enum SalesCounters { MISSING, INVALID }; public void map ( LongWritable key, Text value, OutputCollector<Text, Text> output, Reporter reporter) throws IOException { //Input string is split using ',' and stored in 'fields' array String fields[] = value.toString().split(",", -20); //Value at 4th index is country. It is stored in 'country' variable String country = fields[4]; //Value at 8th index is sales data. It is stored in 'sales' variable String sales = fields[8]; if (country.length() == 0) { reporter.incrCounter(SalesCounters.MISSING, 1); } else if (sales.startsWith("\"")) { reporter.incrCounter(SalesCounters.INVALID, 1); } else { output.collect(new Text(country), new Text(sales + ",1")); } } }
Fragmentul de cod de mai sus prezintă un exemplu de implementare a contoarelor în Hadoop MapReduce.
Aici, Contoare de vânzări este un contor definit folosind 'enumerare„. Se folosește pentru a număra înregistrările de intrare LIPSEȘTE și INVALIDE.”
În fragmentul de cod, dacă 'ţarăDacă câmpul ' are lungime zero, atunci valoarea sa lipsește și, prin urmare, contorul corespunzător SalesCounters.MISSING este incrementat.
În continuare, dacă 'de vânzăriCâmpul ' începe cu „ , atunci înregistrarea este considerată INVALIDĂ. Acest lucru este indicat prin incrementarea contorului SalesCounters.INVALID.
💡 Notă API: Fragmentul de mai sus folosește originalul org.apache.hadoop.mapred API, unde MapReduceBase, Mapper interfață, OutputCollector și Reporter apar separat. Codul curent este scris pentru org.apache.hadoop.mapreduce, unde o singură Context înlocuiește colectorul și raportorul, iar un contor este incrementat cu context.getCounter(SalesCounters.MISSING).increment(1)Conceptul de contor este identic în ambele cazuri.











