Hadoop MapReduce Join & Counter a példával
⚡ Okos összefoglaló
A MapReduce illesztések két nagy adathalmazt egyesítenek egy megosztott kulcson, akár a leképezőn, akár a reduktoron belül, míg a MapReduce számlálók statisztikákat gyűjtenek a feladatról, így a hibás rekordok mérhetők, nem pedig csak találgathatók.
Mi a Csatlakozás a MapReduce-ban?
A MapReduce Join műveletet két nagy adathalmaz egyesítésére használják. Ez a folyamat azonban rengeteg kód írását igényli a tényleges egyesítési művelet végrehajtásához. Két adathalmaz összekapcsolása az egyes adathalmazok méretének összehasonlításával kezdődik. Ha az egyik adathalmaz kisebb a másikhoz képest, akkor a kisebb adathalmaz kerül elosztásra a fürt összes adatcsomópontja között.
Csatlakozás után MapReduce elosztott állapotban van, a Mapper vagy a Reducer a kisebb adathalmazt használja a nagy adathalmazban található egyező rekordok keresésére, majd ezeket a rekordokat kombinálja kimeneti rekordok létrehozásához.
Csatlakozás típusai
Attól függően, hogy a tényleges illesztést hol hajtják végre, a Hadoopban a joinok két típusba sorolhatók.
- Térképoldali illesztés — Amikor a join-t a leképező hajtja végre, azt map-oldali join-nak nevezzük. Ebben a típusban a join azelőtt történik, hogy a map függvény ténylegesen feldolgozná az adatokat. Kötelező, hogy minden map bemenete partíció formájában legyen, és rendezett sorrendben legyen. Ezenkívül azonos számú partíciónak kell lennie, és a join kulcs szerint kell rendezni.
- Csökkentett oldali illesztés — Amikor a reduktor végzi az illesztést, azt redukciós oldali illesztésnek nevezzük. Ennél az illesztésnél nem szükséges, hogy az adathalmaz strukturált formában (vagy particionálva) legyen. Itt a map oldali feldolgozás kibocsátja az illesztési kulcsot és a két tábla megfelelő tuple-jeit. A feldolgozás eredményeként az összes azonos illesztési kulccsal rendelkező tuple ugyanabba a reduktorba esik, amely ezután az azonos illesztési kulccsal rendelkező rekordokat illeszti össze.
Az alábbi diagramon a Hadoop csatlakozásainak átfogó folyamata látható.

Miután a két változatot tisztáztuk, a következő szakasz egy redukciós oldali illesztést mutat be két kis részlegfájlon.
Két adatkészlet összekapcsolása: MapReduce példa
Két adathalmaz található két különböző fájlban (lásd alább). A Key Dept_ID mindkét fájlban közös. A cél a fájlok MapReduce Join használatával történő egyesítése.
Bemenet: A bemeneti adathalmaz egy txt fájl, a DeptName.txt és a DeptStrength.txt.
Töltse le a bemeneti fájlokat innen
Győződjön meg róla, hogy van Hadoop telepítve. Mielőtt elkezdené a MapReduce Join példa tényleges folyamatát, módosítsa a felhasználót 'hduser'-re (a Hadoop konfigurációja során használt azonosító, most átválthat a Hadoop konfigurációja során használt felhasználói azonosítóra).
su - hduser_
A prompt a Hadoop fiókra változik, az alábbiak szerint.
Step 1) Másolja a zip fájlt a kívánt helyre
Step 2) Csomagolja ki a Zip fájlt
sudo tar -xvf MapReduceJoin.tar.gz
Az extracA ted fájlnevek gördülnek végig, miközben a tar kicsomagolja az archívumot.
Step 3) Ugrás a MapReduceJoin/ könyvtárba
cd MapReduceJoin/
Step 4) Indítsa el a Hadoop-ot
$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
Mindkét szkript kinyomtatja az általuk elindított démonokat.
Step 5) A DeptStrength.txt és a DeptName.txt a MapReduce Join példaprogramhoz használt bemeneti fájlok.
Ezeket a fájlokat át kell másolni ide HDFS az alábbi parancs használatával -
$HADOOP_HOME/bin/hdfs dfs -copyFromLocal DeptStrength.txt DeptName.txt /
Step 6) Futtassa a programot az alábbi paranccsal -
$HADOOP_HOME/bin/hadoop jar MapReduceJoin.jar MapReduceJoin/JoinDriver/DeptStrength.txt /DeptName.txt /output_mapreducejoin
A parancs először megismétlődik, majd a job a konzolon jelenti a folyamat előrehaladását.
Step 7) A végrehajtás után a kimeneti fájl ('part-00000' nevű) a HDFS /output_mapreducejoin könyvtárában lesz tárolva.
Az eredmények a parancssori felületen tekinthetők meg
$HADOOP_HOME/bin/hdfs dfs -cat /output_mapreducejoin/part-00000
Az eredmények webes felületen is megtekinthetők, pl.
Most válaszd a „Fájlrendszer böngészése” lehetőséget, és navigálj fel a /output_mapreducejoin fájlhoz.
Nyissa meg az r-00000 részt
Az eredmények megjelennek
JEGYZET: Kérjük, vegye figyelembe, hogy a program következő futtatása előtt törölnie kell a /output_mapreducejoin kimeneti könyvtárat
$HADOOP_HOME/bin/hdfs dfs -rm -r /output_mapreducejoin
Alternatív megoldásként más nevet használ a kimeneti könyvtárnak.
Az illesztések (join) megmutatják, hogyan néznek ki az adatok. A számlálók, amelyeket a továbbiakban tárgyalunk, megmutatják, hogyan viselkedett az azokat előállító feladat.
Mi az a Counter a MapReduce-ban?
A MapReduce-ban található számláló egy olyan mechanizmus, amely a MapReduce feladatokkal és eseményekkel kapcsolatos statisztikai információk gyűjtésére és mérésére szolgál. A számlálók a következőket tartják nyilván: track a MapReduce különféle feladatstatisztikáiból, például a végrehajtott műveletek számából és a művelet előrehaladásából. A számlálók a MapReduce-ban a problémák diagnosztizálására szolgálnak.
A Hadoop számlálók hasonlóak ahhoz, hogy naplóüzenetet helyezzenek el a térkép vagy a redukálás kódjában. Ez az információ hasznos lehet a MapReduce feladatfeldolgozási probléma diagnosztizálásához.
Ezek a számlálók a Hadoopban jellemzően egy programban vannak definiálva (map vagy reduce), és végrehajtás közben növekednek, amikor egy adott esemény vagy feltétel (az adott számlálóra jellemző) bekövetkezik. A Hadoop számlálók egy nagyon jó alkalmazása a következő: track érvényes és érvénytelen rekord egy bemeneti adatkészletből.
A MapReduce számlálók típusai
Alapvetően kétféle MapReduce számláló létezik
- Beépített Hadoop számlálók: Feladatonként létezik néhány beépített Hadoop-számláló. Az alábbiakban a beépített számlálócsoportok láthatók
- MapReduce feladatszámlálók — Feladatspecifikus információkat gyűjt (pl. bemeneti rekordok száma) a végrehajtási ideje alatt.
- Fájlrendszer-számlálók — Olyan információkat gyűjt, mint például a feladat által olvasott vagy írt bájtok száma.
- FileInputFormat számlálók — Információkat gyűjt a FileInputFormat segítségével beolvasott bájtok számáról.
- FileOutputFormat számlálók — Információkat gyűjt a FileOutputFormaton keresztül írt bájtok számáról.
- Munkaszámlálók — Ezek a számlálók feladatszintű statisztikákat rögzítenek, például az adott feladathoz elindított feladatok számát.
- Felhasználó által definiált számlálók: A beépített számlálók mellett a felhasználó saját számlálókat is definiálhat a programozási nyelvek által biztosított hasonló funkciók használatával. Például a Java, egy 'enum' használható a felhasználó által definiált számlálók definiálására.
💡 Verzió megjegyzés: a munkaszámlálókat a Job tartotta karbanTracker az MRv1 alatt. A YARN rendszeren ez a szerepkör a MapReduce ApplicationMasterhez tartozik, így a számlálók nevei megmaradnak, de az azokat jelentő komponens megváltozott.
Egy job nem deklarálhat korlátlan számú számlálót. mapreduce.job.counters.max beállítás alapértelmezés szerint 120-ban korlátozza a feladatonkénti összeget, és egy többet deklaráló feladat meghiúsul. LimitExceededException, tehát a számlálók néhány összesített jel mérésére szolgálnak, nem pedig kulcsonkénti összesítésekre.
Számlálók Példa
Példa MapClass-ra számlálókkal a hiányzó és érvénytelen értékek számának megszámlálásához. A bemutatóban használt bemeneti adatfájl A bemeneti adatkészletünk egy CSV-fájl, a SalesJan2009.csv.
public static class MapClass extends MapReduceBase implements Mapper<LongWritable, Text, Text, Text> { static enum SalesCounters { MISSING, INVALID }; public void map ( LongWritable key, Text value, OutputCollector<Text, Text> output, Reporter reporter) throws IOException { //Input string is split using ',' and stored in 'fields' array String fields[] = value.toString().split(",", -20); //Value at 4th index is country. It is stored in 'country' variable String country = fields[4]; //Value at 8th index is sales data. It is stored in 'sales' variable String sales = fields[8]; if (country.length() == 0) { reporter.incrCounter(SalesCounters.MISSING, 1); } else if (sales.startsWith("\"")) { reporter.incrCounter(SalesCounters.INVALID, 1); } else { output.collect(new Text(country), new Text(sales + ",1")); } } }
A fenti kódrészlet a számlálók Hadoop MapReduce-ben történő megvalósításának egy példáját mutatja be.
Itt, SalesCounters egy számláló, amelyet a következővel definiálunk:enum'. HIÁNYZÓ és ÉRVÉNYTELEN bemeneti rekordok számlálására szolgál.
A kódrészletben, ha 'országHa a ' mező hossza nulla, akkor az értéke hiányzik, ezért a hozzá tartozó SalesCounters.MISSING számláló értéke növekszik.
Következőleg, ha 'értékesítésHa a ' mező „ karakterrel kezdődik, akkor a rekord ÉRVÉNYTELEN. Ezt a SalesCounters.INVALID számláló növekvő értéke jelzi.
💡 API megjegyzés: a fenti részlet az eredetit használja org.apache.hadoop.mapred API, ahol MapReduceBase, a Mapper felület, OutputCollector és a Reporter külön jelennek meg. A jelenlegi kód a org.apache.hadoop.mapreduce, ahol egyetlen Context lecseréli a gyűjtőt és a riportert, és egy számláló értéke növekszik context.getCounter(SalesCounters.MISSING).increment(1)A számláló koncepciója mindkettőben azonos.











