Hadoop MapReduce Join & Counter a példával

⚡ Okos összefoglaló

A MapReduce illesztések két nagy adathalmazt egyesítenek egy megosztott kulcson, akár a leképezőn, akár a reduktoron belül, míg a MapReduce számlálók statisztikákat gyűjtenek a feladatról, így a hibás rekordok mérhetők, nem pedig csak találgathatók.

  • 🔘 Csatlakozás alapjai: A két adathalmaz közül a kisebbet minden adatcsomóponthoz elosztják, és keresési oldalként használják.
  • ☑️ Térképoldali illesztés: A map függvény futtatása előtt minden bemenetet particionálni, egyenlően elosztani és rendezni kell az illesztési kulcs alapján.
  • ✅ Csökkentett oldali illesztés: Nem igényel particionálást, mivel minden olyan tuple, amely megosztja az egy csatlakozási kulcsot, ugyanabba a reduktorba kerül.
  • 🧪 Működő példa: A DeptName.txt és a DeptStrength.txt fájlokat a HDFS-be másolja, és egy becsomagolt jar fájllal egyesíti a Dept_ID-n.
  • 🇧🇷 Számlálótípusok: Minden feladathoz öt beépített számlálócsoport tartozik, a felhasználó által definiált számlálók pedig egy Java felsorolás
  • ⚠️ Pult használata: Ha minden hiányzó vagy érvénytelen rekordnál növeljük a számlálót, az adatminőségi problémákat számmá alakítjuk a feladatjelentésben.

Hadoop MapReduce csatlakozási és számlálói oktatóanyag egy működő példával

Mi a Csatlakozás a MapReduce-ban?

A MapReduce Join műveletet két nagy adathalmaz egyesítésére használják. Ez a folyamat azonban rengeteg kód írását igényli a tényleges egyesítési művelet végrehajtásához. Két adathalmaz összekapcsolása az egyes adathalmazok méretének összehasonlításával kezdődik. Ha az egyik adathalmaz kisebb a másikhoz képest, akkor a kisebb adathalmaz kerül elosztásra a fürt összes adatcsomópontja között.

Csatlakozás után MapReduce elosztott állapotban van, a Mapper vagy a Reducer a kisebb adathalmazt használja a nagy adathalmazban található egyező rekordok keresésére, majd ezeket a rekordokat kombinálja kimeneti rekordok létrehozásához.

Csatlakozás típusai

Attól függően, hogy a tényleges illesztést hol hajtják végre, a Hadoopban a joinok két típusba sorolhatók.

  1. Térképoldali illesztés — Amikor a join-t a leképező hajtja végre, azt map-oldali join-nak nevezzük. Ebben a típusban a join azelőtt történik, hogy a map függvény ténylegesen feldolgozná az adatokat. Kötelező, hogy minden map bemenete partíció formájában legyen, és rendezett sorrendben legyen. Ezenkívül azonos számú partíciónak kell lennie, és a join kulcs szerint kell rendezni.
  2. Csökkentett oldali illesztés — Amikor a reduktor végzi az illesztést, azt redukciós oldali illesztésnek nevezzük. Ennél az illesztésnél nem szükséges, hogy az adathalmaz strukturált formában (vagy particionálva) legyen. Itt a map oldali feldolgozás kibocsátja az illesztési kulcsot és a két tábla megfelelő tuple-jeit. A feldolgozás eredményeként az összes azonos illesztési kulccsal rendelkező tuple ugyanabba a reduktorba esik, amely ezután az azonos illesztési kulccsal rendelkező rekordokat illeszti össze.

Az alábbi diagramon a Hadoop csatlakozásainak átfogó folyamata látható.

Folyamatábra, amely összehasonlítja a térképoldali és a redukciós oldali illesztéseket Hadoopban
Csatlakozások típusai a Hadoop MapReduce-ben

Miután a két változatot tisztáztuk, a következő szakasz egy redukciós oldali illesztést mutat be két kis részlegfájlon.

Két adatkészlet összekapcsolása: MapReduce példa

Két adathalmaz található két különböző fájlban (lásd alább). A Key Dept_ID mindkét fájlban közös. A cél a fájlok MapReduce Join használatával történő egyesítése.

Első bemeneti fájl, amely a részlegek azonosítóit és neveit sorolja fel

Fájl 1
Második bemeneti fájl, amely felsorolja az osztályok azonosítóit az osztályok erősségi értékei mellett.

Fájl 2

Bemenet: A bemeneti adathalmaz egy txt fájl, a DeptName.txt és a DeptStrength.txt.

Töltse le a bemeneti fájlokat innen

Győződjön meg róla, hogy van Hadoop telepítve. Mielőtt elkezdené a MapReduce Join példa tényleges folyamatát, módosítsa a felhasználót 'hduser'-re (a Hadoop konfigurációja során használt azonosító, most átválthat a Hadoop konfigurációja során használt felhasználói azonosítóra).

su - hduser_

A prompt a Hadoop fiókra változik, az alábbiak szerint.

Terminál a su paranccsal a hduser fiókra való váltás után

Step 1) Másolja a zip fájlt a kívánt helyre

A letöltött MapReduceJoin archívum a kiválasztott munkakönyvtárba került.

Step 2) Csomagolja ki a Zip fájlt

sudo tar -xvf MapReduceJoin.tar.gz

Az extracA ted fájlnevek gördülnek végig, miközben a tar kicsomagolja az archívumot.

Fájlok konzolos listázása, pl.tracted a MapReduceJoin.tar.gz fájlból

Step 3) Ugrás a MapReduceJoin/ könyvtárba

cd MapReduceJoin/

Shell prompt a MapReduceJoin könyvtárba való váltás után

Step 4) Indítsa el a Hadoop-ot

$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh

Mindkét szkript kinyomtatja az általuk elindított démonokat.

Indítási üzenetek a HDFS és YARN démon szkriptekből

Step 5) A DeptStrength.txt és a DeptName.txt a MapReduce Join példaprogramhoz használt bemeneti fájlok.

Ezeket a fájlokat át kell másolni ide HDFS az alábbi parancs használatával -

$HADOOP_HOME/bin/hdfs dfs -copyFromLocal DeptStrength.txt DeptName.txt /

Mindkét bemeneti szövegfájl a HDFS gyökérkönyvtárába másolva

Step 6) Futtassa a programot az alábbi paranccsal -

$HADOOP_HOME/bin/hadoop jar MapReduceJoin.jar MapReduceJoin/JoinDriver/DeptStrength.txt /DeptName.txt /output_mapreducejoin

A parancs először megismétlődik, majd a job a konzolon jelenti a folyamat előrehaladását.

Parancssor, amely elindítja a csomagolt MapReduceJoin jar fájlt

Konzol kimenet tracfigyelje a MapReduce csatlakozási feladatának előrehaladását

Step 7) A végrehajtás után a kimeneti fájl ('part-00000' nevű) a HDFS /output_mapreducejoin könyvtárában lesz tárolva.

Az eredmények a parancssori felületen tekinthetők meg

$HADOOP_HOME/bin/hdfs dfs -cat /output_mapreducejoin/part-00000

A HDFS-ből a cat parancs által kinyomtatott csatlakozási osztályrekordok

Az eredmények webes felületen is megtekinthetők, pl.

A fájlrendszer-böngésző eléréséhez használt Hadoop webes felület kezdőlapja

Most válaszd a „Fájlrendszer böngészése” lehetőséget, és navigálj fel a /output_mapreducejoin fájlhoz.

A HDFS fájlrendszer nézet böngészése az output_mapreducejoin könyvtárban

Nyissa meg az r-00000 részt

A part-r-00000 kimeneti fájl kiválasztása a böngésző nézetben

Az eredmények megjelennek

A böngészőben megjelenített, a csatlakozással megadott részleg neve és a részleg erősségére vonatkozó sorok

JEGYZET: Kérjük, vegye figyelembe, hogy a program következő futtatása előtt törölnie kell a /output_mapreducejoin kimeneti könyvtárat

$HADOOP_HOME/bin/hdfs dfs -rm -r /output_mapreducejoin

Alternatív megoldásként más nevet használ a kimeneti könyvtárnak.

Az illesztések (join) megmutatják, hogyan néznek ki az adatok. A számlálók, amelyeket a továbbiakban tárgyalunk, megmutatják, hogyan viselkedett az azokat előállító feladat.

Mi az a Counter a MapReduce-ban?

A MapReduce-ban található számláló egy olyan mechanizmus, amely a MapReduce feladatokkal és eseményekkel kapcsolatos statisztikai információk gyűjtésére és mérésére szolgál. A számlálók a következőket tartják nyilván: track a MapReduce különféle feladatstatisztikáiból, például a végrehajtott műveletek számából és a művelet előrehaladásából. A számlálók a MapReduce-ban a problémák diagnosztizálására szolgálnak.

A Hadoop számlálók hasonlóak ahhoz, hogy naplóüzenetet helyezzenek el a térkép vagy a redukálás kódjában. Ez az információ hasznos lehet a MapReduce feladatfeldolgozási probléma diagnosztizálásához.

Ezek a számlálók a Hadoopban jellemzően egy programban vannak definiálva (map vagy reduce), és végrehajtás közben növekednek, amikor egy adott esemény vagy feltétel (az adott számlálóra jellemző) bekövetkezik. A Hadoop számlálók egy nagyon jó alkalmazása a következő: track érvényes és érvénytelen rekord egy bemeneti adatkészletből.

A MapReduce számlálók típusai

Alapvetően kétféle MapReduce számláló létezik

  1. Beépített Hadoop számlálók: Feladatonként létezik néhány beépített Hadoop-számláló. Az alábbiakban a beépített számlálócsoportok láthatók
    • MapReduce feladatszámlálók — Feladatspecifikus információkat gyűjt (pl. bemeneti rekordok száma) a végrehajtási ideje alatt.
    • Fájlrendszer-számlálók — Olyan információkat gyűjt, mint például a feladat által olvasott vagy írt bájtok száma.
    • FileInputFormat számlálók — Információkat gyűjt a FileInputFormat segítségével beolvasott bájtok számáról.
    • FileOutputFormat számlálók — Információkat gyűjt a FileOutputFormaton keresztül írt bájtok számáról.
    • Munkaszámlálók — Ezek a számlálók feladatszintű statisztikákat rögzítenek, például az adott feladathoz elindított feladatok számát.
  2. Felhasználó által definiált számlálók: A beépített számlálók mellett a felhasználó saját számlálókat is definiálhat a programozási nyelvek által biztosított hasonló funkciók használatával. Például a Java, egy 'enum' használható a felhasználó által definiált számlálók definiálására.

💡 Verzió megjegyzés: a munkaszámlálókat a Job tartotta karbanTracker az MRv1 alatt. A YARN rendszeren ez a szerepkör a MapReduce ApplicationMasterhez tartozik, így a számlálók nevei megmaradnak, de az azokat jelentő komponens megváltozott.

Egy job nem deklarálhat korlátlan számú számlálót. mapreduce.job.counters.max beállítás alapértelmezés szerint 120-ban korlátozza a feladatonkénti összeget, és egy többet deklaráló feladat meghiúsul. LimitExceededException, tehát a számlálók néhány összesített jel mérésére szolgálnak, nem pedig kulcsonkénti összesítésekre.

Számlálók Példa

Példa MapClass-ra számlálókkal a hiányzó és érvénytelen értékek számának megszámlálásához. A bemutatóban használt bemeneti adatfájl A bemeneti adatkészletünk egy CSV-fájl, a SalesJan2009.csv.

public static class MapClass
            extends MapReduceBase
            implements Mapper<LongWritable, Text, Text, Text>
{
    static enum SalesCounters { MISSING, INVALID };
    public void map ( LongWritable key, Text value,
                 OutputCollector<Text, Text> output,
                 Reporter reporter) throws IOException
    {
        
        //Input string is split using ',' and stored in 'fields' array
        String fields[] = value.toString().split(",", -20);
        //Value at 4th index is country. It is stored in 'country' variable
        String country = fields[4];
        
        //Value at 8th index is sales data. It is stored in 'sales' variable
        String sales = fields[8];
      
        if (country.length() == 0) {
            reporter.incrCounter(SalesCounters.MISSING, 1);
        } else if (sales.startsWith("\"")) {
            reporter.incrCounter(SalesCounters.INVALID, 1);
        } else {
            output.collect(new Text(country), new Text(sales + ",1"));
        }
    }
}

A fenti kódrészlet a számlálók Hadoop MapReduce-ben történő megvalósításának egy példáját mutatja be.

Itt, SalesCounters egy számláló, amelyet a következővel definiálunk:enum'. HIÁNYZÓ és ÉRVÉNYTELEN bemeneti rekordok számlálására szolgál.

A kódrészletben, ha 'országHa a ' mező hossza nulla, akkor az értéke hiányzik, ezért a hozzá tartozó SalesCounters.MISSING számláló értéke növekszik.

Következőleg, ha 'értékesítésHa a ' mező „ karakterrel kezdődik, akkor a rekord ÉRVÉNYTELEN. Ezt a SalesCounters.INVALID számláló növekvő értéke jelzi.

💡 API megjegyzés: a fenti részlet az eredetit használja org.apache.hadoop.mapred API, ahol MapReduceBase, a Mapper felület, OutputCollector és a Reporter külön jelennek meg. A jelenlegi kód a org.apache.hadoop.mapreduce, ahol egyetlen Context lecseréli a gyűjtőt és a riportert, és egy számláló értéke növekszik context.getCounter(SalesCounters.MISSING).increment(1)A számláló koncepciója mindkettőben azonos.

GYIK

A leképező változatot akkor válaszd, ha az egyik oldal elég kicsi ahhoz, hogy minden csomóponton elférjen a memóriában, mivel így a keverés teljesen kihagyódik. A reduktor változatot akkor válaszd, ha mindkét oldal nagy vagy rendezetlen, és fogadd el a többlet hálózati költséget.

A modellek a korábbi feladatok előzményeiből tanulva előrejelzik a futási időt, javasolnak felosztási méreteket és reduktorok számát, valamint észlelik a számlálóértékek eltérését. Emellett megjelölik azokat a feladatokat is, amelyek kiömlött rekordok vagy sikertelen feladatok számlálói az adott folyamat normál sávján kívül esnek.

A Copilot elfogadható leképező és reduktor vázakat állít elő, de szabadon keveri a régi mapred csomagot az újabb mapreduce csomaggal egy osztályon belül, ami nem fordul le. Javítsd ki az importálásokat és a metódusszignatúrákat, mielőtt megbíznál a logikában.

Ez az a mechanizmus, amely a kisebb fájlt minden csomóponthoz elküldi a feladatok elindítása előtt. Minden leképező ezután betölti ezt a másolatot egy hash map-be, és helyben megkeresi a találatokat, ami lehetővé teszi a leképezőoldali illesztést.

A job befejeződése után a konzol összegzésében jelennek meg, megjelennek a job előzményeiben és az erőforrás-kezelő weboldalain, és programozottan olvashatók a job objektumból, így egy illesztőprogram igényt tarthat rájuk, és meghiúsíthatja a hibás futtatást.

Egyetlen Context objektum. Ez végzi el azt a munkát, amelyet az OutputCollector és a Reporter korábban felosztott egymás között, így a kimenet írása és a számlálók növelése ugyanazon a handle-en keresztül történik, amelyet a map metódusnak adtak át.

A legtöbb jelentési munkához nem. A HiveQL csatlakozás néhány sorban ugyanarra a shuffle-and-merge mintára fordul le. A kézzel írott feladatok akkor érik meg, ha az egyesítési logika nem illik egy SQL záradékhoz.

A Hadoop nem hajlandó egy már létező kimeneti könyvtárba írni, így a kész eredményeket nem szabad felülírni. Először rekurzívan törölje a könyvtárat, vagy a következő futtatáskor adjon át egy másik kimeneti útvonalat.

Foglald össze ezt a bejegyzést a következőképpen: