Hadoop MapReduce Join & Counter met voorbeeld

⚡ Slimme samenvatting

MapReduce-joins combineren twee grote datasets op basis van een gedeelde sleutel, hetzij binnen de mapper, hetzij binnen de reducer, terwijl MapReduce-tellers statistieken over de taak verzamelen, zodat foute records kunnen worden gemeten in plaats van te worden gegokt.

  • 🔘 Basiscursus: De kleinste van de twee datasets wordt verdeeld over alle dataknooppunten en gebruikt als opzoekwaarde.
  • ☑️ Deelnemen vanaf de kaartzijde: Vereist dat elke invoer wordt gepartitioneerd, gelijkmatig verdeeld en gesorteerd op basis van de koppelingssleutel voordat de map-functie wordt uitgevoerd.
  • ✅ Reduce-side join: Er is geen opsplitsing nodig, omdat elke tuple met een gedeelde join-sleutel in dezelfde reducer terechtkomt.
  • 🧪 Uitgewerkt voorbeeld: DeptName.txt en DeptStrength.txt worden naar HDFS gekopieerd en via een jar-bestand gekoppeld op basis van Dept_ID.
  • ️ Tellertypes: Elke taak wordt geleverd met vijf ingebouwde tellergroepen, en door de gebruiker gedefinieerde tellers worden als volgt aangegeven: Java enum.
  • ⚠️ Tegengebruik: Door bij elk ontbrekend of ongeldig record een teller te verhogen, worden problemen met de datakwaliteit omgezet in een getal op het rapport.

Handleiding voor het samenvoegen en tellen van gegevens met behulp van Hadoop MapReduce, inclusief een uitgewerkt voorbeeld.

Wat is Join in MapReduce?

De MapReduce Join-bewerking wordt gebruikt om twee grote datasets te combineren. Dit proces vereist echter veel code om de daadwerkelijke join-bewerking uit te voeren. Het samenvoegen van twee datasets begint met het vergelijken van de grootte van elke dataset. Als de ene dataset kleiner is dan de andere, wordt de kleinere dataset verdeeld over alle dataknooppunten in het cluster.

Zodra ik me aanmeld KaartVerminderen Als de dataset gedistribueerd is, gebruikt de Mapper of de Reducer de kleinere dataset om overeenkomende records in de grote dataset op te zoeken en combineert deze records vervolgens tot uitvoerrecords.

Soorten deelname

Afhankelijk van de plaats waar de daadwerkelijke koppeling plaatsvindt, worden koppelingen in Hadoop in twee soorten ingedeeld.

  1. Kaartzijde aansluiten — Wanneer de join door de mapper wordt uitgevoerd, spreken we van een map-side join. Bij dit type join wordt de join uitgevoerd voordat de data daadwerkelijk door de map-functie wordt verwerkt. Het is verplicht dat de invoer voor elke map de vorm heeft van een partitie en gesorteerd is. Bovendien moet er een gelijk aantal partities zijn en moeten deze gesorteerd zijn op de join-sleutel.
  2. Verkleinde zijdelingse verbinding — Wanneer de join door de reducer wordt uitgevoerd, spreken we van een reduce-side join. Bij deze join is het niet nodig dat de dataset gestructureerd (of gepartitioneerd) is. De map-side processing genereert de join-sleutel en de bijbehorende tuples van beide tabellen. Hierdoor komen alle tuples met dezelfde join-sleutel in dezelfde reducer terecht, die vervolgens de records met dezelfde join-sleutel samenvoegt.

Een algemene processtroom van joins in Hadoop wordt weergegeven in het onderstaande diagram.

Processtroomdiagram waarin een map-side join wordt vergeleken met een reduce-side join in Hadoop.
Soorten joins in Hadoop MapReduce

Nu de twee varianten duidelijk zijn, wordt in het volgende gedeelte een reduce-side join op twee kleine afdelingsbestanden besproken.

Hoe u twee datasets kunt samenvoegen: MapReduce-voorbeeld

Er zijn twee datasets in twee verschillende bestanden (zie hieronder). De sleutel Dept_ID is in beide bestanden hetzelfde. Het doel is om deze bestanden te combineren met behulp van MapReduce Join.

Het eerste invoerbestand bevat een lijst met afdelings-ID's naast de afdelingsnamen.

File 1
Tweede invoerbestand met een lijst van afdelings-ID's en bijbehorende aantallen medewerkers per afdeling.

File 2

Input: De invoergegevensset bestaat uit twee tekstbestanden: DeptName.txt en DeptStrength.txt.

Download hier invoerbestanden

Zorg ervoor dat je dat hebt gedaan Hadoop geïnstalleerd. Voordat u begint met het daadwerkelijke proces van het MapReduce Join-voorbeeld, wijzigt u de gebruiker naar 'hduser' (de ID die tijdens de Hadoop-configuratie is gebruikt; u kunt overschakelen naar de gebruikers-ID die tijdens uw Hadoop-configuratie is gebruikt).

su - hduser_

De prompt verandert naar het Hadoop-account, zoals hieronder weergegeven.

Terminal na het overschakelen naar het hduser-account met het commando su

Stap 1) Kopieer het zipbestand naar de locatie van uw keuze

Het gedownloade MapReduceJoin-archief is in de gekozen werkmap geplaatst.

Stap 2) Pak het zipbestand uit

sudo tar -xvf MapReduceJoin.tar.gz

De extracDe bestandsnamen scrollen voorbij terwijl tar het archief uitpakt.

Console-lijst met bestanden extracted uit MapReduceJoin.tar.gz

Stap 3) Ga naar map MapReduceJoin/

cd MapReduceJoin/

Na het overschakelen naar de MapReduceJoin-directory wordt een shellprompt geopend.

Stap 4) Hadoop starten

$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh

Beide scripts tonen de namen van de daemons die ze opstarten.

Opstartberichten van de HDFS- en YARN-daemonscripts

Stap 5) DeptStrength.txt en DeptName.txt zijn de invoerbestanden die worden gebruikt voor dit MapReduce Join-voorbeeldprogramma.

Deze bestanden moeten worden gekopieerd naar HDFS met behulp van onderstaande opdracht:

$HADOOP_HOME/bin/hdfs dfs -copyFromLocal DeptStrength.txt DeptName.txt /

Beide invoertekstbestanden zijn gekopieerd naar de hoofdmap van HDFS.

Stap 6) Voer het programma uit met behulp van onderstaande opdracht-

$HADOOP_HOME/bin/hadoop jar MapReduceJoin.jar MapReduceJoin/JoinDriver/DeptStrength.txt /DeptName.txt /output_mapreducejoin

Het commando wordt eerst weergegeven, waarna de taak de voortgang op de console rapporteert.

Het MapReduceJoin JAR-bestand starten via de opdrachtregel

Console-uitgang trackoning de voortgang van de MapReduce join job

Stap 7) Na de uitvoering wordt het uitvoerbestand (genaamd 'part-00000') opgeslagen in de map /output_mapreducejoin op HDFS.

Resultaten kunnen worden bekeken via de opdrachtregelinterface

$HADOOP_HOME/bin/hdfs dfs -cat /output_mapreducejoin/part-00000

Gekoppelde afdelingsgegevens afgedrukt vanuit HDFS met behulp van het cat-commando

Resultaten kunnen ook worden bekeken via een webinterface als-

De Hadoop-webinterface is de landingspagina die wordt gebruikt om de bestandssysteembrowser te bereiken.

Selecteer nu 'Bladeren door het bestandssysteem' en navigeer naar /output_mapreducejoin.

De HDFS-bestandssysteemweergave openen naar de map output_mapreducejoin.

Open onderdeel-r-00000

Het uitvoerbestand part-r-00000 selecteren in de browserweergave

Resultaten worden getoond

De rijen met de naam van de afdeling en het aantal medewerkers worden in de browser weergegeven.

NOTITIE: Houd er rekening mee dat voordat u dit programma de volgende keer uitvoert, u de uitvoermap /output_mapreducejoin moet verwijderen

$HADOOP_HOME/bin/hdfs dfs -rm -r /output_mapreducejoin

Een alternatief is om een ​​andere naam voor de uitvoermap te gebruiken.

Joins laten zien hoe de data eruitziet. Counters, die hierna aan bod komen, laten zien hoe de taak die de data produceerde zich heeft gedragen.

Wat is Counter in MapReduce?

Een teller in MapReduce is een mechanisme dat wordt gebruikt voor het verzamelen en meten van statistische informatie over MapReduce-taken en -gebeurtenissen. Tellers houden de tracTellers worden gebruikt voor probleemdiagnose in MapReduce, bijvoorbeeld om verschillende taakstatistieken bij te houden, zoals het aantal uitgevoerde bewerkingen en de voortgang van de bewerking.

Hadoop Counters zijn vergelijkbaar met het plaatsen van een logbericht in de code voor een kaart of reductie. Deze informatie kan nuttig zijn voor de diagnose van een probleem bij de taakverwerking van MapReduce.

Doorgaans worden deze tellers in Hadoop gedefinieerd in een programma (map of reduce) en worden ze tijdens de uitvoering verhoogd wanneer een bepaalde gebeurtenis of voorwaarde (specifiek voor die teller) zich voordoet. Een zeer goede toepassing van Hadoop-tellers is om track geldige en ongeldige records uit een invoerdataset.

Soorten MapReduce-tellers

Er zijn in principe twee soorten MapReduce-tellers.

  1. Ingebouwde tellers van Hadoop: Er zijn enkele ingebouwde Hadoop-tellers die per taak bestaan. Hieronder vindt u ingebouwde tellergroepen-
    • MapReduce-taaktellers — Verzamelt taakspecifieke informatie (bijv. het aantal invoerrecords) tijdens de uitvoering.
    • Bestandssysteemtellers — Verzamelt informatie zoals het aantal bytes dat door een taak is gelezen of geschreven.
    • FileInputFormat-tellers — Verzamelt informatie over het aantal bytes dat via FileInputFormat wordt gelezen.
    • FileOutputFormat-tellers — Verzamelt informatie over het aantal bytes dat via FileOutputFormat is geschreven.
    • Banenbalies — Deze tellers registreren statistieken over de gehele functie, zoals het aantal taken dat voor een functie is gestart.
  2. Door de gebruiker gedefinieerde tellers: Naast de ingebouwde tellers kan een gebruiker ook zijn eigen tellers definiëren met behulp van vergelijkbare functionaliteiten die programmeertalen bieden. Bijvoorbeeld in JavaEen 'enum' wordt gebruikt om door de gebruiker gedefinieerde tellers te definiëren.

💡 Versie-opmerking: De vacaturetellers werden bijgehouden door de Job.Tracker onder MRv1. Op YARN behoort die rol toe aan de MapReduce ApplicationMaster, dus de tellernamen blijven behouden, maar de component die ze rapporteert is veranderd.

Een taak kan geen onbeperkt aantal tellers opgeven. mapreduce.job.counters.max De instelling beperkt het totaal per taak standaard tot 120, en een taak die er meer declareert, mislukt met een foutmelding. LimitExceededExceptionTellers zijn dus bedoeld voor een handvol geaggregeerde signalen in plaats van tellingen per toets.

Tellers voorbeeld

Een voorbeeld van een MapClass met tellers om het aantal ontbrekende en ongeldige waarden te tellen. Het invoergegevensbestand dat in deze handleiding wordt gebruikt, is een CSV-bestand: SalesJan2009.csv.

public static class MapClass
            extends MapReduceBase
            implements Mapper<LongWritable, Text, Text, Text>
{
    static enum SalesCounters { MISSING, INVALID };
    public void map ( LongWritable key, Text value,
                 OutputCollector<Text, Text> output,
                 Reporter reporter) throws IOException
    {
        
        //Input string is split using ',' and stored in 'fields' array
        String fields[] = value.toString().split(",", -20);
        //Value at 4th index is country. It is stored in 'country' variable
        String country = fields[4];
        
        //Value at 8th index is sales data. It is stored in 'sales' variable
        String sales = fields[8];
      
        if (country.length() == 0) {
            reporter.incrCounter(SalesCounters.MISSING, 1);
        } else if (sales.startsWith("\"")) {
            reporter.incrCounter(SalesCounters.INVALID, 1);
        } else {
            output.collect(new Text(country), new Text(sales + ",1"));
        }
    }
}

Bovenstaand codefragment toont een voorbeeldimplementatie van tellers in Hadoop MapReduce.

Hier Verkooptellers is een teller gedefinieerd met behulp van 'opsommingHet wordt gebruikt om ontbrekende en ongeldige invoerrecords te tellen.

In het codefragment, als 'LandAls het veld een lengte van nul heeft, ontbreekt de waarde ervan en wordt de bijbehorende teller SalesCounters.MISSING verhoogd.

Vervolgens, als 'verkoopAls een veld begint met een ", dan wordt de record als ONGELDIG beschouwd. Dit wordt aangegeven door de teller SalesCounters.INVALID te verhogen.

💡 API-opmerking: Het bovenstaande fragment gebruikt het origineel. org.apache.hadoop.mapred API, waar MapReduceBase Mapper interface, OutputCollector en Reporter verschijnen afzonderlijk. De huidige code is geschreven tegen org.apache.hadoop.mapreduce, waar een enkele Context vervangt de verzamelaar en de verslaggever, en een teller wordt verhoogd met context.getCounter(SalesCounters.MISSING).increment(1)Het concept van de tegenhanger is in beide gevallen identiek.

Veelgestelde vragen

Kies de mapper-variant wanneer één kant klein genoeg is om in het geheugen van elke node te worden opgeslagen, omdat deze de shuffle volledig overslaat. Kies de reducer-variant wanneer beide kanten groot of ongesorteerd zijn, en accepteer de extra netwerkkosten.

Modellen leren van historische taakgegevens om de uitvoeringsduur te voorspellen, splitgroottes en het aantal reducers aan te bevelen en afwijkingen in tellerwaarden te detecteren. Ze signaleren ook taken waarvan de tellers voor overgeslagen records of mislukte taken buiten het normale bereik voor die pipeline vallen.

Copilot genereert plausibele sjablonen voor mappers en reducers, maar mengt het oude mapred-pakket vrijelijk met het nieuwere mapreduce-pakket in één klasse, wat niet compileert. Corrigeer de imports en de methodesignaturen voordat u de logica vertrouwt.

Het is het mechanisme dat het kleinere bestand naar elk knooppunt verzendt voordat de taken beginnen. Elke mapper laadt die kopie vervolgens in een hashmap en zoekt lokaal naar overeenkomsten, wat een join aan de mapperzijde mogelijk maakt.

Ze worden afgedrukt in het consoleoverzicht wanneer de taak is voltooid, weergegeven in de taakgeschiedenis en op de webpagina's van het resourcebeheer, en zijn programmatisch leesbaar vanuit het taakobject, zodat een driver ze kan controleren en een mislukte uitvoering kan afwijzen.

Een enkel Context-object. Dit object draagt ​​het werk dat OutputCollector en Reporter voorheen onderling verdeelden, waardoor uitvoer wordt geschreven en tellers worden verhoogd via dezelfde handle die aan de map-methode wordt doorgegeven.

Voor de meeste journalistieke werkzaamheden, nee. HiveQL-koppeling Dit wordt in een paar regels teruggebracht tot hetzelfde shuffle-and-merge-patroon. Handgeschreven code is de moeite waard als de samenvoegingslogica niet in een SQL-clausule past.

Hadoop weigert te schrijven naar een uitvoermap die al bestaat. Dit beschermt voltooide resultaten tegen overschrijving. Verwijder de map eerst recursief, of geef bij de volgende uitvoering een ander uitvoerpad op.

Vat dit bericht samen met: