Hadoop MapReduce Join & Counter met voorbeeld
⚡ Slimme samenvatting
MapReduce-joins combineren twee grote datasets op basis van een gedeelde sleutel, hetzij binnen de mapper, hetzij binnen de reducer, terwijl MapReduce-tellers statistieken over de taak verzamelen, zodat foute records kunnen worden gemeten in plaats van te worden gegokt.
Wat is Join in MapReduce?
De MapReduce Join-bewerking wordt gebruikt om twee grote datasets te combineren. Dit proces vereist echter veel code om de daadwerkelijke join-bewerking uit te voeren. Het samenvoegen van twee datasets begint met het vergelijken van de grootte van elke dataset. Als de ene dataset kleiner is dan de andere, wordt de kleinere dataset verdeeld over alle dataknooppunten in het cluster.
Zodra ik me aanmeld KaartVerminderen Als de dataset gedistribueerd is, gebruikt de Mapper of de Reducer de kleinere dataset om overeenkomende records in de grote dataset op te zoeken en combineert deze records vervolgens tot uitvoerrecords.
Soorten deelname
Afhankelijk van de plaats waar de daadwerkelijke koppeling plaatsvindt, worden koppelingen in Hadoop in twee soorten ingedeeld.
- Kaartzijde aansluiten — Wanneer de join door de mapper wordt uitgevoerd, spreken we van een map-side join. Bij dit type join wordt de join uitgevoerd voordat de data daadwerkelijk door de map-functie wordt verwerkt. Het is verplicht dat de invoer voor elke map de vorm heeft van een partitie en gesorteerd is. Bovendien moet er een gelijk aantal partities zijn en moeten deze gesorteerd zijn op de join-sleutel.
- Verkleinde zijdelingse verbinding — Wanneer de join door de reducer wordt uitgevoerd, spreken we van een reduce-side join. Bij deze join is het niet nodig dat de dataset gestructureerd (of gepartitioneerd) is. De map-side processing genereert de join-sleutel en de bijbehorende tuples van beide tabellen. Hierdoor komen alle tuples met dezelfde join-sleutel in dezelfde reducer terecht, die vervolgens de records met dezelfde join-sleutel samenvoegt.
Een algemene processtroom van joins in Hadoop wordt weergegeven in het onderstaande diagram.

Nu de twee varianten duidelijk zijn, wordt in het volgende gedeelte een reduce-side join op twee kleine afdelingsbestanden besproken.
Hoe u twee datasets kunt samenvoegen: MapReduce-voorbeeld
Er zijn twee datasets in twee verschillende bestanden (zie hieronder). De sleutel Dept_ID is in beide bestanden hetzelfde. Het doel is om deze bestanden te combineren met behulp van MapReduce Join.
Input: De invoergegevensset bestaat uit twee tekstbestanden: DeptName.txt en DeptStrength.txt.
Zorg ervoor dat je dat hebt gedaan Hadoop geïnstalleerd. Voordat u begint met het daadwerkelijke proces van het MapReduce Join-voorbeeld, wijzigt u de gebruiker naar 'hduser' (de ID die tijdens de Hadoop-configuratie is gebruikt; u kunt overschakelen naar de gebruikers-ID die tijdens uw Hadoop-configuratie is gebruikt).
su - hduser_
De prompt verandert naar het Hadoop-account, zoals hieronder weergegeven.
Stap 1) Kopieer het zipbestand naar de locatie van uw keuze
Stap 2) Pak het zipbestand uit
sudo tar -xvf MapReduceJoin.tar.gz
De extracDe bestandsnamen scrollen voorbij terwijl tar het archief uitpakt.
Stap 3) Ga naar map MapReduceJoin/
cd MapReduceJoin/
Stap 4) Hadoop starten
$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
Beide scripts tonen de namen van de daemons die ze opstarten.
Stap 5) DeptStrength.txt en DeptName.txt zijn de invoerbestanden die worden gebruikt voor dit MapReduce Join-voorbeeldprogramma.
Deze bestanden moeten worden gekopieerd naar HDFS met behulp van onderstaande opdracht:
$HADOOP_HOME/bin/hdfs dfs -copyFromLocal DeptStrength.txt DeptName.txt /
Stap 6) Voer het programma uit met behulp van onderstaande opdracht-
$HADOOP_HOME/bin/hadoop jar MapReduceJoin.jar MapReduceJoin/JoinDriver/DeptStrength.txt /DeptName.txt /output_mapreducejoin
Het commando wordt eerst weergegeven, waarna de taak de voortgang op de console rapporteert.
Stap 7) Na de uitvoering wordt het uitvoerbestand (genaamd 'part-00000') opgeslagen in de map /output_mapreducejoin op HDFS.
Resultaten kunnen worden bekeken via de opdrachtregelinterface
$HADOOP_HOME/bin/hdfs dfs -cat /output_mapreducejoin/part-00000
Resultaten kunnen ook worden bekeken via een webinterface als-
Selecteer nu 'Bladeren door het bestandssysteem' en navigeer naar /output_mapreducejoin.
Open onderdeel-r-00000
Resultaten worden getoond
NOTITIE: Houd er rekening mee dat voordat u dit programma de volgende keer uitvoert, u de uitvoermap /output_mapreducejoin moet verwijderen
$HADOOP_HOME/bin/hdfs dfs -rm -r /output_mapreducejoin
Een alternatief is om een andere naam voor de uitvoermap te gebruiken.
Joins laten zien hoe de data eruitziet. Counters, die hierna aan bod komen, laten zien hoe de taak die de data produceerde zich heeft gedragen.
Wat is Counter in MapReduce?
Een teller in MapReduce is een mechanisme dat wordt gebruikt voor het verzamelen en meten van statistische informatie over MapReduce-taken en -gebeurtenissen. Tellers houden de tracTellers worden gebruikt voor probleemdiagnose in MapReduce, bijvoorbeeld om verschillende taakstatistieken bij te houden, zoals het aantal uitgevoerde bewerkingen en de voortgang van de bewerking.
Hadoop Counters zijn vergelijkbaar met het plaatsen van een logbericht in de code voor een kaart of reductie. Deze informatie kan nuttig zijn voor de diagnose van een probleem bij de taakverwerking van MapReduce.
Doorgaans worden deze tellers in Hadoop gedefinieerd in een programma (map of reduce) en worden ze tijdens de uitvoering verhoogd wanneer een bepaalde gebeurtenis of voorwaarde (specifiek voor die teller) zich voordoet. Een zeer goede toepassing van Hadoop-tellers is om track geldige en ongeldige records uit een invoerdataset.
Soorten MapReduce-tellers
Er zijn in principe twee soorten MapReduce-tellers.
- Ingebouwde tellers van Hadoop: Er zijn enkele ingebouwde Hadoop-tellers die per taak bestaan. Hieronder vindt u ingebouwde tellergroepen-
- MapReduce-taaktellers — Verzamelt taakspecifieke informatie (bijv. het aantal invoerrecords) tijdens de uitvoering.
- Bestandssysteemtellers — Verzamelt informatie zoals het aantal bytes dat door een taak is gelezen of geschreven.
- FileInputFormat-tellers — Verzamelt informatie over het aantal bytes dat via FileInputFormat wordt gelezen.
- FileOutputFormat-tellers — Verzamelt informatie over het aantal bytes dat via FileOutputFormat is geschreven.
- Banenbalies — Deze tellers registreren statistieken over de gehele functie, zoals het aantal taken dat voor een functie is gestart.
- Door de gebruiker gedefinieerde tellers: Naast de ingebouwde tellers kan een gebruiker ook zijn eigen tellers definiëren met behulp van vergelijkbare functionaliteiten die programmeertalen bieden. Bijvoorbeeld in JavaEen 'enum' wordt gebruikt om door de gebruiker gedefinieerde tellers te definiëren.
💡 Versie-opmerking: De vacaturetellers werden bijgehouden door de Job.Tracker onder MRv1. Op YARN behoort die rol toe aan de MapReduce ApplicationMaster, dus de tellernamen blijven behouden, maar de component die ze rapporteert is veranderd.
Een taak kan geen onbeperkt aantal tellers opgeven. mapreduce.job.counters.max De instelling beperkt het totaal per taak standaard tot 120, en een taak die er meer declareert, mislukt met een foutmelding. LimitExceededExceptionTellers zijn dus bedoeld voor een handvol geaggregeerde signalen in plaats van tellingen per toets.
Tellers voorbeeld
Een voorbeeld van een MapClass met tellers om het aantal ontbrekende en ongeldige waarden te tellen. Het invoergegevensbestand dat in deze handleiding wordt gebruikt, is een CSV-bestand: SalesJan2009.csv.
public static class MapClass extends MapReduceBase implements Mapper<LongWritable, Text, Text, Text> { static enum SalesCounters { MISSING, INVALID }; public void map ( LongWritable key, Text value, OutputCollector<Text, Text> output, Reporter reporter) throws IOException { //Input string is split using ',' and stored in 'fields' array String fields[] = value.toString().split(",", -20); //Value at 4th index is country. It is stored in 'country' variable String country = fields[4]; //Value at 8th index is sales data. It is stored in 'sales' variable String sales = fields[8]; if (country.length() == 0) { reporter.incrCounter(SalesCounters.MISSING, 1); } else if (sales.startsWith("\"")) { reporter.incrCounter(SalesCounters.INVALID, 1); } else { output.collect(new Text(country), new Text(sales + ",1")); } } }
Bovenstaand codefragment toont een voorbeeldimplementatie van tellers in Hadoop MapReduce.
Hier Verkooptellers is een teller gedefinieerd met behulp van 'opsommingHet wordt gebruikt om ontbrekende en ongeldige invoerrecords te tellen.
In het codefragment, als 'LandAls het veld een lengte van nul heeft, ontbreekt de waarde ervan en wordt de bijbehorende teller SalesCounters.MISSING verhoogd.
Vervolgens, als 'verkoopAls een veld begint met een ", dan wordt de record als ONGELDIG beschouwd. Dit wordt aangegeven door de teller SalesCounters.INVALID te verhogen.
💡 API-opmerking: Het bovenstaande fragment gebruikt het origineel. org.apache.hadoop.mapred API, waar MapReduceBase Mapper interface, OutputCollector en Reporter verschijnen afzonderlijk. De huidige code is geschreven tegen org.apache.hadoop.mapreduce, waar een enkele Context vervangt de verzamelaar en de verslaggever, en een teller wordt verhoogd met context.getCounter(SalesCounters.MISSING).increment(1)Het concept van de tegenhanger is in beide gevallen identiek.











