Hadoop MapReduce Join & Counter z przykładem
⚡ Inteligentne podsumowanie
Połączenia MapReduce łączą dwa duże zestawy danych przy użyciu współdzielonego klucza, albo wewnątrz mapera, albo wewnątrz reduktora, podczas gdy liczniki MapReduce zbierają statystyki dotyczące zadania, dzięki czemu możliwe jest mierzenie błędnych rekordów, a nie ich zgadywanie.
Czym jest Join w MapReduce?
Operacja MapReduce Join służy do łączenia dwóch dużych zbiorów danych. Proces ten wymaga jednak napisania dużej ilości kodu w celu wykonania operacji łączenia. Łączenie dwóch zbiorów danych rozpoczyna się od porównania rozmiaru każdego z nich. Jeśli jeden zbiór danych jest mniejszy w porównaniu z drugim, wówczas mniejszy zbiór danych jest dystrybuowany do każdego węzła danych w klastrze.
Po dołączeniu MapaReduce jest rozproszony, wówczas Mapper lub Reducer używa mniejszego zestawu danych do wyszukania pasujących rekordów w większym zestawie danych, a następnie łączy te rekordy, aby utworzyć rekordy wyjściowe.
Rodzaje przyłączeń
W zależności od miejsca, w którym wykonywane jest faktyczne połączenie, połączenia w Hadoop można podzielić na dwa rodzaje.
- Dołączenie do mapy — Gdy łączenie jest wykonywane przez maper, nazywa się łączeniem po stronie mapy. W tym typie łączenie jest wykonywane przed faktycznym wykorzystaniem danych przez funkcję mapy. Dane wejściowe do każdej mapy muszą mieć formę partycji i być posortowane. Ponadto, liczba partycji musi być równa i muszą być one posortowane według klucza łączenia.
- Połączenie boczne redukcyjne — Gdy łączenie jest wykonywane przez reduktor, nazywa się to łączeniem po stronie redukcji. W tym łączeniu nie ma potrzeby posiadania zbioru danych w formie ustrukturyzowanej (ani podzielonej). W tym przypadku przetwarzanie po stronie mapy generuje klucz łączenia i odpowiadające mu krotki obu tabel. W efekcie tego przetwarzania wszystkie krotki z tym samym kluczem łączenia trafiają do tego samego reduktora, który następnie łączy rekordy tym samym kluczem łączenia.
Ogólny przebieg procesu złączeń w Hadoop przedstawiono na poniższym diagramie.

Mając już ustalone dwie wersje, w następnej sekcji przejdziemy do wykonania łączenia metodą redukcji w dwóch małych plikach działów.
Jak połączyć dwa zestawy danych: przykład MapReduce
Istnieją dwa zestawy danych w dwóch różnych plikach (pokazane poniżej). Klucz Dept_ID jest wspólny dla obu plików. Celem jest połączenie tych plików za pomocą MapReduce Join.
Wejście: Zestaw danych wejściowych to plik tekstowy DeptName.txt i DeptStrength.txt
Upewnij się, że masz Hadoop Zainstalowano. Zanim rozpoczniesz rzeczywisty proces przykładowego łączenia MapReduce, zmień użytkownika na „hduser” (id używany podczas konfiguracji Hadoop, możesz zmienić na identyfikator użytkownika używany podczas konfiguracji Hadoop).
su - hduser_
Monit zostanie przełączony na konto Hadoop, jak pokazano poniżej.
Krok 1) Skopiuj plik zip do wybranej lokalizacji
Krok 2) Rozpakuj plik zip
sudo tar -xvf MapReduceJoin.tar.gz
ByłytracNazwy plików TED przesuwają się, gdy tar rozpakowuje archiwum.
Krok 3) Przejdź do katalogu MapReduceJoin/
cd MapReduceJoin/
Krok 4) Uruchom Hadoopa
$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
Oba skrypty drukują uruchomione demony.
Krok 5) DeptStrength.txt i DeptName.txt to pliki wejściowe używane w tym przykładowym programie MapReduce Join.
Te pliki muszą zostać skopiowane do HDFS używając poniższego polecenia-
$HADOOP_HOME/bin/hdfs dfs -copyFromLocal DeptStrength.txt DeptName.txt /
Krok 6) Uruchom program za pomocą poniższego polecenia-
$HADOOP_HOME/bin/hadoop jar MapReduceJoin.jar MapReduceJoin/JoinDriver/DeptStrength.txt /DeptName.txt /output_mapreducejoin
Najpierw wyświetlane jest polecenie, a następnie zadanie raportuje swój postęp na konsoli.
Krok 7) Po wykonaniu plik wyjściowy (o nazwie „part-00000”) zostanie zapisany w katalogu /output_mapreducejoin w systemie HDFS
Wyniki można zobaczyć za pomocą interfejsu wiersza poleceń
$HADOOP_HOME/bin/hdfs dfs -cat /output_mapreducejoin/part-00000
Wyniki można również zobaczyć za pośrednictwem interfejsu internetowego, ponieważ:
Teraz wybierz „Przeglądaj system plików” i przejdź do /output_mapreducejoin
Otwórz część-r-00000
Wyniki są pokazane
UWAGA: Pamiętaj, że przed ponownym uruchomieniem tego programu będziesz musiał usunąć katalog wyjściowy /output_mapreducejoin
$HADOOP_HOME/bin/hdfs dfs -rm -r /output_mapreducejoin
Alternatywą jest użycie innej nazwy katalogu wyjściowego.
Połączenia pokazują, jak wyglądają dane. Liczniki, omówione dalej, pokazują, jak zachowywało się zadanie, które je wygenerowało.
Co to jest licznik w MapReduce?
Licznik w MapReduce to mechanizm służący do zbierania i pomiaru informacji statystycznych o zadaniach i zdarzeniach MapReduce. Liczniki przechowują track różnych statystyk zadań w MapReduce, takich jak liczba wykonanych operacji i ich postęp. Liczniki służą do diagnozowania problemów w MapReduce.
Liczniki Hadoop działają podobnie do umieszczania komunikatu dziennika w kodzie mapy lub redukcji. Informacje te mogą być przydatne do diagnozowania problemu w przetwarzaniu zadań MapReduce.
Zazwyczaj te liczniki w Hadoop są definiowane w programie (map lub reduce) i są zwiększane podczas wykonywania, gdy wystąpi określone zdarzenie lub warunek (specyficzny dla danego licznika). Bardzo dobrym zastosowaniem liczników Hadoop jest track prawidłowych i nieprawidłowych rekordów z zestawu danych wejściowych.
Rodzaje liczników MapReduce
Istnieją zasadniczo dwa typy liczników MapReduce
- Wbudowane liczniki Hadoop: Istnieje kilka wbudowanych liczników Hadoop, które istnieją dla każdego zadania. Poniżej znajdują się wbudowane grupy liczników-
- Liczniki zadań MapReduce — Gromadzi informacje specyficzne dla zadania (np. liczbę rekordów wejściowych) w trakcie jego wykonywania.
- Liczniki systemu plików — Gromadzi informacje takie jak liczba bajtów odczytanych lub zapisanych przez zadanie.
- Liczniki FileInputFormat — Gromadzi informacje o liczbie bajtów odczytanych przez FileInputFormat.
- Liczniki FileOutputFormat — Gromadzi informacje o liczbie bajtów zapisanych przez FileOutputFormat.
- Liczniki zadań — Liczniki te rejestrują statystyki dotyczące całego zadania, takie jak liczba zadań uruchomionych w ramach zadania.
- Liczniki zdefiniowane przez użytkownika: Oprócz wbudowanych liczników użytkownik może definiować własne liczniki, korzystając z podobnych funkcjonalności udostępnianych przez języki programowania. Na przykład w Java, do definiowania liczników zdefiniowanych przez użytkownika stosuje się 'enum'.
💡 Uwaga dotycząca wersji: liczniki zadań były obsługiwane przez JobTracker w MRv1. W YARN ta rola należy do MapReduce ApplicationMaster, więc nazwy liczników pozostały, ale zmienił się komponent je raportujący.
Zadanie nie może zadeklarować nieograniczonej liczby liczników. mapreduce.job.counters.max ustawienie domyślnie ogranicza całkowitą liczbę zadań do 120, a zadanie, które deklaruje więcej, kończy się niepowodzeniem LimitExceededExceptiondlatego liczniki są przeznaczone do pomiaru kilku sygnałów zbiorczych, a nie do pomiaru pojedynczych kluczy.
Przykład liczników
Przykładowa klasa MapClass z licznikami do zliczania wartości brakujących i nieprawidłowych. Plik danych wejściowych używany w tym samouczku. Nasz zbiór danych wejściowych to plik CSV o nazwie SalesJan2009.csv.
public static class MapClass extends MapReduceBase implements Mapper<LongWritable, Text, Text, Text> { static enum SalesCounters { MISSING, INVALID }; public void map ( LongWritable key, Text value, OutputCollector<Text, Text> output, Reporter reporter) throws IOException { //Input string is split using ',' and stored in 'fields' array String fields[] = value.toString().split(",", -20); //Value at 4th index is country. It is stored in 'country' variable String country = fields[4]; //Value at 8th index is sales data. It is stored in 'sales' variable String sales = fields[8]; if (country.length() == 0) { reporter.incrCounter(SalesCounters.MISSING, 1); } else if (sales.startsWith("\"")) { reporter.incrCounter(SalesCounters.INVALID, 1); } else { output.collect(new Text(country), new Text(sales + ",1")); } } }
Powyższy fragment kodu pokazuje przykładową implementację liczników w Hadoop MapReduce.
Tutaj, Liczniki sprzedaży jest licznikiem zdefiniowanym za pomocą 'wyliczanie'. Służy do zliczania BRAKUJĄCYCH i NIEPRAWIDŁOWYCH rekordów wejściowych.
W fragmencie kodu, jeśli „krajJeśli pole ma zerową długość, wówczas jego wartość jest brakująca i dlatego zwiększany jest odpowiadający mu licznik SalesCounters.MISSING.
Następnie, jeśli „solePole zaczyna się od „, wtedy rekord jest uznawany za NIEPRAWIDŁOWY. Wskazuje na to zwiększenie licznika SalesCounters.INVALID.
💡 Uwaga dotycząca API: powyższy fragment wykorzystuje oryginał org.apache.hadoop.mapred API, gdzie MapReduceBaseThe Mapper berło, OutputCollector oraz Reporter pojawiają się osobno. Obecny kod jest napisany w odniesieniu do org.apache.hadoop.mapreduce, gdzie pojedynczy Context zastępuje kolektor i raport, a licznik jest zwiększany o context.getCounter(SalesCounters.MISSING).increment(1)Koncepcja licznika jest w obu przypadkach identyczna.











