Hadoop MapReduce Join & Counter z przykładem

⚡ Inteligentne podsumowanie

Połączenia MapReduce łączą dwa duże zestawy danych przy użyciu współdzielonego klucza, albo wewnątrz mapera, albo wewnątrz reduktora, podczas gdy liczniki MapReduce zbierają statystyki dotyczące zadania, dzięki czemu możliwe jest mierzenie błędnych rekordów, a nie ich zgadywanie.

  • 🔘 Podstawy dołączania: Mniejszy z dwóch zestawów danych jest dystrybuowany do każdego węzła danych i używany jako strona wyszukiwania.
  • ️ Dołączenie do mapy: Wymaga, aby każde dane wejściowe zostały podzielone, równo podzielone i posortowane według klucza łączenia przed uruchomieniem funkcji mapy.
  • ✅ Połączenie boczne redukcyjne: Nie wymaga partycjonowania, ponieważ każda krotka dzieląca klucz łączenia trafia do tego samego reduktora.
  • 🧪 Przykład rozwiązania: Pliki DeptName.txt i DeptStrength.txt są kopiowane do HDFS i dołączane do Dept_ID za pomocą spakowanego pliku jar.
  • 🛠️. Typy liczników: Pięć wbudowanych grup liczników jest dołączanych do każdego zadania, a liczniki zdefiniowane przez użytkownika są deklarowane jako Java wyliczenie.
  • ⚠️ Użycie licznika: Zwiększanie licznika za każdym brakującym lub nieprawidłowym rekordem sprawia, że ​​problemy z jakością danych są przedstawiane w postaci liczby w raporcie z zadania.

Samouczek dotyczący łączenia i liczników w Hadoop MapReduce z działającym przykładem

Czym jest Join w MapReduce?

Operacja MapReduce Join służy do łączenia dwóch dużych zbiorów danych. Proces ten wymaga jednak napisania dużej ilości kodu w celu wykonania operacji łączenia. Łączenie dwóch zbiorów danych rozpoczyna się od porównania rozmiaru każdego z nich. Jeśli jeden zbiór danych jest mniejszy w porównaniu z drugim, wówczas mniejszy zbiór danych jest dystrybuowany do każdego węzła danych w klastrze.

Po dołączeniu MapaReduce jest rozproszony, wówczas Mapper lub Reducer używa mniejszego zestawu danych do wyszukania pasujących rekordów w większym zestawie danych, a następnie łączy te rekordy, aby utworzyć rekordy wyjściowe.

Rodzaje przyłączeń

W zależności od miejsca, w którym wykonywane jest faktyczne połączenie, połączenia w Hadoop można podzielić na dwa rodzaje.

  1. Dołączenie do mapy — Gdy łączenie jest wykonywane przez maper, nazywa się łączeniem po stronie mapy. W tym typie łączenie jest wykonywane przed faktycznym wykorzystaniem danych przez funkcję mapy. Dane wejściowe do każdej mapy muszą mieć formę partycji i być posortowane. Ponadto, liczba partycji musi być równa i muszą być one posortowane według klucza łączenia.
  2. Połączenie boczne redukcyjne — Gdy łączenie jest wykonywane przez reduktor, nazywa się to łączeniem po stronie redukcji. W tym łączeniu nie ma potrzeby posiadania zbioru danych w formie ustrukturyzowanej (ani podzielonej). W tym przypadku przetwarzanie po stronie mapy generuje klucz łączenia i odpowiadające mu krotki obu tabel. W efekcie tego przetwarzania wszystkie krotki z tym samym kluczem łączenia trafiają do tego samego reduktora, który następnie łączy rekordy tym samym kluczem łączenia.

Ogólny przebieg procesu złączeń w Hadoop przedstawiono na poniższym diagramie.

Schemat blokowy procesu porównujący połączenie po stronie mapy z połączeniem po stronie redukcji w Hadoop
Rodzaje połączeń w Hadoop MapReduce

Mając już ustalone dwie wersje, w następnej sekcji przejdziemy do wykonania łączenia metodą redukcji w dwóch małych plikach działów.

Jak połączyć dwa zestawy danych: przykład MapReduce

Istnieją dwa zestawy danych w dwóch różnych plikach (pokazane poniżej). Klucz Dept_ID jest wspólny dla obu plików. Celem jest połączenie tych plików za pomocą MapReduce Join.

Pierwszy plik wejściowy zawierający identyfikatory działów wraz z ich nazwami

Plik 1
Drugi plik wejściowy zawierający identyfikatory działów wraz z wartościami siły działów

Plik 2

Wejście: Zestaw danych wejściowych to plik tekstowy DeptName.txt i DeptStrength.txt

Pobierz stąd pliki wejściowe

Upewnij się, że masz Hadoop Zainstalowano. Zanim rozpoczniesz rzeczywisty proces przykładowego łączenia MapReduce, zmień użytkownika na „hduser” (id używany podczas konfiguracji Hadoop, możesz zmienić na identyfikator użytkownika używany podczas konfiguracji Hadoop).

su - hduser_

Monit zostanie przełączony na konto Hadoop, jak pokazano poniżej.

Terminal po przełączeniu się na konto hduser za pomocą polecenia su

Krok 1) Skopiuj plik zip do wybranej lokalizacji

Pobrano archiwum MapReduceJoin i umieszczono je w wybranym katalogu roboczym

Krok 2) Rozpakuj plik zip

sudo tar -xvf MapReduceJoin.tar.gz

ByłytracNazwy plików TED przesuwają się, gdy tar rozpakowuje archiwum.

Lista plików w konsoli np.tracted z MapReduceJoin.tar.gz

Krok 3) Przejdź do katalogu MapReduceJoin/

cd MapReduceJoin/

Monit powłoki po przejściu do katalogu MapReduceJoin

Krok 4) Uruchom Hadoopa

$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh

Oba skrypty drukują uruchomione demony.

Wiadomości startowe ze skryptów demona HDFS i YARN

Krok 5) DeptStrength.txt i DeptName.txt to pliki wejściowe używane w tym przykładowym programie MapReduce Join.

Te pliki muszą zostać skopiowane do HDFS używając poniższego polecenia-

$HADOOP_HOME/bin/hdfs dfs -copyFromLocal DeptStrength.txt DeptName.txt /

Oba pliki tekstowe wejściowe skopiowane do katalogu głównego HDFS

Krok 6) Uruchom program za pomocą poniższego polecenia-

$HADOOP_HOME/bin/hadoop jar MapReduceJoin.jar MapReduceJoin/JoinDriver/DeptStrength.txt /DeptName.txt /output_mapreducejoin

Najpierw wyświetlane jest polecenie, a następnie zadanie raportuje swój postęp na konsoli.

Wiersz poleceń uruchamiający spakowany plik jar MapReduceJoin

Wyjście konsoli trackról postępu zadania dołączania MapReduce

Krok 7) Po wykonaniu plik wyjściowy (o nazwie „part-00000”) zostanie zapisany w katalogu /output_mapreducejoin w systemie HDFS

Wyniki można zobaczyć za pomocą interfejsu wiersza poleceń

$HADOOP_HOME/bin/hdfs dfs -cat /output_mapreducejoin/part-00000

Połączone rekordy działów wydrukowane z HDFS poleceniem cat

Wyniki można również zobaczyć za pośrednictwem interfejsu internetowego, ponieważ:

Strona docelowa interfejsu internetowego Hadoop służąca do dostępu do przeglądarki systemu plików

Teraz wybierz „Przeglądaj system plików” i przejdź do /output_mapreducejoin

Przeglądanie widoku systemu plików HDFS w katalogu output_mapreducejoin

Otwórz część-r-00000

Wybieranie pliku wyjściowego part-r-00000 w widoku przeglądarki

Wyniki są pokazane

Połączone wiersze nazwy i siły departamentów wyświetlane w przeglądarce

UWAGA: Pamiętaj, że przed ponownym uruchomieniem tego programu będziesz musiał usunąć katalog wyjściowy /output_mapreducejoin

$HADOOP_HOME/bin/hdfs dfs -rm -r /output_mapreducejoin

Alternatywą jest użycie innej nazwy katalogu wyjściowego.

Połączenia pokazują, jak wyglądają dane. Liczniki, omówione dalej, pokazują, jak zachowywało się zadanie, które je wygenerowało.

Co to jest licznik w MapReduce?

Licznik w MapReduce to mechanizm służący do zbierania i pomiaru informacji statystycznych o zadaniach i zdarzeniach MapReduce. Liczniki przechowują track różnych statystyk zadań w MapReduce, takich jak liczba wykonanych operacji i ich postęp. Liczniki służą do diagnozowania problemów w MapReduce.

Liczniki Hadoop działają podobnie do umieszczania komunikatu dziennika w kodzie mapy lub redukcji. Informacje te mogą być przydatne do diagnozowania problemu w przetwarzaniu zadań MapReduce.

Zazwyczaj te liczniki w Hadoop są definiowane w programie (map lub reduce) i są zwiększane podczas wykonywania, gdy wystąpi określone zdarzenie lub warunek (specyficzny dla danego licznika). Bardzo dobrym zastosowaniem liczników Hadoop jest track prawidłowych i nieprawidłowych rekordów z zestawu danych wejściowych.

Rodzaje liczników MapReduce

Istnieją zasadniczo dwa typy liczników MapReduce

  1. Wbudowane liczniki Hadoop: Istnieje kilka wbudowanych liczników Hadoop, które istnieją dla każdego zadania. Poniżej znajdują się wbudowane grupy liczników-
    • Liczniki zadań MapReduce — Gromadzi informacje specyficzne dla zadania (np. liczbę rekordów wejściowych) w trakcie jego wykonywania.
    • Liczniki systemu plików — Gromadzi informacje takie jak liczba bajtów odczytanych lub zapisanych przez zadanie.
    • Liczniki FileInputFormat — Gromadzi informacje o liczbie bajtów odczytanych przez FileInputFormat.
    • Liczniki FileOutputFormat — Gromadzi informacje o liczbie bajtów zapisanych przez FileOutputFormat.
    • Liczniki zadań — Liczniki te rejestrują statystyki dotyczące całego zadania, takie jak liczba zadań uruchomionych w ramach zadania.
  2. Liczniki zdefiniowane przez użytkownika: Oprócz wbudowanych liczników użytkownik może definiować własne liczniki, korzystając z podobnych funkcjonalności udostępnianych przez języki programowania. Na przykład w Java, do definiowania liczników zdefiniowanych przez użytkownika stosuje się 'enum'.

💡 Uwaga dotycząca wersji: liczniki zadań były obsługiwane przez JobTracker w MRv1. W YARN ta rola należy do MapReduce ApplicationMaster, więc nazwy liczników pozostały, ale zmienił się komponent je raportujący.

Zadanie nie może zadeklarować nieograniczonej liczby liczników. mapreduce.job.counters.max ustawienie domyślnie ogranicza całkowitą liczbę zadań do 120, a zadanie, które deklaruje więcej, kończy się niepowodzeniem LimitExceededExceptiondlatego liczniki są przeznaczone do pomiaru kilku sygnałów zbiorczych, a nie do pomiaru pojedynczych kluczy.

Przykład liczników

Przykładowa klasa MapClass z licznikami do zliczania wartości brakujących i nieprawidłowych. Plik danych wejściowych używany w tym samouczku. Nasz zbiór danych wejściowych to plik CSV o nazwie SalesJan2009.csv.

public static class MapClass
            extends MapReduceBase
            implements Mapper<LongWritable, Text, Text, Text>
{
    static enum SalesCounters { MISSING, INVALID };
    public void map ( LongWritable key, Text value,
                 OutputCollector<Text, Text> output,
                 Reporter reporter) throws IOException
    {
        
        //Input string is split using ',' and stored in 'fields' array
        String fields[] = value.toString().split(",", -20);
        //Value at 4th index is country. It is stored in 'country' variable
        String country = fields[4];
        
        //Value at 8th index is sales data. It is stored in 'sales' variable
        String sales = fields[8];
      
        if (country.length() == 0) {
            reporter.incrCounter(SalesCounters.MISSING, 1);
        } else if (sales.startsWith("\"")) {
            reporter.incrCounter(SalesCounters.INVALID, 1);
        } else {
            output.collect(new Text(country), new Text(sales + ",1"));
        }
    }
}

Powyższy fragment kodu pokazuje przykładową implementację liczników w Hadoop MapReduce.

Tutaj, Liczniki sprzedaży jest licznikiem zdefiniowanym za pomocą 'wyliczanie'. Służy do zliczania BRAKUJĄCYCH i NIEPRAWIDŁOWYCH rekordów wejściowych.

W fragmencie kodu, jeśli „krajJeśli pole ma zerową długość, wówczas jego wartość jest brakująca i dlatego zwiększany jest odpowiadający mu licznik SalesCounters.MISSING.

Następnie, jeśli „solePole zaczyna się od „, wtedy rekord jest uznawany za NIEPRAWIDŁOWY. Wskazuje na to zwiększenie licznika SalesCounters.INVALID.

💡 Uwaga dotycząca API: powyższy fragment wykorzystuje oryginał org.apache.hadoop.mapred API, gdzie MapReduceBaseThe Mapper berło, OutputCollector oraz Reporter pojawiają się osobno. Obecny kod jest napisany w odniesieniu do org.apache.hadoop.mapreduce, gdzie pojedynczy Context zastępuje kolektor i raport, a licznik jest zwiększany o context.getCounter(SalesCounters.MISSING).increment(1)Koncepcja licznika jest w obu przypadkach identyczna.

FAQ

Wybierz wariant mappera, gdy jedna strona jest wystarczająco mała, aby pomieścić dane w pamięci każdego węzła, ponieważ całkowicie pomija tasowanie. Wybierz wariant reduktora, gdy obie strony są duże lub nieposortowane, i zaakceptuj dodatkowy koszt sieci.

Modele uczą się na podstawie historii zadań, aby przewidywać czas wykonania, rekomendować rozmiary podziałów i liczbę reduktorów oraz wykrywać odchylenia od wartości liczników. Oznaczają również zadania, których liczniki „przelanych rekordów” lub „nieudanych zadań” odbiegają od normalnego pasma dla danego potoku.

Copilot generuje wiarygodne szkielety maperów i reduktorów, ale swobodnie miesza stary pakiet Mapred z nowszym pakietem MapReduce w jednej klasie, co się nie kompiluje. Napraw importy i sygnatury metod przed zaufaniem logice.

To mechanizm, który wysyła mniejszy plik do każdego węzła przed rozpoczęciem zadań. Następnie każdy maper ładuje tę kopię do mapy skrótów i lokalnie wyszukuje dopasowania, co umożliwia łączenie po stronie mappera.

Są one drukowane w podsumowaniu konsoli po zakończeniu zadania, ujawniane na stronach internetowych historii zadań i menedżera zasobów oraz możliwe do odczytania programowo z obiektu zadania, dzięki czemu sterownik może je potwierdzić i odrzucić nieprawidłowy przebieg.

Pojedynczy obiekt kontekstowy. Przenosi on pracę, którą OutputCollector i Reporter wykorzystały do ​​podziału między sobą, więc dane wyjściowe są zapisywane, a liczniki są zwiększane za pomocą tego samego uchwytu przekazanego do metody mapy.

W przypadku większości prac sprawozdawczych nie. Dołączenie HiveQL Kompiluje się do tego samego schematu „mieszania i scalania” w kilku linijkach. Ręczne pisanie jest warte zachodu, gdy logika scalania nie pasuje do klauzuli SQL.

Hadoop odmawia zapisu do katalogu wyjściowego, który już istnieje, co chroni gotowe wyniki przed nadpisaniem. Najpierw usuń katalog rekurencyjnie lub przekaż inną ścieżkę wyjściową przy następnym uruchomieniu.

Podsumuj ten post następująco: