Co to jest MapReduce w Hadoop? Archistruktura i diagram

Co to jest MapReduce w Hadoop?

MapReduce to framework oprogramowania i model programowania używany do przetwarzania ogromnych ilości danych. Programy MapReduce działają w dwóch fazach: Map i Reduce. Zadania Map obejmują dzielenie i mapowanie.ping danych, podczas gdy zadania Reduce przestawiają i redukują dane.

Hadoop jest w stanie uruchamiać programy MapReduce napisane w różnych językach: Java, Rubin, Python, C++Programy MapReduce mają charakter równoległy, dzięki czemu są bardzo przydatne do przeprowadzania analiz danych na dużą skalę przy użyciu wielu maszyn w klastrze.

Dane wejściowe do każdej fazy to pary klucz-wartość. Dodatkowo każdy programista musi określić dwie funkcje: funkcję mapującą i funkcję redukującą.

MapaReduce Architecture w Big Data wyjaśniona na przykładzie

Cały proces przebiega przez cztery fazy wykonania, mianowicie: podział, mapowanieping, tasowania i redukcji.

W tym samouczku MapReduce wyjaśnimy to na przykładzie MapReduce.

Załóżmy, że masz następujące dane wejściowe dla swojego MapReduce w Big Data Program:

Welcome to Hadoop Class
Hadoop is good
Hadoop is bad

Poniższy diagram tracpowtarza te trzy wersy w każdej fazie, od podziału wejściowego po lewej stronie do końcowego liczenia słów po prawej stronie.

Ostatecznym wynikiem zadania MapReduce jest

Dane przechodzą przez następujące fazy MapReduce w Big Data.

Podziały wejściowe

Dane wejściowe do zadania MapReduce w Big Data są dzielone na fragmenty o stałej wielkości, zwane podziałami wejściowymi. Podział wejściowy to fragment danych wejściowych, który jest przetwarzany przez pojedynczą mapę.

Mapaping

To pierwsza faza wykonywania programu MapReduce. W tej fazie dane z każdego podziału są przekazywane do mapy.ping funkcja do generowania wartości wyjściowych. W naszym przykładzie zadaniem mapyping faza polega na zliczeniu liczby wystąpień każdego słowa z podziałów wejściowych (więcej szczegółów na temat podziałów wejściowych podano poniżej) i przygotowaniu listy w formie .

Szuranie

Ta faza zużywa dane wyjściowe mapyping Faza. Jej zadaniem jest konsolidacja odpowiednich rekordów z Mapyping wyjście fazowe. W naszym przykładzie te same słowa są łączone razem wraz z odpowiadającymi im częstotliwościami.

Redukcja

W tej fazie wartości wyjściowe z fazy tasowania są agregowane. Ta faza łączy wartości z fazy tasowania i zwraca pojedynczą wartość wyjściową. Krótko mówiąc, ta faza podsumowuje cały zestaw danych.

W naszym przykładzie faza ta agreguje wartości z fazy tasowania, tzn. oblicza całkowitą liczbę wystąpień każdego słowa.

MapaReduce Archiszczegółowo wyjaśniona struktura

Poniższe punkty wyjaśniają, w jaki sposób podziały, zadania mapowania i zadania redukcji są faktycznie umieszczane i przechowywane w klastrze.

• Dla każdego podziału tworzone jest jedno zadanie mapy, które następnie wykonuje funkcję mapy dla każdego rekordu w podziale.
• Zawsze korzystne jest posiadanie wielu podziałów, ponieważ czas potrzebny na przetworzenie jednego podziału jest krótki w porównaniu z czasem potrzebnym na przetworzenie całego wejścia. Mniejsze podziały zapewniają lepsze zrównoważenie obciążenia przetwarzania, ponieważ podziały są przetwarzane równolegle.
• Jednak zbyt małe podziały również nie są pożądane. Gdy podziały są zbyt małe, narzut związany z zarządzaniem podziałami i tworzeniem zadań mapowania zaczyna dominować nad całkowitym czasem wykonania zadania.
• W przypadku większości zadań lepiej jest ustawić rozmiar podziału równy rozmiarowi HDFS blok, którego wartość domyślna od wersji Hadoop 2.x wynosi 128 MB (w wersji Hadoop 1.x wynosiła 64 MB) i jest kontrolowany przez dfs.blocksize własność.
• Wykonanie zadań mapy powoduje zapisanie danych wyjściowych na dysku lokalnym danego węzła, a nie w systemie HDFS.
• Powodem wyboru dysku lokalnego zamiast HDFS jest chęć uniknięcia replikacji, która ma miejsce podczas operacji przechowywania danych w systemie HDFS.
• Wynik mapy to wynik pośredni, który jest przetwarzany przez zadania redukcji w celu uzyskania końcowego wyniku.
• Po zakończeniu zadania wynik mapy można wyrzucić. Dlatego przechowywanie go w HDFS z replikacją staje się przesadą.
• W przypadku awarii węzła, zanim dane wyjściowe mapy zostaną wykorzystane przez zadanie zmniejszania, Hadoop ponownie uruchamia zadanie mapy w innym węźle i ponownie tworzy wynik mapy.
• Zadania redukcji nie opierają się na koncepcji lokalności danych. Dane wyjściowe każdego zadania mapy są przekazywane do zadania redukcji. Dane wyjściowe mapy są przesyłane do maszyny, na której uruchomione jest zadanie redukcji.
• Na tym komputerze dane wyjściowe są łączone, a następnie przekazywane do funkcji zmniejszania zdefiniowanej przez użytkownika.
• W przeciwieństwie do danych wyjściowych polecenia „map”, dane wyjściowe polecenia „reduce” są przechowywane w systemie HDFS (pierwsza replika jest przechowywana na węźle lokalnym, a pozostałe na węzłach poza szafą). Zatem zapisanie danych wyjściowych polecenia „reduce” zużywa przepustowość sieci, ale tylko tyle, ile zużywa standardowy potok zapisu HDFS.

Jak MapReduce organizuje pracę?

W tym samouczku MapReduce dowiemy się, jak działa MapReduce.

Hadoop dzieli zadanie na zadania. Istnieją dwa typy zadań:

1. Zadania na mapie (podziały i mapa)ping)
2. Zmniejszanie zadań (mieszanie, redukcja)

Cały proces wykonywania, czyli wykonywanie zadań Map i Reduce, kontrolowany jest przez dwa typy jednostek, zwane:

1. PracaTracker: działa jako master i jest odpowiedzialny za całkowite wykonanie przesłanego zadania.
2. Wiele zadańTrackers: zachowują się jak niewolnicy, każdy z nich wykonuje część pracy.

Na każde zadanie przesłane do wykonania w systemie przypada jedno zadanieTracker, który znajduje się na NameNode i istnieje wiele zadańTrackers, które znajdują się na DataNodes.

Uwaga: PracaTracker i zadanieTracPara kerów należy do MapReduce w wersji 1 (Hadoop 1.x). Od Hadoop 2.x YARN dzieli te zadania między ResourceManager w całym klastrze, NodeManager na każdym węźle i jednego ApplicationMastera na zadanie, chociaż same fazy mapowania, mieszania i redukcji pozostają niezmienione.

Poniższy diagram przedstawia podział przesłanego zadania na zadania i tracprzemierzał klaster.

• Zadanie jest dzielone na wiele zadań, które są następnie uruchamiane na wielu węzłach danych w klastrze.
• To jest odpowiedzialność za pracę tracker koordynuje działania poprzez planowanie zadań do wykonania na różnych węzłach danych.
• Następnie wykonaniem pojedynczego zadania zajmuje się zespół odpowiedzialny za realizację zadania. tracker, który znajduje się w każdym węźle danych wykonującym część zadania.
• Zadanie tracobowiązkiem kera jest wysłanie raportu postępu do pracy tracker.
• Ponadto zadanie tracker okresowo wysyła sygnał „bicia serca” do zadaniaTracker, aby powiadomić go o aktualnym stanie systemu.
• Tak więc praca tracker utrzymuje track ogólnego postępu każdego zadania. W przypadku niepowodzenia zadania, zadanie tracker może przełożyć to na inne zadanie tracker.

FAQ