Co je MapReduce v Hadoopu? ArchiTektura a diagram

Co je MapReduce v Hadoopu?

MapReduce je softwarový framework a programovací model používaný pro zpracování obrovského množství dat. Programy MapReduce fungují ve dvou fázích, a to Map a Reduce. Úlohy Map se zabývají rozdělením a mapovánímping dat, zatímco funkce Snížení počtu úloh zamíchá a sníží počet dat.

Hadoop je schopen spouštět programy MapReduce napsané v různých jazycích: Java, Ruby, Python, a C++Programy MapReduce jsou paralelní povahy, takže jsou velmi užitečné pro provádění rozsáhlé analýzy dat s využitím více počítačů v clusteru.

Vstupem do každé fáze jsou páry klíč-hodnota. Kromě toho musí každý programátor specifikovat dvě funkce: funkci map a funkci reduce.

MapReduce Architecture v Big Data vysvětlená pomocí příkladu

Celý proces prochází čtyřmi fázemi provádění, a to rozdělením, mapovánímping, míchání a redukce.

V tomto tutoriálu o MapReduce si to nyní ukážeme na příkladu MapReduce.

Uvažujte, že máte pro MapReduce následující vstupní data Big dat program:

Welcome to Hadoop Class
Hadoop is good
Hadoop is bad

Níže uvedený diagram tracprochází těmito třemi řádky každou fází, od rozdělení vstupu vlevo až po konečný počet slov vpravo.

Konečným výstupem úlohy MapReduce je

Data procházejí následujícími fázemi MapReduce ve velkých datech.

Rozdělení vstupů

Vstup do úlohy MapReduce v Big Data je rozdělen na kusy pevné velikosti, které se nazývají vstupní rozdělení. Vstupní rozdělení je část vstupu, která je spotřebována jednou mapou.

Mapaping

Toto je úplně první fáze provádění programu MapReduce. V této fázi jsou data z každého rozdělení předávána do mapy.ping funkce pro generování výstupních hodnot. V našem příkladu je úlohou mapyping fáze spočívá ve spočítání počtu výskytů každého slova ze vstupních rozdělení (více podrobností o vstupních rozděleních je uvedeno níže) a přípravě seznamu ve tvaru .

Míchání

Tato fáze spotřebovává výstup mapy.ping fáze. Jejím úkolem je konsolidovat relevantní záznamy z mapyping fázový výstup. V našem příkladu jsou stejná slova spojena dohromady spolu s jejich příslušnou frekvencí.

Snižování

V této fázi se agregují výstupní hodnoty z fáze Míchání. Tato fáze kombinuje hodnoty z fáze Míchání a vrací jednu výstupní hodnotu. Stručně řečeno, tato fáze shrnuje kompletní datovou sadu.

V našem příkladu tato fáze agreguje hodnoty z fáze Míchání, tj. vypočítává celkový počet výskytů každého slova.

MapReduce Archipodrobně vysvětlenou

Níže uvedené body vysvětlují, jak jsou úlohy rozdělení, mapování a reduce ve skutečnosti umisťovány a ukládány v rámci clusteru.

• Pro každé rozdělení je vytvořena jedna úloha mapování, která poté provede funkci mapování pro každý záznam v rozdělení.
• Vždy je výhodné mít více rozdělení, protože doba potřebná ke zpracování jednoho rozdělení je malá ve srovnání s dobou potřebnou ke zpracování celého vstupu. Když jsou rozdělení menší, zpracování je lépe vyvážené z hlediska zátěže, protože se zpracovávají paralelně.
• Není však žádoucí mít příliš malé rozdělení. Pokud jsou rozdělení příliš malá, režie správy rozdělení a vytváření mapových úloh začíná dominovat celkové době provádění úloh.
• Pro většinu úloh je lepší nastavit velikost rozdělení na stejnou velikost jako HDFS blok, který je od verze Hadoop 2.x standardně nastaven na 128 MB (v verzi Hadoop 1.x to bylo 64 MB) a je řízen dfs.blocksize vlastnictví.
• Spuštění úloh mapování má za následek zápis výstupu na lokální disk na příslušném uzlu, a nikoli do HDFS.
• Důvodem pro volbu lokálního disku před HDFS je vyhnutí se replikaci, která probíhá během operace úložiště HDFS.
• Mapový výstup je mezivýstup, který je zpracován pomocí redukovaných úloh, aby se vytvořil konečný výstup.
• Po dokončení úlohy lze mapový výstup zahodit. Takže ukládání do HDFS s replikací se stává přehnaným.
• V případě selhání uzlu, než je výstup mapy spotřebován úlohou snížení, Hadoop znovu spustí úlohu mapy na jiném uzlu a znovu vytvoří mapový výstup.
• Úlohy typu Reduce nefungují na principu lokality dat. Výstup z každé úlohy mapování je přenesen do úlohy typu Reduce. Výstup z úlohy mapování je přenesen na počítač, kde úloha typu Reduce běží.
• Na tomto stroji je výstup sloučen a poté předán do uživatelem definované funkce snížení.
• Na rozdíl od výstupu mapy je výstup funkce reduce uložen v HDFS (první replika je uložena na lokálním uzlu a ostatní repliky jsou uloženy na uzlech mimo racku). Zápis výstupu funkce reduce tedy spotřebovává šířku pásma sítě, ale pouze tolik, kolik spotřebuje běžný kanál zápisu HDFS.

Jak funguje MapReduce Organizes?

V tomto tutoriálu o MapReduce se nyní naučíme, jak MapReduce funguje.

Hadoop rozděluje práci na úkoly. Existují dva typy úkolů:

1. Úkoly mapy (Rozdělení a mapaping)
2. Snížení počtu úkolů (promíchávání, redukce)

Celý proces provádění, tedy provádění úloh Map i Reduce, je řízen dvěma typy entit nazývanými:

1. PráceTracker: chová se jako mistr a je zodpovědný za kompletní provedení odeslané úlohy.
2. Více úkolůTrackerové: chovají se jako otroci, každý z nich vykonává část práce.

Pro každou úlohu odeslanou k provedení v systému existuje jedna úloha.Tracker, který se nachází na NameNode, a existuje několik úlohTrackery, které se nacházejí na datových uzlech (DataNodes).

Poznámka: PráceTracker a úkolTracPár ker patří do MapReduce verze 1 (Hadoop 1.x). Od Hadoopu 2.x dále YARN rozděluje tyto úkoly mezi clusterový ResourceManager, NodeManager na každém uzlu a jeden ApplicationMaster na úlohu, ačkoli samotné fáze mapování, shuffle a reduce zůstávají nezměněny.

Níže uvedený diagram ukazuje, jak je odeslaná úloha rozdělena do úkolů a tracšířeno napříč klastrem.

• Úloha je rozdělena do několika úkolů, které jsou poté spouštěny na více datových uzlech v clusteru.
• Je to zodpovědnost za práci tracker koordinovat aktivitu plánováním úloh tak, aby se spouštěly na různých datových uzlech.
• Provedení jednotlivého úkolu je poté zabezpečeno úkolem tracker, který se nachází na každém datovém uzlu provádějícím část úlohy.
• Úkol tracKerovou odpovědností je zaslat zprávu o postupu práci. tracker.
• Kromě toho úkol tracker pravidelně vysílá Jobovi signál „tep srdce“.Tracker, aby ho informoval o aktuálním stavu systému.
• Takže práce tracKer si udržuje track celkového postupu každé úlohy. V případě selhání úlohy tracker to může přesunout na jiný úkol tracker.

Nejčastější dotazy