Mis on Hadoopis MapReduce? Archistruktuur ja diagramm

Autor: Prafulla Ranadive Prafulla Ranadive
Hours Ajakohastatud

⚡ Nutikas kokkuvõte

MapReduce on Hadoopi programmeerimismudel, mis muudab suure andmestiku väikeseks tulemuseks, käivitades iga sisendjaotuse peal kaardifunktsiooni ja seejärel rühmitatud vaheväärtuste peal redutseerimisfunktsiooni.

  • 🔘 Neli faasi: Iga töö toimib jagamisena, kaartping, segades ja vähendades, kusjuures võtme-väärtuse paarid liiguvad iga etapi vahel.
  • ☑️ Töötatud näide: Kolmest tekstireast saab seitsme sõna pikkune tekst, mis näitab täpselt, mida iga etapp annab.
  • ✅ Jagatud suurus: Iga sisendjaotuse kohta käivitatakse üks kaardistamisülesanne ja jaotuse suurus vastab tavaliselt HDFS-ploki suurusele.
  • 🧪 Vaheandmed: Kaardi väljund kirjutatakse kohalikule kettale, mitte HDFS-ile, sest ühekordsete andmete replikeerimine on raiskav.
  • 🛠️ Koordineerimine: TöökohtTracker ajastab töö ja ülesandedTracKasutajad annavad edusammudest teada perioodiliste südamelöökide signaalide kaudu.
  • ⚠️ Versiooni märkus: YARN asendas selle paari Hadoop 2.x-st pärit ResourceManageri, NodeManagerite ja töökohapõhise ApplicationMasteriga.
Loe rohkem

Hadoopi MapReduce'i arhitektuuri näite abil selgitatud

Mis on Hadoopis MapReduce?

MapReduce on tarkvararaamistik ja programmeerimismudel, mida kasutatakse suurte andmemahtude töötlemiseks. MapReduce'i programmid töötavad kahes etapis, nimelt kaardistamises ja vähendamises. Kaardistamisülesanded tegelevad jagamise ja kaardistamisega.ping andmete kogust, samal ajal kui ülesannete vähendamine segab ja vähendab andmeid.

hadoop on võimeline käivitama MapReduce'i programme, mis on kirjutatud erinevates keeltes: Java, Rubiin, Pythonja C++MapReduce'i programmid on oma olemuselt paralleelsed, seega on need väga kasulikud suuremahulise andmeanalüüsi tegemiseks, kasutades klastris mitut masinat.

Iga faasi sisendiks on võtme-väärtuse paarid. Lisaks peab iga programmeerija määrama kaks funktsiooni: kaardistamisfunktsiooni ja vähendamisefunktsiooni.

MapReduce ArchiBig Data'i struktuuri, mida on selgitatud näitega

Kogu protsess läbib neli teostusfaasi, nimelt jagamine, kaardistamineping, segamine ja vähendamine.

Nüüd selles MapReduce'i õpetuses mõistame seda MapReduce'i näite abil.

Oletame, et teil on MapReduce'i jaoks järgmised sisendandmed: Big andmed programm:

Welcome to Hadoop Class
Hadoop is good
Hadoop is bad

Allolev diagramm trackasutab neid kolme rida igas faasis, alates vasakul asuvatest sisendjaotustest kuni paremal asuvate viimaste sõnade arvuni.

MapReduce'i arhitektuuri diagramm trackolme sisendrea jagamine ja kaardistamineping, segamine ja vähendamine

MapReduce'i ülesande lõplik väljund on

halb 1
klass 1
hea 1
hadoop 3
is 2
et 1
Tere tulemast! 1

Andmed läbivad suurandmetes järgmised MapReduce'i etapid.

Sisendjaotused

Suurandmete MapReduce'i töö sisend jagatakse fikseeritud suurusega osadeks, mida nimetatakse sisendjaotusteks. Sisendijaotis on sisendi osa, mida üks kaart kasutab.

kaartping

See on MapReduce'i programmi käivitamise kõige esimene etapp. Selles etapis edastatakse iga jaotuse andmed kaardile.ping funktsioon väljundväärtuste loomiseks. Meie näites on kaardi ülesanneping etapp on loendada iga sõna esinemiste arv sisendjaotustes (lisateavet sisendjaotuste kohta leiate allpool) ja koostada loend kujul .

Segamine

See etapp tarbib kaardi väljunditping etapp. Selle ülesanne on koondada kaardilt asjakohased kirjed.ping faasi väljund. Meie näites on samad sõnad koos vastava sagedusega kokku pandud.

Vähendamine

Selles etapis koondatakse segamisfaasi väljundväärtused. See etapp ühendab segamisfaasi väärtused ja tagastab ühe väljundväärtuse. Lühidalt öeldes võtab see etapp kokku kogu andmestiku.

Meie näites koondab see etapp segamisfaasi väärtused, st arvutab iga sõna esinemiste koguarvu.

MapReduce Archiüksikasjalikult selgitatud teksti

Allolevad punktid selgitavad, kuidas jagamis-, kaardistamis- ja vähendamise ülesandeid klastris tegelikult paigutatakse ja salvestatakse.

  • Iga jaotuse jaoks luuakse üks kaardistamisülesanne, mis seejärel käivitab kaardistamisfunktsiooni iga jaotuse kirje jaoks.
  • Mitme jaotuse omamine on alati kasulik, sest jaotuse töötlemiseks kuluv aeg on lühike võrreldes kogu sisendi töötlemiseks kuluva ajaga. Kui jaotused on väiksemad, on töötlemine paremini koormust tasakaalustatud, kuna jaotusi töödeldakse paralleelselt.
  • Siiski pole ka soovitav, et jaotused oleksid liiga väikesed. Kui jaotused on liiga väikesed, hakkab jaotuste haldamise ja kaardiülesannete loomise üldkulu domineerima kogu töö täitmisaja suhtes.
  • Enamiku tööde puhul on parem teha jaotussuurus võrdseks elemendi suurusega. HDFS plokk, mille vaikeväärtus on alates Hadoop 2.x versioonist 128 MB (Hadoop 1.x versioonis oli see 64 MB) ja mida kontrollib dfs.blocksize vara.
  • Kaardistamisülesannete täitmise tulemusel kirjutatakse väljund vastava sõlme kohalikule kettale, mitte HDFS-i.
  • Kohaliku ketta valimise põhjus HDFS-i asemel on vältida replikatsiooni, mis toimub HDFS-i salvestustoimingu ajal.
  • Kaardiväljund on vaheväljund, mida töödeldakse vähendamisülesannetega, et saada lõppväljund.
  • Kui töö on lõpetatud, võib kaardi väljundi ära visata. Seega muutub selle HDFS-is koos replikatsiooniga salvestamine ülemääraseks.
  • Sõlme rikke korral käivitab Hadoop kaardi väljundi enne, kui redutseerimisülesanne ära kasutab, kaardi ülesande teises sõlmes ja loob kaardi väljundi uuesti.
  • Reduktsiooniülesanded (redutseerimisülesanded) ei tööta andmete lokaalsuse põhimõttel. Iga kaardistusülesande väljund edastatakse reduktsiooniülesandele. Kaardistusväljund edastatakse masinasse, kus reduktsiooniülesanne töötab.
  • Sellel masinal liidetakse väljund ja edastatakse seejärel kasutaja määratud vähendamise funktsioonile.
  • Erinevalt kaardi väljundist salvestatakse reduce'i väljund HDFS-i (esimene koopia salvestatakse kohalikku sõlme ja teised koopiad salvestatakse riiulivälistele sõlmedele). Seega reduce'i väljundi kirjutamine tarbib küll võrgu ribalaiust, kuid ainult sama palju kui tavaline HDFS-i kirjutamistorustik.

SEOTUD ARTIKLID

Kuidas MapReduce'i korraldus töötab?

Selles MapReduce'i õpetuses õpime, kuidas MapReduce töötab.

Hadoop jagab töö ülesanneteks. Ülesandeid on kahte tüüpi:

  1. Kaardiülesanded (jaotused ja kaart)ping)
  2. Ülesannete vähendamine (ülesannete jagamine, vähendamine)

Kogu täitmisprotsessi, st nii kaardistamis- kui ka vähendamiseülesannete täitmist, kontrollivad kahte tüüpi üksused, mida nimetatakse:

  1. tööTracker: tegutseb nagu meister ja vastutab esitatud töö täieliku täitmise eest.
  2. Mitme ülesandeTrackerid: käituvad nagu orjad, igaüks neist täidab osa tööst.

Iga süsteemis täitmiseks esitatud töö kohta on üks tööTracker, mis asub NameNode'il ja seal on mitu Task'iTrackerid, mis asuvad DataNode'idel.

Märge: tööTracker ja ülesanneTracker paar kuulub MapReduce'i versioonile 1 (Hadoop 1.x). Alates Hadoop 2.x-st jagab YARN need ülesanded klastriülese ressursihalduri (ResourceManager), iga sõlme sõlmehalduri (NodeManager) ja iga töö kohta ühe rakendushalduri (ApplicationMaster) vahel, kuigi kaardistamise, segamise ja vähendamise etapid ise jäävad samaks.

Allolev diagramm näitab, kuidas esitatud tööülesanne jaotatakse ülesanneteks ja tracked üle kobara.

Diagramm, mis näitab töö jagamist kaardi- ja vähendamise ülesanneteks tracIiobi pooltTracker ja ülesanneTrackirss

  • Töö jaguneb mitmeks ülesandeks, mis seejärel käivitatakse klastri mitmel andmesõlmel.
  • See on tööülesannete vastutus tracker koordineerib tegevust, ajastades ülesandeid erinevatel andmesõlmedel.
  • Seejärel hoolitseb üksiku ülesande täitmise eest ülesanne tracker, mis asub igal tööülesande osa täitval andmesõlmel.
  • Ülesanne tractöötaja ülesanne on saata eduaruanne tööle tracker.
  • Lisaks on ülesanne tracker saadab perioodiliselt Jobile südamelöögi signaaliTracker, et teavitada seda süsteemi hetkeseisust.
  • Seega töö tracker hoiab track iga töö üldise edenemise kohta. Ülesande ebaõnnestumise korral töö tracker saab selle ümber planeerida teise ülesande jaoks tracker.

KKK

YARN tegi seda alates Hadoop 2.x-st. Klastriülene ressursihaldur tegeleb ajastamisega, igal sõlmel töötab sõlmehaldur ja iga töö kohta töötab üks rakendushaldur. tracTäidab oma ülesandeid. Kaardi ja vähendamise etapid jäävad samaks.

Varasemate tööde ajaloo põhjal treenitud mudelid ennustavad käitusaega, soovitavad jaotussuurusi ja reduktorite arvu ning tuvastavad nihke varakult. Samuti jälgivad nad loenduri väärtusi, märgistades ebatavaliselt aeglased või ebaõnnestunud tööd enne käituse lõppu.

Copilot saab tellingutega hästi hakkama: kaardistaja ja reduktori signatuurid, geneerilised koodid, import ja draiveri konfiguratsioonikõned. Skeemiotsused, näiteks milline väli on rühm.ping võti, ikkagi on vaja arendajat, kes andmeid tunneb.

Levinud alguspunkt on veidi väiksem saadaolevate vähenduspesade arv, seega iga vähendus töötab ühes laines. Liiga vähesed loovad pikki sabasid; liiga paljud toodavad palju pisikesi väljundfaile.

Kombinaator on valikuline mini-redutseerija, mis töötab kaardi väljundi põhjal enne võrgu läbimist. See vähendab juhuslikku liiklust järsult, kuid seda saab kasutada ainult siis, kui redutseerimisoperatsioon on nii assotsiatiivne kui ka kommutatiivne.

Spark hoiab vahetulemusi mälus ja väljendab tööd ühe suunatud etappide graafina, samas kui MapReduce kirjutab vaheväljundi faaside vahel kettale. Spark on seega iteratiivse töö jaoks palju kiirem.

Partitsioonija otsustab, milline reduktor saab iga vahevõtme, räsides vaikimisi võtit reduktorite arvu moodulina. Kohandatud räsi kirjutatakse siis, kui see räsi jätab ühe reduktori ülekoormatuks.

Hadoop loob iga sisendjaotuse kohta ühe kaardistamisülesande ja jaotus on pigem baitide vahemik kui terve fail. Üks suur fail annab palju jaotusi; paljud väikesed failid annavad pisikesi ja ebaefektiivseid kaardistamisülesandeid.

Võta see postitus kokku järgmiselt: