Vodič za Apache Flume: Što je, Archiprimjer teksture i Hadoopa

⚡ Pametni sažetak

Apache Flume je distribuirana usluga za prikupljanje, agregiranje i premještanje velikih količina podataka zapisnika u HDFS, izgrađena oko agenata koji povezuju izvor, kanal i odvod.

  • 🔘 Anatomija agenta: Svaki Flume agent je JVM proces koji sadrži izvor, jedan ili više kanala i odvod.
  • ☑️ Pouzdanost: Isporuka uz najbolji napor ne tolerira kvarove čvorova; isporuka od početka do kraja preživljava višestruke kvarove čvorova.
  • ✅ Postaviti: Prilagođene klase izvornog koda kompajliraju se u JAR datoteku koja se ubacuje u Flume lib direktorij.
  • 🧪 konfiguracija: Jedna datoteka svojstava imenuje izvor, kanal i odvod te postavlja HDFS putanju i ograničenja rotacije.
  • 🛠️ Pokretanje: Pokrenite cjevovod s agentom flume-ng, dajući ime agentu i pokazujući na flume.conf.
  • ⚠️ Datirani primjer: Krajnja točka streaminga na Twitteru v1.1 zatvorena je u ožujku 2023., stoga vježbu tretirajte kao obrazac prilagođenog izvora.

Vodič za Apache Flume koji pokriva arhitekturu agenta, konfiguraciju i primjer Hadoop streaminga

Što je Apache Flume u Hadoopu?

Apache Flume je pouzdan i distribuiran sustav za prikupljanje, agregiranje i premještanje ogromnih količina podataka zapisnika. Ima jednostavnu, ali fleksibilnu arhitekturu temeljenu na strujanju podataka. Apache Flume se koristi za prikupljanje podataka zapisnika prisutnih u datotekama zapisnika s web poslužitelja i njihovo agregiranje u HDFS za analizu.

Flume u Hadoopu podržava više izvora, uključujući:

  • 'tail' (koji prenosi podatke iz lokalne datoteke i zapisuje ih u HDFS putem Flumea, slično Unix naredbi 'tail')
  • Dnevnici sustava
  • Apache log4j (što omogućuje Java aplikacije za pisanje događaja u datoteke u HDFS putem Flumea).

Trenutno izdanje je Flume 1.11.0, objavljeno 25. listopada 2022. i dostupno od Stranica za preuzimanje Apache FlumeaOvaj vodič je napisan za verziju 1.4.0, tako da nekoliko koraka u nastavku nosi napomenu gdje se trenutno izdanje ponaša drugačije.

Žlijeb Architektura

Flume agent je JVM proces s tri komponente – izvorom cijevne cijevi, kanalom cijevne cijevi i ponorom cijevne cijevi – kroz koje se događaji šire nakon što su pokrenuti na vanjskom izvoru. Donji dijagram prikazuje kako su povezani.

Dijagram arhitekture kanala koji prikazuje agenta s izvorom, kanalom i odvodom koji napaja HDFS

  1. Događaje koje generira vanjski izvor (web poslužitelj) koristi Flume izvor. Vanjski izvor šalje događaje Flume izvoru u formatu koji ciljni izvor prepoznaje.
  2. Flume izvor prima događaj i pohranjuje ga u jedan ili više kanala. Kanal djeluje kao spremište koje čuva događaj dok ga Flume sink ne iskoristi. Ovaj kanal može koristiti lokalni datotečni sustav za pohranu tih događaja.
  3. Flume sink uklanja događaj iz kanala i pohranjuje ga u vanjsko spremište kao što je HDFS. Može postojati više Flume agenata, u kojem slučaju Flume sink prosljeđuje događaj Flume izvoru sljedećeg agenta u toku.

Neke važne značajke Flumea

  • Flume ima fleksibilan dizajn temeljen na streamingu podataka. Toleran je na greške i robustan, s više mehanizama za prebacivanje u slučaju kvara i oporavak. Flume nudi različite razine pouzdanosti, uključujući 'najbolja isporuka' i 'dostava od kraja do kraja'. Najbolja isporuka ne tolerira nikakav kvar čvora Flume, dok isporuka od kraja do kraja jamči isporuku čak i u slučaju kvara više čvorova.
  • Flume prenosi podatke između izvora i odvoda. Ovo prikupljanje podataka može biti zakazano ili vođeno događajima. Flume ima vlastiti mehanizam za obradu upita, što olakšava transformaciju svake nove serije podataka prije nego što se premjesti u namijenjeni odvod.
  • Moguć Žlijebni umivaonici uključuju HDFS i HBaseFlume također može prenositi podatke o događajima kao što su podaci o mrežnom prometu, podaci generirani web stranicama društvenih medija i e-poruke.

Postavljanje kanala, biblioteke i izvornog koda

Prije nego što započnemo sa stvarnim postupkom, provjerite imate li instaliran Hadoop; ako nije, prođite kroz kako instalirati Hadoop Prvo. Promijenite korisnika u 'hduser' (id koji se koristi prilikom konfiguriranja Hadoop-a; možete se prebaciti na korisnički ID koji se koristi tijekom vlastite konfiguracije Hadoop-a).

Terminal prebacuje Linux korisnika na hduser prije početka postavljanja Flumea

Korak 1) Izradite novi direktorij s nazivom 'FlumeTutorial'.

sudo mkdir FlumeTutorial
  1. Dajte dozvole za čitanje, pisanje i izvršavanje.
    sudo chmod -R 777 FlumeTutorial
  2. Kopirajte datoteke MyTwitterSource.java i MyTwitterSourceForFlume.java u ovaj direktorij.

Preuzmite ulazne datoteke odavde

Provjerite dozvole za sve te datoteke, kao što je prikazano u nastavku, i dodijelite dozvolu za 'čitanje' ako nedostaje.

Terminal koji navodi dozvole za preuzetu datoteku Java izvorne datoteke

Korak 2) Preuzmite 'Apache Flume' s https://flume.apache.org/download.html.

Apache Flume 1.4.0 korišten je u ovom vodiču za Flume.

Stranica za preuzimanje Apache Flumea koja prikazuje binarnu tarball vezu za odabir

Zatim kliknite na ogledalo.

Apache mirror stranica dostupna nakon klika na Flume tarball poveznicu

Korak 3) Kopirajte preuzetu tarball datoteku u direktorij po vašem izboru i extracsadržaj pomoću sljedeće naredbe.

sudo tar -xvf apache-flume-1.4.0-bin.tar.gz

Terminal extracInstaliranje Flume tarballa naredbom sudo tar -xvf

Ovim se stvara novi direktorij pod nazivom apache-flume-1.4.0-bin i extracts datoteke u njega. Taj se direktorij naziva u ostatku članka.

Korak 4) Postavljanje Flume biblioteke. Kopirajte twitter4j-core-4.0.1.jar, flume-ng-configuration-1.4.0.jar, flume-ng-core-1.4.0.jar i flume-ng-sdk-1.4.0.jar u

/lib/

Jedan ili svi kopirani JAR-ovi mogu imati postavljeno dopuštenje za izvršavanje, što može uzrokovati problem s kompajliranjem koda, stoga ga poništite. U mom slučaju, twitter4j-core-4.0.1.jar je imao dopuštenje za izvršavanje. Poništio sam ga kao što je prikazano u nastavku.

sudo chmod -x twitter4j-core-4.0.1.jar

Terminal opoziva dozvolu za izvršavanje na twitter4j core JAR-u

Nakon toga, naredba u nastavku daje svima dopuštenje za 'čitanje' na twitter4j-core-4.0.1.jar.

sudo chmod +rrr /usr/local/apache-flume-1.4.0-bin/lib/twitter4j-core-4.0.1.jar

Imajte na umu da sam preuzeo twitter4j-core-4.0.1.jar sa Maven repozitoriji sve Flume JAR-ove, tj. flume-ng-*-1.4.0.jar, iz artefakti org.apache.flume.

Učitajte podatke s Twittera pomoću Flumea

Korak 1) Idite u direktorij koji sadrži datoteke izvornog koda.

Korak 2) Postavi CLASSPATH da sadrži /lib/* i ~/FlumeTutorial/flume/mytwittersource/*.

export CLASSPATH="/usr/local/apache-flume-1.4.0-bin/lib/*:~/FlumeTutorial/flume/mytwittersource/*"

Terminal izvozi CLASSPATH koji pokazuje na Flume lib i izvorne direktorije

Korak 3) Kompajlirajte izvorni kod pomoću naredbe u nastavku.

javac -d . MyTwitterSourceForFlume.java MyTwitterSource.java

Terminal kompajlira dva Java izvorne datoteke s JavaC-om

Korak 4) Izradite JAR. Prvo stvorite datoteku Manifest.txt pomoću uređivača teksta po vašem izboru i dodajte joj redak ispod.

Main-Class: flume.mytwittersource.MyTwitterSourceForFlume

Ovdje je flume.mytwittersource.MyTwitterSourceForFlume naziv glavne klase. Imajte na umu da morate pritisnuti tipku Enter na kraju ovog retka, kao što je prikazano dolje.

Datoteka Manifest.txt otvorena u uređivaču teksta s unosom Main-Class

Sada stvorite JAR 'MyTwitterSourceForFlume.jar' na sljedeći način.

jar cfm MyTwitterSourceForFlume.jar Manifest.txt flume/mytwittersource/*.class

Terminal pakira kompilirane klase u MyTwitterSourceForFlume.jar

Korak 5) Kopiraj ovaj JAR u /lib/.

sudo cp MyTwitterSourceForFlume.jar <Flume Installation Directory>/lib/

Terminal kopira prilagođeni izvorni JAR u Flume lib direktorij

Korak 6) Idite u konfiguracijski direktorij Flumea, /konf.

Ako datoteka flume.conf ne postoji, kopirajte datoteku flume-conf.properties.template i preimenujte je u flume.conf.

sudo cp flume-conf.properties.template flume.conf

Terminal kopira flume-conf.properties.template u flume.conf

Ako flume-env.sh ne postoji, kopirajte flume-env.sh.template i preimenujte ga u flume-env.sh.

sudo cp flume-env.sh.template flume-env.sh

Terminal kopira flume-env.sh.template u flume-env.sh

Izrada Twitter aplikacije

Prvo pročitajte ovo. Streaming v1.1 statuses/filter Krajnja točka koja je potrebna twitter4j 4.0.1 ukinuta je 9. ožujka 2023., a filtrirani stream API v2 koji ju je zamijenio, sada je na developer.x.com, nalazi se iza plaćene razine. Tretirajte zaslone u nastavku kao uzorak prilagođenog izvora, a zatim usmjerite istog agenta na datoteku, izvršnu datoteku ili Kafka izvor.

Korak 1) Izradite Twitter aplikaciju prijavom na portal za razvojne programere.

Stranica za prijavu razvojnih programera na Twitteru koja se koristi za pristup popisu aplikacija

Početna stranica Twitter računa za razvojne programere prikazana nakon prijave

Korak 2) Idite na 'Moje aplikacije' (ova se opcija otvara klikom na gumb 'Jaje' u gornjem desnom kutu).

Stranica Moje aplikacije na portalu za razvojne programere Twittera

Korak 3) Izradite novu aplikaciju klikom na 'Izradi novu aplikaciju'.

Korak 4) Ispunite podatke o aplikaciji navodeći naziv aplikacije, opis i web-stranicu. Možete se pozvati na napomene ispod svakog polja za unos.

Obrazac za izradu Twitter aplikacije s poljima za naziv, opis i web-stranicu

Korak 5) Pomaknite se prema dolje po stranici, prihvatite uvjete označavanjem 'Da, slažem se' i kliknite gumb 'Izradite svoju Twitter aplikaciju'.

Potvrdni okvir Uvjeti i gumb za izradu prijave pri dnu Twitter obrasca

Korak 6) U prozoru novostvorene aplikacije idite na karticu 'API ključevi', pomaknite se prema dolje po stranici i kliknite gumb 'Kreiraj moj pristupni token'.

Kartica API ključeva nove Twitter aplikacije prije nego što postoji pristupni token

Detalji pristupnog tokena prikazani nakon korištenja gumba Izradi moj pristupni token

Korak 7) Osvježite stranicu.

Korak 8) Kliknite na 'Testiraj OAuth'. Prikazat će se postavke 'OAuth' aplikacije.

Testni OAuth zaslon koji prikazuje OAuth postavke aplikacije

Korak 9) Izmijenite 'flume.conf' pomoću ovih OAuth postavki. Koraci za izmjenu 'flume.conf' navedeni su u nastavku.

OAuth postavke koje navode vrijednosti ključa korisnika, tajne podataka korisnika i tokena za pristup

Moramo kopirati ključ potrošača, tajnu potrošača, pristupni token i tajnu pristupnog tokena kako bismo ažurirali 'flume.conf'.

Napomena: Ove vrijednosti pripadaju korisniku i stoga su povjerljive, stoga ih ne treba dijeliti.

Izmijenite datoteku 'flume.conf'

Korak 1) Otvorite 'flume.conf' u načinu pisanja i postavite vrijednosti za dolje navedene parametre.

sudo gedit flume.conf

Kopirajte sadržaj ispod.

MyTwitAgent.sources = Twitter
MyTwitAgent.channels = MemChannel
MyTwitAgent.sinks = HDFS
MyTwitAgent.sources.Twitter.type = flume.mytwittersource.MyTwitterSourceForFlume
MyTwitAgent.sources.Twitter.channels = MemChannel
MyTwitAgent.sources.Twitter.consumerKey = <Copy consumer key value from Twitter App>
MyTwitAgent.sources.Twitter.consumerSecret = <Copy consumer secret value from Twitter App>
MyTwitAgent.sources.Twitter.accessToken = <Copy access token value from Twitter App>
MyTwitAgent.sources.Twitter.accessTokenSecret = <Copy access token secret value from Twitter App>
MyTwitAgent.sources.Twitter.keywords = guru99
MyTwitAgent.sinks.HDFS.channel = MemChannel
MyTwitAgent.sinks.HDFS.type = hdfs
MyTwitAgent.sinks.HDFS.hdfs.path = hdfs://localhost:54310/user/hduser/flume/tweets/
MyTwitAgent.sinks.HDFS.hdfs.fileType = DataStream
MyTwitAgent.sinks.HDFS.hdfs.writeFormat = Text
MyTwitAgent.sinks.HDFS.hdfs.batchSize = 1000
MyTwitAgent.sinks.HDFS.hdfs.rollSize = 0
MyTwitAgent.sinks.HDFS.hdfs.rollCount = 10000
MyTwitAgent.channels.MemChannel.type = memory
MyTwitAgent.channels.MemChannel.capacity = 10000
MyTwitAgent.channels.MemChannel.transactionCapacity = 1000

Datoteka flume.conf otvorena u editoru s MyTwitAgent svojstvima izvora, kanala i odvoda

Korak 2) Također, postavite TwitterAgent.sinks.HDFS.hdfs.path kao što je prikazano u nastavku.

TwitterAgent.sinks.HDFS.hdfs.path = hdfs:// : / /flume/tweetovi/

Svojstvo HDFS sink hdfs.path postavljeno je na naziv hosta, broj porta i početni direktorij HDFS-a.

Pronaći , i , pogledajte vrijednost parametra 'fs.defaultFS' postavljenog u $HADOOP_HOME/etc/hadoop/core-site.xml, prikazanu u nastavku.

Svojstvo fs.defaultFS unutar datoteke core-site.xml, koje navodi naziv hosta i port

Korak 3) Kako biste podatke prebacili na HDFS čim stignu, izbrišite donji unos ako postoji.

TwitterAgent.sinks.HDFS.hdfs.rollInterval = 600

Primjer: Streaming Twitter podataka pomoću Flumea

Korak 1) Otvorite 'flume-env.sh' u načinu pisanja i postavite vrijednosti za dolje navedene parametre.

JAVA_HOME=<Installation directory of Java>
FLUME_CLASSPATH="<Flume Installation Directory>/lib/MyTwitterSourceForFlume.jar"

flume-env.sh otvoren u editoru s postavljenim JAVA_HOME i FLUME_CLASSPATH

Korak 2) Pokrenite Hadoop.

$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh

Korak 3) Dvije JAR datoteke iz Flume tarballa nisu kompatibilne s Hadoopom 2.2.0, pa u ovom primjeru Apache Flumea slijedimo dolje navedene korake kako bismo Flume učinili kompatibilnim s Hadoopom 2.2.0. Ova JAR zamjena je ispravak iz ere 1.4.0; Flume 1.11.0 već isporučuje trenutne protobuf i Guava verzije, tako da modernom tarballu obično nije potrebno ništa od toga.

a. Premjestite protobuf-java-2.4.1.jar iz ' /lib'. Prvo idite u taj direktorij.

CD /lib

sudo mv protobuf-java-2.4.1.jar ~/

Terminal premješta protobuf-java-2.4.1.jar iz Flume lib direktorija

b. Pronađite JAR datoteku 'guava' kao što je prikazano dolje.

find . -name "guava*"

Naredba terminala za pronalaženje lociranja priloženog guava JAR-a

Premjestite guava-10.0.1.jar iz mape ' /lib'.

sudo mv guava-10.0.1.jar ~/

Terminal premješta guava-10.0.1.jar iz Flume lib direktorija

c. Preuzmite guava-17.0.jar s Maven repozitorij, prikazano ispod.

Maven repozitorij stranica za guava 17.0, zamjenski JAR za preuzimanje

Sada kopirajte ovu preuzetu JAR datoteku u ' /lib'.

Korak 4) Idi na ' /bin' i pokrenite Flume na sljedeći način.

./flume-ng agent -n MyTwitAgent -c conf -f <Flume Installation Directory>/conf/flume.conf

Terminal pokreće Flume agenta pod nazivom MyTwitAgent s naredbom flume-ng

Prozor naredbenog retka u kojem Flume dohvaća tweetove izgleda ovako.

Naredbeni redak koji prikazuje Flume agenta kako dohvaća tweetove i zapisuje ih u HDFS

Iz poruke naredbenog prozora možemo vidjeti da se izlaz zapisuje u direktorij /user/hduser/flume/tweets/. Sada otvorite taj direktorij pomoću web preglednika.

Korak 5) Za pregled rezultata učitavanja podataka, otvorite http://localhost:50070/ u pregledniku, pregledajte datotečni sustav, a zatim idite u direktorij u koji su učitani podaci, tj.

/flume/tweetovi/

Port 50070 je web sučelje NameNodea na Hadoopu 2; Hadoop 3 je premjestio istu stranicu na port 9870.

HDFS preglednik prikazuje direktorij flume/tweets s učitanim datotekama tweetova

Žljeb je jedna polovica gutanja: Sqoop uvozi tablice u serijama, Flume struji događaje, a zatim Svinja or Košnica oblikujte datoteke i Oozie raspoređuje lanac. Vidi također alati za analizu velikih podataka, MapReduce spojevi i brojači i Talend.

Pitanja i odgovori

Nije kako je napisano. Statusi streaminga/završna točka filtra v1.1 ukinuti su 9. ožujka 2023., a zamjena API v2 zahtijeva plaćenu razinu. Mehanika Flumea i dalje vrijedi kao vježba s prilagođenim izvorom.

Modelira osnovni normalni volumen zapisnika i oblik poruke, a zatim označava odstupanja koja fiksni pragovi propuštaju. Također grupiraju ponovljene stogove tracu jedan incident i sastavi vjerojatni uzrok, skraćujući trijažu.

Copilot brzo izrađuje izvorne, kanalne i potopne blokove, ali izmišlja nazive svojstava i miksa izdanja. Prije pokretanja agenta provjerite svaki ključ u Flumeovom korisničkom priručniku za svoju verziju.

Flume kontinuirano struji podatke o događajima, poput zapisnika, u HDFS. Sqoop premješta strukturirane tablice između relacijskih baza podataka i Hadoop-a u zakazanim serijama. Pokrivaju različite polovice unosa i dobro se uparuju.

Memorijski kanal je najbrži, ali gubi događaje u međuspremniku ako agent prestane raditi. Datotečni kanal zapisuje na disk i preživi ponovna pokretanja, uz niži protok. Poželjno je da je trajnost važna za sve što ne možete ponovno poslati.

Kafka je sada uobičajena zadana verzija jer zadržava podatke i služi mnogim korisnicima. Flume 1.11.0, iz listopada 2022., još uvijek odgovara jednostavnom jednosmjernom prikupljanju logova u HDFS.

Gotovo uvijek dolazi do sukoba JAR-a: Flume tarball sadrži vlastite verzije Guava i Protobuf-a, koje su u sukobu s onima koje Hadoop učitava. Uklanjanje starijeg JAR-a u paketu obično ga briše.

Oni odlučuju kada odvod zatvara datoteku i otvara novu: rollSize po bajtovima, rollCount po broju događaja, rollInterval po sekundama. Nula onemogućuje taj određeni okidač.

Sažmite ovu objavu uz: