Apache Flume Tutorial: Hva er, Architecture & Hadoop Eksempel

by: Prafulla Ranadive Prafulla Ranadive
Hours oppdatert

⚡ Smart oppsummering

Apache Flume er en distribuert tjeneste for innsamling, aggregering og flytting av store mengder loggdata til HDFS, bygget rundt agenter som kjeder sammen en kilde, en kanal og en sink.

  • 🔘 Agentens anatomi: Hver Flume-agent er en JVM-prosess som inneholder en kilde, en eller flere kanaler og en sink.
  • ☑️ Pålitelighet: Best-effort-levering tolererer ingen nodefeil; ende-til-ende-levering overlever flere nodefeil.
  • ✅ Oppsett: Tilpassede kildeklasser kompileres til en JAR-fil som slippes i Flume lib-katalogen.
  • 🧪 konfigurasjon: Én egenskapsfil navngir kilden, kanalen og sinken og angir HDFS-banen og rullegrensene.
  • 🛠️ lansering: Start pipelinen med flume-ng-agenten, navngi agenten og pek på flume.conf.
  • ⚠️ Datert eksempel: Twitter v1.1-strømmesluttpunktet ble stengt i mars 2023, så behandle øvelsen som et tilpasset kildemønster.
Les mer

Apache Flume-veiledning som dekker agentarkitektur, konfigurasjon og et eksempel på Hadoop-strømming

Hva er Apache Flume i Hadoop?

Apache Flume er et pålitelig og distribuert system for innsamling, aggregering og flytting av enorme mengder loggdata. Det har en enkel, men fleksibel arkitektur basert på strømming av dataflyter. Apache Flume brukes til å samle inn loggdata som finnes i loggfiler fra webservere og aggregere dem til HDFS for analyse.

Flume i Hadoop støtter flere kilder, inkludert:

  • 'tail' (som overfører data fra en lokal fil og skriver dem til HDFS via Flume, likt Unix-kommandoen 'tail')
  • Systemlogger
  • Apache log4j (som muliggjør Java applikasjoner for å skrive hendelser til filer i HDFS via Flume).

Den nåværende utgivelsen er Rennerenne 1.11.0, publisert 25. oktober 2022 og tilgjengelig fra Apache Flume nedlastingssideDenne gjennomgangen ble skrevet mot versjon 1.4.0, så flere trinn nedenfor inneholder en merknad der en gjeldende utgivelse oppfører seg annerledes.

Flume Architecture

Et Flume-middel er et JVM prosess med tre komponenter – rennekilde, rennekanal og rennevask – som hendelser forplanter seg gjennom etter å ha blitt initiert ved en ekstern kilde. Diagrammet nedenfor viser hvordan de kobles sammen.

Flume-arkitekturdiagram som viser en agent med en kilde, en kanal og en vask som mater HDFS

  1. Hendelsene som genereres av den eksterne kilden (en webserver) forbrukes av Flume-kilden. Den eksterne kilden sender hendelser til Flume-kilden i et format som målkilden gjenkjenner.
  2. Flume-kilden mottar en hendelse og lagrer den i én eller flere kanaler. Kanalen fungerer som et lager som oppbevarer hendelsen til den forbrukes av Flume-sinken. Denne kanalen kan bruke et lokalt filsystem for å lagre disse hendelsene.
  3. Flume-sinken fjerner hendelsen fra en kanal og lagrer den i et eksternt arkiv, for eksempel HDFS. Det kan være flere Flume-agenter, og i så fall videresender Flume-sinken hendelsen til Flume-kilden til den neste agenten i flyten.

Noen viktige funksjoner ved Flume

  • Flume har en fleksibel design basert på strømming av dataflyter. Den er feiltolerant og robust, med flere failover- og gjenopprettingsmekanismer. Flume tilbyr ulike nivåer av pålitelighet, inkludert "levering på best mulig måte" og "ende-til-ende levering". Best mulig levering tolererer ikke noen feil i Flume-noden, mens ende-til-ende levering garanterer levering selv ved flere nodefeil.
  • Flume overfører data mellom kilder og sinker. Denne datainnsamlingen kan enten være planlagt eller hendelsesdrevet. Flume har sin egen spørrebehandlingsmotor, som gjør det enkelt å transformere hver nye datamengde før den flyttes til den tiltenkte sinken.
  • Mulig Flume synker inkluderer HDFS og HBaseFlume kan også transportere hendelsesdata som nettverkstrafikkdata, data generert av nettsteder for sosiale medier og e-postmeldinger.

Flume, bibliotek og kildekodeoppsett

Før vi starter med selve prosessen, sørg for at du har Hadoop installert. Hvis ikke, jobb deg gjennom hvordan installere Hadoop først. Endre brukeren til 'hduser' (ID-en som ble brukt under konfigurasjonen av Hadoop; du kan bytte til bruker-ID-en som ble brukt under din egen Hadoop-konfigurasjon).

Terminalen bytter Linux-bruker til hduser før Flume-oppsettet starter

Trinn 1) Opprett en ny katalog med navnet «FlumeTutorial».

sudo mkdir FlumeTutorial
  1. Gi lese-, skrive- og utførelsestillatelser. 
    sudo chmod -R 777 FlumeTutorial
  2. Kopier filene MyTwitterSource.java og MyTwitterSourceForFlume.java inn i denne katalogen.

Last ned inndatafiler herfra

Sjekk filtillatelsene til alle disse filene, som nedenfor, og gi «lesetillatelse» hvis den mangler.

Terminal som viser filtillatelsene på den nedlastede filen Java kildefiler

Trinn 2) Last ned «Apache Flume» fra https://flume.apache.org/download.html.

Apache Flume 1.4.0 har blitt brukt i denne Flume-opplæringen.

Nedlastingssiden for Apache Flume som viser den binære tarball-lenken for å velge

Klikk deretter videre til et speil.

Apache-speilsiden nådd etter å ha klikket på Flume tarball-lenken

Trinn 3) Kopier den nedlastede tarballen til katalogen du ønsker og f.eks.tract innholdet ved å bruke følgende kommando.

sudo tar -xvf apache-flume-1.4.0-bin.tar.gz

Terminal extracLagre Flume-tarballen med kommandoen sudo tar -xvf

Dette oppretter en ny katalog med navnet apache-flume-1.4.0-bin og extracts filene inn i den. Den katalogen kalles i resten av artikkelen.

Trinn 4) Oppsett av Flume-biblioteket. Kopier twitter4j-core-4.0.1.jar, flume-ng-configuration-1.4.0.jar, flume-ng-core-1.4.0.jar og flume-ng-sdk-1.4.0.jar til

/lib/

En eller alle de kopierte JAR-filene kan ha utførelsestillatelsen satt, noe som kan forårsake et problem med kompilering av kode, så tilbakekal den. I mitt tilfelle hadde twitter4j-core-4.0.1.jar utførelsestillatelsen. Jeg tilbakekalte den som vist nedenfor.

sudo chmod -x twitter4j-core-4.0.1.jar

Terminalen tilbakekaller utførelsestillatelsen på twitter4j-kjerne-JAR-filen

Etter dette gir kommandoen nedenfor «lesetillatelse» på twitter4j-core-4.0.1.jar til alle.

sudo chmod +rrr /usr/local/apache-flume-1.4.0-bin/lib/twitter4j-core-4.0.1.jar

Vær oppmerksom på at jeg lastet ned twitter4j-core-4.0.1.jar fra Maven-arkivet, og alle Flume JAR-filer, f.eks. flume-ng-*-1.4.0.jar, fra org.apache.flume-artefaktene.

RELATERTE ARTIKLER

Last inn data fra Twitter ved å bruke Flume

Trinn 1) Gå til katalogen som inneholder kildekodefilene.

Trinn 2) Sett CLASSPATH til å inneholde /lib/* og ~/FlumeTutorial/flume/mytwittersource/*.

export CLASSPATH="/usr/local/apache-flume-1.4.0-bin/lib/*:~/FlumeTutorial/flume/mytwittersource/*"

Terminal eksporterer CLASSPATH som peker på Flume-biblioteket og kildekatalogene

Trinn 3) Kompiler kildekoden ved hjelp av kommandoen nedenfor.

javac -d . MyTwitterSourceForFlume.java MyTwitterSource.java

Terminal som kompilerer de to Java kildefiler med javac

Trinn 4) Opprett en JAR-fil. Først oppretter du en Manifest.txt-fil med et tekstredigeringsprogram du velger selv, og legger til linjen nedenfor i den.

Main-Class: flume.mytwittersource.MyTwitterSourceForFlume

Her er flume.mytwittersource.MyTwitterSourceForFlume navnet på hovedklassen. Vær oppmerksom på at du må trykke enter-tasten på slutten av denne linjen, som vist nedenfor.

Manifest.txt åpnes i en teksteditor med Main-Class-oppføringen

Opprett nå JAR-filen 'MyTwitterSourceForFlume.jar' som følger.

jar cfm MyTwitterSourceForFlume.jar Manifest.txt flume/mytwittersource/*.class

Terminalpakker de kompilerte klassene i MyTwitterSourceForFlume.jar

Trinn 5) Kopier denne JAR-filen til /lib/.

sudo cp MyTwitterSourceForFlume.jar <Flume Installation Directory>/lib/

Terminal kopierer den tilpassede kilde-JAR-en til Flume lib-katalogen

Trinn 6) Gå til konfigurasjonskatalogen til Flume, /konf.

Hvis flume.conf ikke finnes, kopier flume-conf.properties.template og gi den nytt navn til flume.conf.

sudo cp flume-conf.properties.template flume.conf

Terminal kopierer flume-conf.properties.template til flume.conf

Hvis flume-env.sh ikke finnes, kopier flume-env.sh.template og gi den nytt navn til flume-env.sh.

sudo cp flume-env.sh.template flume-env.sh

Terminalkopiering av flume-env.sh.template til flume-env.sh

Opprette en Twitter-applikasjon

Les dette først. V1.1-strømmingen statuses/filter endepunktet som twitter4j 4.0.1 trenger ble pensjonert 9. mars 2023, og API v2-filtrerte strømmen som erstattet det, nå på utvikler.x.com, ligger bak et betalt nivå. Behandle skjermbildene nedenfor som et tilpasset kildemønster, og pek deretter den samme agenten mot en fil, exec eller Kafka-kilde.

Trinn 1) Opprett en Twitter-applikasjon ved å logge på utviklerportalen.

Twitter-utviklerens påloggingsside som brukes for å nå applikasjonslisten

Hjemmesiden for Twitter-utviklerkontoen vises etter pålogging

Trinn 2) Gå til «Mine applikasjoner» (dette alternativet dukker opp når du klikker på «Egg»-knappen øverst til høyre).

Mine applikasjoner-siden på Twitter-utviklerportalen

Trinn 3) Opprett en ny applikasjon ved å klikke på «Opprett ny app».

Trinn 4) Fyll ut søknadsdetaljene ved å oppgi navnet på søknaden, en beskrivelse og et nettsted. Du kan se merknadene under hver boks.

Søknadsskjema for Twitter med felt for navn, beskrivelse og nettsted

Trinn 5) Bla nedover siden, godta vilkårene ved å merke av for «Ja, jeg godtar» og klikk på knappen «Opprett din Twitter-applikasjon».

Avmerkingsboksen for vilkår og knappen for å opprette søknad nederst i Twitter-skjemaet

Trinn 6) I vinduet til den nyopprettede applikasjonen går du til fanen «API-nøkler», blar nedover siden og klikker på knappen «Opprett tilgangstoken».

API-nøkler-fanen i den nye Twitter-applikasjonen før et tilgangstoken finnes

Detaljer om tilgangstoken som vises etter at knappen Opprett tilgangstoken er brukt

Trinn 7) Oppdater siden.

Trinn 8) Klikk på «Test OAuth». Dette viser applikasjonens «OAuth»-innstillinger.

Test OAuth-skjermen som viser OAuth-innstillingene for applikasjonen

Trinn 9) Endre 'flume.conf' ved hjelp av disse OAuth-innstillingene. Fremgangsmåten for å endre 'flume.conf' er gitt nedenfor.

OAuth-innstillinger som viser forbrukernøkkelen, forbrukerhemmeligheten og tilgangstokenverdiene

Vi må kopiere forbrukernøkkelen, forbrukerhemmeligheten, tilgangstokenet og tilgangstokenhemmeligheten for å oppdatere 'flume.conf'.

Merk: Disse verdiene tilhører brukeren og er derfor konfidensielle, så de bør ikke deles.

Endre 'flume.conf'-filen

Trinn 1) Åpne 'flume.conf' i skrivemodus og angi verdier for parameterne nedenfor.

sudo gedit flume.conf

Kopier innholdet nedenfor.

MyTwitAgent.sources = Twitter
MyTwitAgent.channels = MemChannel
MyTwitAgent.sinks = HDFS
MyTwitAgent.sources.Twitter.type = flume.mytwittersource.MyTwitterSourceForFlume
MyTwitAgent.sources.Twitter.channels = MemChannel
MyTwitAgent.sources.Twitter.consumerKey = <Copy consumer key value from Twitter App>
MyTwitAgent.sources.Twitter.consumerSecret = <Copy consumer secret value from Twitter App>
MyTwitAgent.sources.Twitter.accessToken = <Copy access token value from Twitter App>
MyTwitAgent.sources.Twitter.accessTokenSecret = <Copy access token secret value from Twitter App>
MyTwitAgent.sources.Twitter.keywords = guru99
MyTwitAgent.sinks.HDFS.channel = MemChannel
MyTwitAgent.sinks.HDFS.type = hdfs
MyTwitAgent.sinks.HDFS.hdfs.path = hdfs://localhost:54310/user/hduser/flume/tweets/
MyTwitAgent.sinks.HDFS.hdfs.fileType = DataStream
MyTwitAgent.sinks.HDFS.hdfs.writeFormat = Text
MyTwitAgent.sinks.HDFS.hdfs.batchSize = 1000
MyTwitAgent.sinks.HDFS.hdfs.rollSize = 0
MyTwitAgent.sinks.HDFS.hdfs.rollCount = 10000
MyTwitAgent.channels.MemChannel.type = memory
MyTwitAgent.channels.MemChannel.capacity = 10000
MyTwitAgent.channels.MemChannel.transactionCapacity = 1000

flume.conf-filen åpnes i et redigeringsprogram med MyTwitAgent-kilde-, kanal- og sink-egenskapene

Trinn 2) Angi også TwitterAgent.sinks.HDFS.hdfs.path som vist nedenfor.

TwitterAgent.sinks.HDFS.hdfs.path = hdfs:// : / /flume/tvitrer/

HDFS-sink-egenskapen hdfs.path er satt til et vertsnavn, portnummer og HDFS-hjemmekatalog

Å finne , og , se verdien til parameteren 'fs.defaultFS' angitt i $HADOOP_HOME/etc/hadoop/core-site.xml, vist nedenfor.

fs.defaultFS-egenskapen i core-site.xml, som oppgir vertsnavnet og porten

Trinn 3) For å kunne overføre dataene til HDFS når de kommer, slett oppføringen nedenfor hvis den finnes.

TwitterAgent.sinks.HDFS.hdfs.rollInterval = 600

Eksempel: Streaming av Twitter-data ved hjelp av Flume

Trinn 1) Åpne 'flume-env.sh' i skrivemodus og angi verdier for parameterne nedenfor.

JAVA_HOME=<Installation directory of Java>
FLUME_CLASSPATH="<Flume Installation Directory>/lib/MyTwitterSourceForFlume.jar"

flume-env.sh åpnes i en editor med JAVA_HOME og FLUME_CLASSPATH satt

Trinn 2) Start Hadoop.

$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh

Trinn 3) To av JAR-filene fra Flume-tarballen er ikke kompatible med Hadoop 2.2.0, så i dette Apache Flume-eksemplet følger vi trinnene nedenfor for å gjøre Flume kompatibel med Hadoop 2.2.0. Denne JAR-byttet er en fiks fra 1.4.0-æraen; Flume 1.11.0 leverer allerede nåværende protobuf- og Guava-bygg, så en moderne tarball trenger vanligvis ikke noe av det.

a. Flytt protobuf-java-2.4.1.jar ut av ' /lib'. Gå til den katalogen først.

cd /lib

sudo mv protobuf-java-2.4.1.jar ~/

Terminalen flytter protobuf-java-2.4.1.jar ut av Flume lib-katalogen

b. Finn JAR-filen «guava» som vist nedenfor.

find . -name "guava*"

Terminal find-kommandoen som finner den medfølgende guava-JAR-filen

Flytt guava-10.0.1.jar ut av ' /lib'.

sudo mv guava-10.0.1.jar ~/

Terminal flytter guava-10.0.1.jar ut av Flume lib-katalogen

c. Last ned guava-17.0.jar fra Maven-arkivet, Vist under.

Maven Repository-side for guava 17.0, erstatnings-JAR-filen for nedlasting

Kopier nå denne nedlastede JAR-filen til ' /lib'.

Trinn 4) Gå til ' /bin' og start Flume som følger.

./flume-ng agent -n MyTwitAgent -c conf -f <Flume Installation Directory>/conf/flume.conf

Terminal som starter Flume-agenten MyTwitAgent med flume-ng-kommandoen

Kommandopromptvinduet der Flume henter tweets ser slik ut.

Kommandoprompt som viser Flume-agenten som henter tweets og skriver dem til HDFS

Fra kommandovindumeldingen kan vi se at utdataene er skrevet til katalogen /user/hduser/flume/tweets/. Åpne nå denne katalogen med en nettleser.

Trinn 5) For å se resultatet av datainnlastingen, åpne http://localhost:50070/ i en nettleser, bla gjennom filsystemet og gå deretter til katalogen der dataene er lastet inn, det vil si

/flume/tvitrer/

Port 50070 er NameNode-nettgrensesnittet på Hadoop 2; Hadoop 3 flyttet den samme siden til port 9870.

HDFS-nettleseren som viser flume/tweets-katalogen med de lastede tweet-filene

Flume er den ene halvdelen av inntak: Sqoop importerer tabeller i grupper, Flume strømmer hendelser, deretter Pig or Hive form filene og oozie planlegger kjeden. Se også store dataanalyseverktøy, MapReduce-koblinger og tellere og Talent.

Spørsmål og svar

Ikke som skrevet. Sluttpunktet for strømmestatuser/filter i v1.1 ble pensjonert 9. mars 2023, og API v2-erstatningen krever et betalt nivå. Flume-mekanikken gjelder fortsatt som en øvelse med tilpasset kildekode.

Modellerer basislinje normalt loggvolum og meldingsform, og flagger deretter avvik som faste terskler ikke overser. De grupperer også gjentatte stakkdata. traces til én enkelt hendelse og utarbeide en sannsynlig årsak, noe som forkorter triage.

Copilot lager raskt utkast til kilde-, kanal- og sink-blokker, men den finner opp egenskapsnavn og blander utgivelser. Sjekk hver nøkkel mot Flume-brukerhåndboken for din versjon før du starter agenten.

Flume strømmer hendelsesdata som logger kontinuerlig inn i HDFS. Sqoop flytter strukturerte tabeller mellom relasjonsdatabaser og Hadoop i planlagte grupper. De dekker ulike halvdeler av inntak og kobler seg godt sammen.

En minnekanal er raskest, men mister bufferhendelser hvis agenten dør. En filkanal skriver til disk og overlever omstarter, med lavere gjennomstrømning. Foretrekk holdbarhet for alt du ikke kan sende på nytt.

Kafka er nå den vanlige standarden fordi den lagrer data og betjener mange forbrukere. Flume 1.11.0, fra oktober 2022, passer fortsatt til enkel enveis logginnsamling i HDFS.

Nesten alltid en JAR-kollisjon: Flume-tarballen pakker sine egne Guava- og Protobuf-versjoner, som er i konflikt med de Hadoop laster. Fjerning av den eldre, medfølgende JAR-filen fjerner den vanligvis.

De bestemmer når vasken lukker en fil og åpner en ny: rollSize etter byte, rollCount etter antall hendelser, rollInterval etter sekunder. Null deaktiverer den bestemte utløseren.

Oppsummer dette innlegget med: