Apache NiFi õpetus: mis on NiFi? Architektuur ja paigaldus

Apache NiFi õpetuse kokkuvõte

See apache NiFi õpetus hõlmab kõiki põhiteemasid kuni täpsemate teemadeni nullist. Õpid selliseid mõisteid nagu NiFi määratlus, ajalugu, arhitektuur, funktsioonid, installiprotsess, kasutusjuhud. Samuti saate teada, miks peate kasutama apache NiFi-d ja apache NiFi käitamise parimaid tavasid.

Mis on Apache NiFi?

Apache NiFi on avatud lähtekoodiga tarkvara süsteemidevahelise andmevoo automatiseerimiseks ja haldamiseks. See on võimas ja usaldusväärne süsteem andmete töötlemiseks ja levitamiseks. See pakub veebipõhist kasutajaliidest andmevoogude loomiseks, jälgimiseks ja juhtimiseks. Sellel on hästi konfigureeritav ja muudetav andmevooprotsess, et muuta andmeid käitusajal.

Apache NiFi on kohandatud komponentide arendamise kaudu hõlpsasti laiendatav.

Miks kasutada Apache NIfi?

Siin on Apache Nifi kasutamise põhjused:

  • Võimaldab teil teha andmete allaneelamist, et tõmmata andmeid paljudest andmeallikatest NiFi-sse ja luua voofaile
  • See pakub reaalajas juhtimist, mis aitab teil hallata andmete liikumist mis tahes allika ja sihtkoha vahel
  • Visualiseerige DataFlow ettevõtte tasemel
  • Pakkuge ühiseid tööriistu ja laiendusi
  • Võimaldab kasutada olemasolevaid teeke ja Java ökosüsteemi funktsionaalsus
  • Aitab organisatsioonidel integreerida Nifi olemasoleva infrastruktuuriga
  • NiFi on loodud klastrites skaleerimiseks, mis pakuvad garanteeritud andmete edastamist
  • Visualiseerige ja jälgige jõudlust, käitumist voobülletäänis, mis pakub ülevaadet ja sisemist dokumentatsiooni
  • Aitab käivitada ja peatada komponente eraldi või rühma tasandil
  • See aitab teil andmevoogu kuulata, tuua, poolitada, koondada, marsruutida, teisendada ja pukseerida

Apache NiFi ajalugu

  • NSA-s välja töötatud üle kaheksa aasta
  • 2014 – see annetati Apache tarkvarale Foundation
  • 2015- NiFi sai Apache Project Suite'i ametlikuks osaks
  • Sellest ajast alates annab Apache NiFi iga 6–8 nädala järel välja uue värskenduse

NiFi Architektuur

Apache NiFi on hästi läbimõeldud arhitektuuriga. Kui andmed on välistest allikatest hangitud, kuvatakse need Apache NiFi arhitektuuris FlowFile'ina.

NiFi Architektuur
NiFi Architektuur

Siin on NiFi arhitektuuri põhikomponendid

Nifi komponent Kirjeldus
FlowFile FlowFile on algandmed, millele on lisatud metateave. See võimaldab teil töödelda mitte ainult CSV-d või muid kirjepõhiseid andmeid, vaid ka pilte, videoid, heli või muid binaarandmeid.
Flowfile protsessor Teostab tööd, mis toimib NiFi andmevoo ehitusplokina.
Vooluregulaator Peab arvestust protsesside ühendamise kohta. See haldab lõime ja nende jaotusi, mida kõik protsessid kasutavad.
veebiserver Veebiserver majutab NiFi HTTP-põhiseid käske ja API-d.
Laiendamine JVM-is töötab ja käivitatakse mitut tüüpi NiFi laiendusi.
Ühendus Toimib ühenduslülina järjekorda sisaldavate protsessorite ja seos(te) vahel, mis mõjutab andmete marsruutimist.
Vasturõhk Peatage süsteemi ülekoormamine, kontrollides järjekorda salvestatavate voofailide kogust või andmemahtu.
Protsessi rühm Protsessirühm on protsesside ja nende ühenduste kogum, mis võtab vastu ja saadab andmeid portide abil.
Flowfile'i hoidla FlowFile'i hoidlas jälgib NiFi olekut selle kohta, millised üksikasjad tal on antud voos aktiivse FlowFile'i kohta.
Sisuhoidla Sisuhoidla on ala, kus eksisteerivad antud FlowFile'i tegelikud sisubaidid.
Päritoluhoidla Päritoluhoidla on ala, kuhu kogutakse kõik päritolusündmuste andmed.

Apache NiFi funktsioonid

  • NiFi toetab kõigi järjekorras olevate andmete puhverdamist ja pakub vasturõhu võimalust, kuna need järjekorrad võivad jõuda määratud piiridesse
  • NiFi võimaldab seada ühe või mitu prioritiseerimisskeemi
  • Pakub ühendusprotsessoreid paljudele andmeallikatele
  • Toetage mis tahes seadet, mis töötab Java
  • Ideaalne piiratud ühenduvusega kohtadesse
  • Tõrkeotsingu ja voo optimeerimise tugi
  • Pakub rollipõhist autentimist/volitamist
  • Võimaldab üksikute failide allalaadimist, taastamist ja taasesitamist
  • Ehitage oma protsessorid, kontrolleriteenused ja palju muud
  • Pakkuge sisu krüptimist, suhtlust turvaliste protokollide kaudu
  • Võimaldab kiiret arengut ja tõhusat testimist
  • Võimaldab arendada lihtsaid ühe funktsiooniga komponente, mida saab uuesti kasutada ja kombineerida keerukamate voogude tegemiseks
  • Võimaldab sõltuvuste hõlpsamaks haldamiseks isoleerida klassilaaduri

Kuidas installida Apache NiFi

Allpool on samm-sammult Apache NiFi installimise protsess

Step 1) Minna link,

ja klõpsake nuppu "Jätka tellimist"

Installige Apache NiFi

Step 2) Järgmisel lehel

Klõpsake nuppu "Nõustu tingimustega"

Installige Apache NiFi

Step 3) Näete seda lehte,

Täname teid selle toote tellimise eest! Töötleme teie taotlust.

Installige Apache NiFi

Step 4) Värskendage lehte 5 minuti pärast.

Klõpsake nuppu "Jätka konfiguratsiooni juurde"

Installige Apache NiFi

Step 5) Järgmisel lehel

Jätke vaikeseaded ja klõpsake nuppu "Jätka käivitamiseks".

Installige Apache NiFi

Step 6) Järgmisel lehel

Klõpsake nuppu Käivita. Võimalik, et peate looma võtme

Installige Apache NiFi

Step 7) Näete seda eduteadet.

Palju õnne! Selle tarkvara eksemplar on edukalt juurutatud EC2-s!

Installige Apache NiFi

Step 8) Märge,

Eksemplari ID ja EC2 eksemplari avalik DNS

Installige Apache NiFi

Step 9) Turvagrupis

Lisage sissetulevale ja väljuvale liiklusele kõik liiklusreeglid

Installige Apache NiFi

Step 10) Nifile juurdepääsuks

kasutage lihtsalt URL-i

http://publicdns:808/nifi

Meie puhul see muutub

http://ec2-100-26-156-57.compute-1.amazonaws.com:8080/nifi/

Kasutaja:admin

Parool: Eksemplari ID

Installige Apache NiFi

Step 11) Sa näed,

NiFi avakuva

Installige Apache NiFi

Nifi kasutuskohvrid

Allpool on loend Apache NiFi kasutusjuhtudest:

Tööstus Kasutus
Kindlustus
  • Riski- ja tagamisanalüüs
  • Nõuete analüüs
  • Kasutuspõhine kindlustus
  • Uus toode areng
Tervishoid
  • Patsiendi üksikvaade
  • Reaalajas elutähtsate näitajate jälgimine
  • EMR optimeerimine
  • Tarneahela optimeerimine
elekterside
  • Üksikvaade kliendist
  • CDR analüüs
  • Dünaamiline ribalaiuse eraldamine
tootmine
  • Ennetav hooldus
  • Tarneahela optimeerimine
  • Kvaliteedikontroll
Nafta- ja gaasitööstus
  • Reaalajas jälgimine
  • Üks vaade Operamine
  • Ennustav hooldus
  • Archive & Analytics
  • Struktureerimata andmete klassifikatsioon
Finantsteenused
  • Rahapesuvastane
  • Pettus – avastamine
  • Riski- andmehaldus

Parimad tavad Apache NiFi käitamine

  • Ideaalne katse-/arendus-/tootmiskeskkondade eraldamiseks NiFi-s
  • Peaksite jaotama oma voo protsessirühmadesse
  • Kasutage nimetamise tava, kasutage kommentaare ja silte
  • Korraldage oma projektid kolmeks osaks: allaneelamine, testimine ja jälgimine
  • Kasutage muutujate jaoks ainulaadseid nimesid

Nifi puudus

  • Vajad täpset turva- ja vastavuskontrolli
  • Apache NiFi-ga töötades peate selle aluseks olevat süsteemi väga hästi tundma
  • Peab säilitama andmete järelevalveahela
  • Transport/sõnumite saatmine ei pruugi olla piisav
  • Andmetele juurdepääsu vajadused ületavad transpordiks olemasolevaid ressursse
  • Kõik andmed pole loodud võrdselt
  • SSL-i ja teemataseme autoriseerimine ei pruugi olla piisav

kokkuvõte

  • Apache NiFi on avatud lähtekoodiga tarkvara süsteemidevahelise andmevoo automatiseerimiseks ja haldamiseks
  • NiFi on loodud klastrites skaleerimiseks, mis pakuvad garanteeritud andmete edastamist
  • Nifi töötati välja NSA-s üle kaheksa aasta
  • Kui andmed on välistest allikatest hangitud, kuvatakse need Apache NiFi arhitektuuris FlowFile'ina.
  • FlowFile, protsessor, kontroller, veebiserver, ühendus, vasturõhk, hoidla on NiFi arhitektuuri olulised komponendid
  • NiFi väljenduskeel toetab kõiki seadmeid, mis töötavad Java
  • Saate hõlpsasti installida NiFi AWS-i
  • NiFi kasutatakse erinevates tööstusharudes, nagu tervishoid, kindlustus, telekommunikatsioon, tootmine, rahandus, nafta ja gaas.
  • Hea tava kohaselt korraldage oma projektid kolmeks osaks: allaneelamine, testimine ja jälgimine