Apache NiFi õpetus: mis on NiFi? Architektuur ja paigaldus
Apache NiFi õpetuse kokkuvõte
See apache NiFi õpetus hõlmab kõiki põhiteemasid kuni täpsemate teemadeni nullist. Õpid selliseid mõisteid nagu NiFi määratlus, ajalugu, arhitektuur, funktsioonid, installiprotsess, kasutusjuhud. Samuti saate teada, miks peate kasutama apache NiFi-d ja apache NiFi käitamise parimaid tavasid.
Mis on Apache NiFi?
Apache NiFi on avatud lähtekoodiga tarkvara süsteemidevahelise andmevoo automatiseerimiseks ja haldamiseks. See on võimas ja usaldusväärne süsteem andmete töötlemiseks ja levitamiseks. See pakub veebipõhist kasutajaliidest andmevoogude loomiseks, jälgimiseks ja juhtimiseks. Sellel on hästi konfigureeritav ja muudetav andmevooprotsess, et muuta andmeid käitusajal.
Apache NiFi on kohandatud komponentide arendamise kaudu hõlpsasti laiendatav.
Miks kasutada Apache NIfi?
Siin on Apache Nifi kasutamise põhjused:
- Võimaldab teil teha andmete allaneelamist, et tõmmata andmeid paljudest andmeallikatest NiFi-sse ja luua voofaile
- See pakub reaalajas juhtimist, mis aitab teil hallata andmete liikumist mis tahes allika ja sihtkoha vahel
- Visualiseerige DataFlow ettevõtte tasemel
- Pakkuge ühiseid tööriistu ja laiendusi
- Võimaldab kasutada olemasolevaid teeke ja Java ökosüsteemi funktsionaalsus
- Aitab organisatsioonidel integreerida Nifi olemasoleva infrastruktuuriga
- NiFi on loodud klastrites skaleerimiseks, mis pakuvad garanteeritud andmete edastamist
- Visualiseerige ja jälgige jõudlust, käitumist voobülletäänis, mis pakub ülevaadet ja sisemist dokumentatsiooni
- Aitab käivitada ja peatada komponente eraldi või rühma tasandil
- See aitab teil andmevoogu kuulata, tuua, poolitada, koondada, marsruutida, teisendada ja pukseerida
Apache NiFi ajalugu
- NSA-s välja töötatud üle kaheksa aasta
- 2014 – see annetati Apache tarkvarale Foundation
- 2015- NiFi sai Apache Project Suite'i ametlikuks osaks
- Sellest ajast alates annab Apache NiFi iga 6–8 nädala järel välja uue värskenduse
NiFi Architektuur
Apache NiFi on hästi läbimõeldud arhitektuuriga. Kui andmed on välistest allikatest hangitud, kuvatakse need Apache NiFi arhitektuuris FlowFile'ina.
Siin on NiFi arhitektuuri põhikomponendid
Nifi komponent | Kirjeldus |
---|---|
FlowFile | FlowFile on algandmed, millele on lisatud metateave. See võimaldab teil töödelda mitte ainult CSV-d või muid kirjepõhiseid andmeid, vaid ka pilte, videoid, heli või muid binaarandmeid. |
Flowfile protsessor | Teostab tööd, mis toimib NiFi andmevoo ehitusplokina. |
Vooluregulaator | Peab arvestust protsesside ühendamise kohta. See haldab lõime ja nende jaotusi, mida kõik protsessid kasutavad. |
veebiserver | Veebiserver majutab NiFi HTTP-põhiseid käske ja API-d. |
Laiendamine | JVM-is töötab ja käivitatakse mitut tüüpi NiFi laiendusi. |
Ühendus | Toimib ühenduslülina järjekorda sisaldavate protsessorite ja seos(te) vahel, mis mõjutab andmete marsruutimist. |
Vasturõhk | Peatage süsteemi ülekoormamine, kontrollides järjekorda salvestatavate voofailide kogust või andmemahtu. |
Protsessi rühm | Protsessirühm on protsesside ja nende ühenduste kogum, mis võtab vastu ja saadab andmeid portide abil. |
Flowfile'i hoidla | FlowFile'i hoidlas jälgib NiFi olekut selle kohta, millised üksikasjad tal on antud voos aktiivse FlowFile'i kohta. |
Sisuhoidla | Sisuhoidla on ala, kus eksisteerivad antud FlowFile'i tegelikud sisubaidid. |
Päritoluhoidla | Päritoluhoidla on ala, kuhu kogutakse kõik päritolusündmuste andmed. |
Apache NiFi funktsioonid
- NiFi toetab kõigi järjekorras olevate andmete puhverdamist ja pakub vasturõhu võimalust, kuna need järjekorrad võivad jõuda määratud piiridesse
- NiFi võimaldab seada ühe või mitu prioritiseerimisskeemi
- Pakub ühendusprotsessoreid paljudele andmeallikatele
- Toetage mis tahes seadet, mis töötab Java
- Ideaalne piiratud ühenduvusega kohtadesse
- Tõrkeotsingu ja voo optimeerimise tugi
- Pakub rollipõhist autentimist/volitamist
- Võimaldab üksikute failide allalaadimist, taastamist ja taasesitamist
- Ehitage oma protsessorid, kontrolleriteenused ja palju muud
- Pakkuge sisu krüptimist, suhtlust turvaliste protokollide kaudu
- Võimaldab kiiret arengut ja tõhusat testimist
- Võimaldab arendada lihtsaid ühe funktsiooniga komponente, mida saab uuesti kasutada ja kombineerida keerukamate voogude tegemiseks
- Võimaldab sõltuvuste hõlpsamaks haldamiseks isoleerida klassilaaduri
Kuidas installida Apache NiFi
Allpool on samm-sammult Apache NiFi installimise protsess
Step 1) Minna link,
ja klõpsake nuppu "Jätka tellimist"
Step 2) Järgmisel lehel
Klõpsake nuppu "Nõustu tingimustega"
Step 3) Näete seda lehte,
Täname teid selle toote tellimise eest! Töötleme teie taotlust.
Step 4) Värskendage lehte 5 minuti pärast.
Klõpsake nuppu "Jätka konfiguratsiooni juurde"
Step 5) Järgmisel lehel
Jätke vaikeseaded ja klõpsake nuppu "Jätka käivitamiseks".
Step 6) Järgmisel lehel
Klõpsake nuppu Käivita. Võimalik, et peate looma võtme
Step 7) Näete seda eduteadet.
Palju õnne! Selle tarkvara eksemplar on edukalt juurutatud EC2-s!
Step 8) Märge,
Eksemplari ID ja EC2 eksemplari avalik DNS
Step 9) Turvagrupis
Lisage sissetulevale ja väljuvale liiklusele kõik liiklusreeglid
Step 10) Nifile juurdepääsuks
kasutage lihtsalt URL-i
http://publicdns:808/nifi
Meie puhul see muutub
http://ec2-100-26-156-57.compute-1.amazonaws.com:8080/nifi/
Kasutaja:admin
Parool: Eksemplari ID
Step 11) Sa näed,
NiFi avakuva
Nifi kasutuskohvrid
Allpool on loend Apache NiFi kasutusjuhtudest:
Tööstus | Kasutus |
---|---|
Kindlustus |
|
Tervishoid |
|
elekterside |
|
tootmine |
|
Nafta- ja gaasitööstus |
|
Finantsteenused |
|
Parimad tavad Apache NiFi käitamine
- Ideaalne katse-/arendus-/tootmiskeskkondade eraldamiseks NiFi-s
- Peaksite jaotama oma voo protsessirühmadesse
- Kasutage nimetamise tava, kasutage kommentaare ja silte
- Korraldage oma projektid kolmeks osaks: allaneelamine, testimine ja jälgimine
- Kasutage muutujate jaoks ainulaadseid nimesid
Nifi puudus
- Vajad täpset turva- ja vastavuskontrolli
- Apache NiFi-ga töötades peate selle aluseks olevat süsteemi väga hästi tundma
- Peab säilitama andmete järelevalveahela
- Transport/sõnumite saatmine ei pruugi olla piisav
- Andmetele juurdepääsu vajadused ületavad transpordiks olemasolevaid ressursse
- Kõik andmed pole loodud võrdselt
- SSL-i ja teemataseme autoriseerimine ei pruugi olla piisav
kokkuvõte
- Apache NiFi on avatud lähtekoodiga tarkvara süsteemidevahelise andmevoo automatiseerimiseks ja haldamiseks
- NiFi on loodud klastrites skaleerimiseks, mis pakuvad garanteeritud andmete edastamist
- Nifi töötati välja NSA-s üle kaheksa aasta
- Kui andmed on välistest allikatest hangitud, kuvatakse need Apache NiFi arhitektuuris FlowFile'ina.
- FlowFile, protsessor, kontroller, veebiserver, ühendus, vasturõhk, hoidla on NiFi arhitektuuri olulised komponendid
- NiFi väljenduskeel toetab kõiki seadmeid, mis töötavad Java
- Saate hõlpsasti installida NiFi AWS-i
- NiFi kasutatakse erinevates tööstusharudes, nagu tervishoid, kindlustus, telekommunikatsioon, tootmine, rahandus, nafta ja gaas.
- Hea tava kohaselt korraldage oma projektid kolmeks osaks: allaneelamine, testimine ja jälgimine