Apache NiFi -opastus: Mikä on NiFi? Architecture & asennus
David Carter
Apache NiFi -opetusohjelman yhteenveto
Tämä apache NiFi -opetusohjelma kattaa kaikki perus- ja edistykselliset aiheet tyhjästä. Opit käsitteet, kuten NiFi-määrittely, historia, arkkitehtuuri, ominaisuudet, asennusprosessi, käyttötapaukset. Opit myös, miksi sinun on käytettävä apache NiFi: tä ja parhaat käytännöt apache NiFi:n käyttämiseen.
Mikä on Apache NiFi?
Apache NiFi on avoimen lähdekoodin ohjelmisto järjestelmien välisen tietovirran automatisointiin ja hallintaan. Se on tehokas ja luotettava järjestelmä tietojen käsittelyyn ja jakeluun. Se tarjoaa verkkopohjaisen käyttöliittymän tietovirtojen luomiseen, valvontaan ja hallintaan. Siinä on hyvin konfiguroitava ja muokattava tiedonkulkuprosessi tietojen muokkaamiseksi suorituksen aikana.
Apache NiFi on helposti laajennettavissa mukautettuja komponentteja kehittämällä.
Miksi käyttää Apache NIfiä?
Tässä on syitä käyttää Apache Nifiä:
- Mahdollistaa datan keräämisen datan keräämiseksi NiFi:iin useista tietolähteistä ja vuotiedostojen luomiseksi
- Se tarjoaa reaaliaikaisen ohjauksen, jonka avulla voit hallita datan liikkumista mistä tahansa lähteestä ja kohteesta
- Visualisoi DataFlow yritystasolla
- Tarjoa yhteisiä työkaluja ja laajennuksia
- Voit hyödyntää olemassa olevia kirjastoja ja Java ekosysteemin toimivuus
- Auttaa organisaatioita integroimaan Nifin nykyiseen infrastruktuuriinsa
- NiFi on suunniteltu skaalautumaan klustereissa, jotka tarjoavat taatun tiedon toimituksen
- Visualisoi ja seuraa suorituskykyä, käyttäytymistä kulkutiedotteessa, joka tarjoaa oivalluksia ja sisäistä dokumentaatiota
- Auttaa käynnistämään ja pysäyttämään komponentteja erikseen tai ryhmätasolla
- Se auttaa sinua kuuntelemaan, hakemaan, jakamaan, yhdistämään, reitittämään, muuntamaan ja vedä ja pudota Dataflow
Apache NiFi:n historia
- Kehitetty NSA:lla yli kahdeksan vuoden ajan
- 2014- Se lahjoitettiin Apache-ohjelmistolle Foundation
- 2015 - NiFistä tuli virallinen osa Apache Project Suitea
- Siitä lähtien Apache NiFi julkaisee uuden päivityksen 6–8 viikon välein
NiFi Archirakenne
Apache NiFi:llä on hyvin harkittu arkkitehtuuri. Kun tiedot on haettu ulkoisista lähteistä, se esitetään FlowFile-muodossa Apache NiFi -arkkitehtuurin sisällä.
Tässä on NiFi-arkkitehtuurin avainkomponentit
| Nifi-komponentti | Tuotetiedot |
|---|---|
| FlowFile | FlowFile on alkuperäistä dataa, johon on liitetty metatietoja. Sen avulla voit käsitellä CSV-tiedostojen tai muiden tietuepohjaisten tietojen lisäksi myös kuvia, videoita, ääntä tai mitä tahansa muuta binaaridataa. |
| Flowfile prosessori | Suorittaa työn, joka toimii tietovirran rakennuspalikkana NiFi:ssä. |
| Virtauksen säädin | Pitää kirjaa prosessien yhdistämisestä. Se hallitsee säikeitä ja niiden varauksia, joita kaikki prosessit käyttävät. |
| web Server | Web-palvelin isännöi NiFin HTTP-pohjaisia komentoja ja API:ta. |
| Laajentaminen | On olemassa monenlaisia NiFi-laajennuksia, jotka toimivat ja suoritetaan JVM:ssä. |
| Yhteys | Toimii linkkinä prosessorien välillä, jotka sisältävät jonon ja suhteet, jotka vaikuttavat siihen, mihin data reititetään. |
| Vastapaine | Estä järjestelmän ylittyminen hallitsemalla jonoon tallennettavien vuotiedostojen määrää tai datakokoa. |
| Prosessiryhmä | Prosessiryhmä on joukko prosesseja ja niiden yhteyksiä, joka vastaanottaa ja lähettää tietoja porttien avulla. |
| Flowfile-arkisto | FlowFile-varastossa NiFi seuraa, mitä tietoja sillä on tietystä virtauksessa aktiivisesta FlowFile-tiedostosta. |
| Sisältövarasto | Sisältövarasto on alue, jolla on tietyn FlowFilen todelliset sisältötavut. |
| Lähdevarasto | Provenance Repository on alue, jonne kerätään kaikki alkuperätapahtumien tiedot. |
Apache NiFi -ominaisuudet
- NiFi tukee kaikkien jonossa olevien tietojen puskurointia ja tarjoaa mahdollisuuden vastapaineeseen, koska nämä jonot voivat saavuttaa tietyt rajat
- NiFi mahdollistaa yhden tai useamman priorisointimallin asettamisen
- Tarjoaa yhteysprosessorit useille tietolähteille
- Tukee mitä tahansa laitetta, joka toimii Java
- Ihanteellinen rajoitettuihin yhteyksiin
- Tuki vianmääritykseen ja virtauksen optimointiin
- Tarjoaa roolipohjaisen todennuksen/valtuutuksen
- Mahdollistaa yksittäisten tiedostojen lataamisen, palauttamisen ja uudelleentoiston
- Rakenna prosessorit, ohjainpalvelut ja paljon muuta
- Tarjoa sisällön salaus, viestintä suojattujen protokollien kautta
- Mahdollistaa nopean kehityksen ja tehokkaan testauksen
- Mahdollistaa yksinkertaisten yksitoimisten komponenttien kehittämisen, joita voidaan käyttää uudelleen ja yhdistää monimutkaisempiin virtoihin
- Mahdollistaa luokkalataimen eristämisen riippuvuuksien hallinnan helpottamiseksi
Kuinka asentaa Apache NiFi
Alla on vaihe vaiheelta Apache NiFi -asennuksen prosessi
Vaihe 1) Mene linkki,
ja napsauta "Jatka tilaamista"
Vaihe 2) Seuraavalla sivulla
Napsauta "Hyväksy ehdot"
Vaihe 3) Näet tämän sivun,
Kiitos tämän tuotteen tilaamisesta! Käsittelemme pyyntöäsi.
Vaihe 4) Päivitä sivu 5 minuutin kuluttua.
Napsauta "Jatka konfigurointiin"
Vaihe 5) Seuraavalla sivulla
Pidä asetukset oletusarvoina ja napsauta "Jatka käynnistämään"
Vaihe 6) Seuraavalla sivulla
Napsauta Käynnistä. Sinun on ehkä luotava avain
Vaihe 7) Näet tämän menestysviestin.
Onnittelut! Tämän ohjelmiston esiintymä on otettu onnistuneesti käyttöön EC2:ssa!
Vaihe 8) Huomautus,
EC2-ilmentymän ilmentymän tunnus ja julkinen DNS
Vaihe 9) Turvaryhmässä
Lisää kaikki liikennesäännöt saapuviin ja lähteviin
Vaihe 10) Päästäksesi Nifiin,
käytä vain URL-osoitetta
http://publicdns:8080/nifi
Meidän tapauksessamme siitä tulee
http://ec2-100-26-156-57.compute-1.amazonaws.com:8080/nifi/
käyttäjä:admin
Salasana: Instanssin tunnus
Vaihe 11) Tulet näkemään,
NiFi-aloitusnäyttö
Nifi käyttökotelot
Alla on luettelo Apache NiFi -käyttötapauksista:
| Teollisuus | Käyttö |
|---|---|
| Vakuutus |
|
| Terveydenhuolto |
|
| Tietoliikenne |
|
| valmistus |
|
| Öljy- ja kaasuteollisuus |
|
| Pankki-, rahoitus ja vakuutus. |
|
Parhaat käytännöt Apache NiFi:n käyttäminen
- Ihanteellinen testaus-/kehitys-/tuotantoympäristöjen erottamiseen NiFi:ssä
- Sinun tulisi jakaa virtasi prosessiryhmiin
- Käytä nimeämiskäytäntöä, käytä kommentteja ja tunnisteita
- Järjestä projektisi kolmeen osaan: nieleminen, testaus ja seuranta
- Käytä muuttujille yksilöllisiä nimiä
Nifin huono puoli
- Tarvitset tarkat turva- ja vaatimustenmukaisuusvalvontatoimenpiteet
- Sinun on tunnettava taustalla oleva järjestelmä erittäin hyvin, kun työskentelet Apache NiFi:n kanssa
- On ylläpidettävä tietojen säilytysketjua
- Kuljetus/viestintä ei ehkä riitä
- Tietojen käyttötarpeet ylittävät kuljetukseen käytettävissä olevat resurssit
- Kaikkia tietoja ei luoda tasapuolisesti
- SSL- ja aihetason valtuutus ei välttämättä riitä
Yhteenveto
- Apache NiFi on avoimen lähdekoodin ohjelmisto järjestelmien välisen tietovirran automatisointiin ja hallintaan
- NiFi on suunniteltu skaalautumaan klustereissa, jotka tarjoavat taatun tiedon toimituksen
- Nifiä kehitettiin NSA:ssa yli kahdeksan vuoden ajan
- Kun tiedot on haettu ulkoisista lähteistä, se esitetään FlowFile-muodossa Apache NiFi -arkkitehtuurin sisällä.
- FlowFile, prosessori, ohjain, verkkopalvelin, yhteys, vastapaine, arkisto ovat tärkeitä NiFi-arkkitehtuurin osia
- NiFi-ilmaisukieli tukee mitä tahansa laitetta, joka toimii Java
- Voit helposti asentaa NiFi:n AWS:ään
- NiFiä käytetään monilla aloilla, kuten terveydenhuolto, vakuutus, televiestintä, valmistus, rahoitus, öljy ja kaasu mm.
- Paras käytäntö on järjestää projektisi kolmeen osaan: käsittely, testaus ja seuranta