Apache NiFi-zelfstudie
David Carter
Apache NiFi-zelfstudiesamenvatting
Deze apache NiFi tutorial behandelt alle basis- tot geavanceerde onderwerpen vanaf nul. U leert concepten zoals NiFi definitie, geschiedenis, architectuur, functies, installatieproces, use cases. U leert ook waarom u apache NiFi moet gebruiken en de beste werkwijzen voor het uitvoeren van apache NiFi.
Wat is Apache NiFi?
Apache NiFi is open source software voor het automatiseren en beheren van de gegevensstroom tussen systemen. Het is een krachtig en betrouwbaar systeem om gegevens te verwerken en te distribueren. Het biedt een webgebaseerde gebruikersinterface voor het creëren, bewaken en controleren van gegevensstromen. Het heeft een zeer configureerbaar en aanpasbaar gegevensstroomproces om gegevens tijdens runtime te wijzigen.
Apache NiFi is eenvoudig uitbreidbaar door de ontwikkeling van op maat gemaakte componenten.
Waarom Apache Nifi gebruiken?
Hier zijn redenen om Apache Nifi te gebruiken:
- Hiermee kunt u gegevens opnemen om gegevens uit talloze gegevensbronnen naar NiFi te halen en stroombestanden te maken
- Het biedt realtime controle waarmee u de gegevensbeweging tussen elke bron en bestemming kunt beheren
- Visualiseer DataFlow op ondernemingsniveau
- Zorg voor algemene gereedschappen en uitbreidingen
- Hiermee kunt u profiteren van bestaande bibliotheken en Java ecosysteemfunctionaliteit
- Helpt organisaties Nifi te integreren met hun bestaande infrastructuur
- NiFi is ontworpen om op te schalen in clusters die een gegarandeerde levering van gegevens bieden
- Visualiseer en monitor prestaties en gedrag in een flowbulletin dat inzicht en inline documentatie biedt
- Helpt u bij het starten en stoppen van componenten afzonderlijk of op groepsniveau
- Het helpt u bij het luisteren, ophalen, splitsen, aggregeren, routeren, transformeren en slepen en neerzetten van Dataflow
Geschiedenis van Apache NiFi
- Ruim acht jaar ontwikkeld bij NSA
- 2014- Het werd gedoneerd aan de Apache-software Foundation
- 2015- NiFi werd een officieel onderdeel van de Apache Project Suite
- Sindsdien brengt Apache NiFi elke 6-8 weken een nieuwe update uit
NiFi Architectuur
Apache NiFi heeft een goed doordachte architectuur. Zodra data is opgehaald van externe bronnen, wordt het weergegeven als FlowFile binnen de Apache NiFi-architectuur.
Dit zijn de belangrijkste componenten van de NiFi-architectuur
| Nifi-component | BESCHRIJVING |
|---|---|
| Stroombestand | FlowFile bestaat uit originele gegevens waaraan meta-informatie is gekoppeld. Hiermee kunt u niet alleen CSV- of andere op records gebaseerde gegevens verwerken, maar ook afbeeldingen, video's, audio of andere binaire gegevens. |
| Flowfile-processor | Voert het werk uit dat fungeert als bouwsteen van de gegevensstroom in NiFi. |
| Stroomregelaar | Houdt bij hoe processen met elkaar verbonden zijn. Het beheert de threads en toewijzingen daarvan die alle processen gebruiken. |
| web Server | De webserver host de HTTP-gebaseerde opdrachten en API van NiFi. |
| Verlengstuk | Er zijn veel soorten NiFi-extensies die binnen de JVM werken en worden uitgevoerd. |
| Aansluiting | Fungeert als een koppeling tussen processors die een wachtrij en relatie(s) bevatten die van invloed zijn op waar gegevens naartoe worden gerouteerd. |
| Tegendruk | Voorkom dat het systeem overspoeld wordt door de hoeveelheid of gegevensgrootte te controleren van stroombestanden die in de wachtrij kunnen worden opgeslagen. |
| Procesgroep | Een procesgroep is een reeks processen en hun verbindingen, die gegevens ontvangen en verzenden met behulp van poorten. |
| Flowfile-opslagplaats | In de FlowFile Repository houdt NiFi bij welke gegevens het heeft over een bepaalde FlowFile die actief is in de flow. |
| Inhoudsopslag | De Content Repository is een gebied waar de feitelijke inhoudsbytes van een bepaald FlowFile bestaan. |
| Herkomstopslagplaats | De Provenance Repository is een gebied waar alle gegevens over herkomstgebeurtenissen worden verzameld. |
Apache NiFi-functies
- NiFi ondersteunt het bufferen van alle wachtrijgegevens en biedt de mogelijkheid om tegendruk te bieden wanneer deze wachtrijen bepaalde limieten bereiken
- NiFi maakt het instellen van een of meer prioriteringsschema's mogelijk
- Biedt verbindingsprocessors voor veel gegevensbronnen
- Ondersteun elk apparaat dat draait Java
- Ideaal voor plaatsen met beperkte connectiviteit
- Ondersteuning voor probleemoplossing en stroomoptimalisatie
- Biedt op rollen gebaseerde authenticatie/autorisatie
- Maakt het downloaden, herstellen en afspelen van individuele bestanden mogelijk
- Bouw uw processors, controllerservices en meer
- Zorg voor inhoudsversleuteling en communicatie via beveiligde protocollen
- Maakt snelle ontwikkeling en effectief testen mogelijk
- Maakt de ontwikkeling mogelijk van eenvoudige componenten met één functie die hergebruikt en gecombineerd kunnen worden om complexere stromen te maken
- Maakt classloader-isolatie mogelijk voor eenvoudiger beheer van afhankelijkheden
Hoe Apache NiFi te installeren
Hieronder vindt u een stapsgewijs proces voor de installatie van Apache NiFi
Stap 1) Ga naar de link,
en klik op “Doorgaan met abonneren”
Stap 2) Op de volgende pagina,
Klik op ‘Voorwaarden accepteren’
Stap 3) Je ziet deze pagina,
Bedankt voor uw abonnement op dit product! We zijn je verzoek aan het verwerken.
Stap 4) Ververs de pagina na 5 minuten.
Klik op “Doorgaan naar configuratie”
Stap 5) Op de volgende pagina,
Houd de instellingen standaard en klik op "Doorgaan met starten"
Stap 6) Op de volgende pagina,
Klik op Starten. Mogelijk moet u een sleutel maken
Stap 7) U zult dit succesbericht zien.
Gefeliciteerd! Een exemplaar van deze software is succesvol geïmplementeerd op EC2!
Stap 8) Notitie,
De instantie-ID en de openbare DNS van de EC2-instantie
Stap 9) In de beveiligingsgroep
Voeg alle verkeersregels toe aan inkomend en uitgaand
Stap 10) Om toegang te krijgen tot Nifi,
gebruik gewoon de URL
http://publicdns:8080/nifi
In ons geval wordt het
http://ec2-100-26-156-57.compute-1.amazonaws.com:8080/nifi/
Gebruiker: beheerder
Wachtwoord: Instantie-ID
Stap 11) Je zult zien,
NiFi-startscherm
Nifi-gebruikscasussen
Hieronder vindt u een lijst met Apache NiFi-gebruiksscenario's:
| Industrie | Gebruik |
|---|---|
| Verzekeringen |
|
| HealthCare |
|
| Telecommunicatie |
|
| Productie |
|
| Olie- en gasindustrie |
|
| Financiële diensten |
|
Best practices Apache NiFi uitvoeren
- Ideaal om test-/ontwikkel-/productieomgevingen in NiFi te scheiden
- U moet uw stroom opdelen in procesgroepen
- Gebruik een naamgevingsconventie, gebruik opmerkingen en labels
- Organiseer uw projecten in drie delen: opname, testen en monitoring
- Gebruik unieke namen voor variabelen
Nadeel van Nifi
- Er zijn nauwkeurige beveiligings- en nalevingscontroles nodig
- Als je met Apache NiFi werkt, moet je het onderliggende systeem goed kennen
- Moet de Chain of Custody voor gegevens handhaven
- Transport/berichten zijn mogelijk niet voldoende
- De behoeften aan gegevenstoegang overtreffen de beschikbare middelen om te transporteren
- Niet alle gegevens worden op dezelfde manier gecreëerd
- SSL en autorisatie op onderwerpniveau zijn mogelijk niet voldoende
Samenvatting
- Apache NiFi is open source-software voor het automatiseren en beheren van de gegevensstroom tussen systemen
- NiFi is ontworpen om op te schalen in clusters die een gegarandeerde levering van gegevens bieden
- Nifi is ruim acht jaar ontwikkeld bij NSA
- Zodra gegevens uit externe bronnen zijn opgehaald, worden deze weergegeven als FlowFile binnen de Apache NiFi-architectuur.
- FlowFile, processor, controller, webserver, verbinding, tegendruk en repository zijn belangrijke componenten van de NiFi-architectuur
- NiFi-expressietaal ondersteunt elk apparaat dat draait Java
- Je installeert NiFi eenvoudig op AWS
- NiFi wordt gebruikt in uiteenlopende sectoren, zoals onder meer de gezondheidszorg, verzekeringen, telecom, productie, financiën, olie en gas
- Organiseer uw projecten als best practice in drie delen: opname, testen en monitoring
