Tutoriál k Apache NiFi

Shrnutí výukového programu Apache NiFi

Tento tutoriál Apache NiFi pokrývá všechna základní až pokročilá témata od začátku. Naučíte se pojmy jako definice NiFi, historie, architektura, funkce, proces instalace, případy použití. Dozvíte se také, proč je potřeba používat Apache NiFi a osvědčené postupy pro provoz apache NiFi.

Co je Apache NiFi?

Apache NiFi je open source software pro automatizaci a správu toku dat mezi systémy. Je to výkonný a spolehlivý systém pro zpracování a distribuci dat. Poskytuje webové uživatelské rozhraní pro vytváření, monitorování a řízení datových toků. Má vysoce konfigurovatelný a upravitelný proces toku dat pro úpravu dat za běhu.

Apache NiFi je snadno rozšiřitelný pomocí vývoje vlastních komponent.

Proč používat Apache NIfi?

Zde jsou důvody pro použití Apache Nifi:

Umožňuje příjem dat pro stahování dat do NiFi z mnoha zdrojů dat a vytváření tokových souborů
Nabízí ovládání v reálném čase, které vám pomůže řídit přesun dat mezi jakýmkoli zdrojem a cílem
Vizualizujte DataFlow na podnikové úrovni
Poskytujte běžné nástroje a rozšíření
Umožňuje využívat výhody existujících knihoven a Java funkčnost ekosystému
Pomáhá organizacím integrovat Nifi s jejich stávající infrastrukturou
NiFi je navrženo pro škálování v clusterech, které nabízejí zaručené doručení dat
Vizualizujte a monitorujte výkon, chování v bulletinu toku, který nabízí přehled a vloženou dokumentaci
Pomáhá spouštět a zastavovat komponenty samostatně nebo na úrovni skupiny
Pomáhá vám poslouchat, načítat, rozdělovat, agregovat, směrovat, transformovat a přetahovat tok dat

Historie Apache NiFi

Vyvíjen v NSA více než osm let
2014- Byl darován softwaru Apache Foundation
2015 – NiFi se stalo oficiální součástí Apache Project Suite
Od té doby každých 6-8 týdnů vydává Apache NiFi novou aktualizaci

pokud Architecture

Apache NiFi má promyšlenou architekturu. Jakmile jsou data načtena z externích zdrojů, jsou v architektuře Apache NiFi reprezentována jako FlowFile.

Zde jsou klíčové součásti architektury NiFi

Komponenta Nifi	Description
FlowFile	FlowFile jsou původní data s připojenými metainformacemi. Umožňuje zpracovávat nejen data CSV nebo jiná data založená na záznamech, ale také obrázky, videa, zvuk nebo jakákoli jiná binární data.
Procesor Flowfile	Provádí práci, která funguje jako stavební blok datového toku v NiFi.
Regulátor průtoku	Uchovává záznamy o tom, jak jsou procesy propojeny. Spravuje vlákna a jejich alokace, které používají všechny procesy.
Web Server	Webový server hostí příkazy NiFi založené na HTTP a API.
Prodloužení	Existuje mnoho typů rozšíření NiFi, které fungují a spouštějí v rámci JVM.
Přípojka	Funguje jako propojení mezi procesory, které obsahují frontu a vztah(y), které ovlivňují, kam jsou data směrována.
Zpětný tlak	Zastavte přetečení systému řízením množství nebo velikosti dat tokových souborů, které lze uložit do fronty.
Procesní skupina	Skupina procesů je soubor procesů a jejich spojení, které přijímají a odesílají data pomocí portů.
Úložiště Flowfile	V úložišti FlowFile NiFi sleduje stav, jaké podrobnosti má o daném FlowFile, který je aktivní v toku.
Úložiště obsahu	Úložiště obsahu je oblast, kde existují skutečné obsahové bajty daného FlowFile.
Úložiště provenience	Úložiště provenience je oblast, kde se shromažďují všechna data o událostech původu.

Vlastnosti Apache NiFi

NiFi podporuje ukládání všech dat ve frontě do vyrovnávací paměti a nabízí možnost zpětného tlaku, protože tyto fronty mohou dosáhnout stanovených limitů
NiFi umožňuje nastavení jednoho nebo více schémat priority
Poskytuje procesory připojení pro mnoho zdrojů dat
Podporujte jakékoli zařízení, které běží Java
Ideální pro místa s omezenou konektivitou
Podpora pro odstraňování problémů a optimalizaci toku
Nabízí ověřování/autorizaci na základě rolí
Umožňuje stahování, obnovu a přehrávání jednotlivých souborů
Sestavte si své procesory, služby správce a další
Poskytovat šifrování obsahu, komunikaci přes zabezpečené protokoly
Umožňuje rychlý vývoj a efektivní testování
Umožňuje vývoj jednoduchých jednofunkčních komponent, které lze opakovaně používat a kombinovat k vytváření složitějších toků
Umožňuje izolaci classloaderu pro snadnější správu závislostí

Jak nainstalovat Apache NiFi

Níže je uveden postup instalace Apache NiFi krok za krokem

Krok 1) Přejít odkaz,

a klikněte na „Pokračovat k odběru“

Krok 2) Na další stránce,

Klikněte na „Přijmout podmínky“

Krok 3) Uvidíte tuto stránku,

Děkujeme, že jste se přihlásili k odběru tohoto produktu! Vaši žádost zpracováváme.

Krok 4) Po 5 minutách stránku obnovte.

Klikněte na „Pokračovat na konfiguraci“

Krok 5) Na další stránce,

Ponechte výchozí nastavení a klikněte na „Pokračovat ke spuštění“

Krok 6) Na další stránce,

Klepněte na Spustit. Možná budete muset vytvořit klíč

Krok 7) Uvidíte tuto zprávu o úspěchu.

Gratuluji! Instance tohoto softwaru je úspěšně nasazena na EC2!

Krok 8) Poznámka,

ID instance a veřejný DNS instance EC2

Krok 9) Ve skupině zabezpečení

Přidejte všechna pravidla provozu do příchozích a odchozích

Krok 10) Chcete-li získat přístup k Nifi,

stačí použít URL

http://publicdns:8080/nifi

V našem případě se stává

http://ec2-100-26-156-57.compute-1.amazonaws.com:8080/nifi/

Uživatel:admin

Heslo: ID instance

Krok 11) Uvidíš,

NiFi domovská obrazovka

Případy použití Nifi

Níže je uveden seznam případů použití Apache NiFi:

Průmysl	Používání
Pojištění	Analýza rizik a upisování Analýza nároků Pojištění podle použití Vývoj nového produktu
Zdravotní péče	Jediný pohled na pacienta Monitorování životních funkcí v reálném čase EMR optimalizace Optimalizace dodavatelského řetězce
Telekomunikace	Jediný pohled na zákazníka CDR analýza Dynamická alokace šířky pásma
Výroba	Preventivní údržba Optimalizace dodavatelského řetězce Kontrola kvality
Ropný a plynárenský průmysl	Monitorování v reálném čase Jediný pohled na Operavání Prediktivní údržba Archive & Analytics Klasifikace nestrukturovaných dat
Finanční služby	Praní špinavých peněz Odhalování podvodů Správa rizikových dat

Doporučené postupy Spuštění Apache NiFi

Ideální pro oddělení testovacích/vývojářských/produkčních prostředí v NiFi
Měli byste svůj tok rozdělit do skupin procesů
Použijte konvenci pojmenování, používejte komentáře a štítky
Uspořádejte své projekty do tří částí: příjem, testování a monitorování
Pro proměnné použijte jedinečné názvy

Nevýhoda Nifi

Potřebujete přesné kontroly zabezpečení a dodržování předpisů
Při práci s Apache NiFi musíte velmi dobře znát základní systém
Pro data musí být zachován spotřebitelský řetězec
Přeprava / zasílání zpráv nemusí být dostačující
Potřeby přístupu k datům převyšují dostupné zdroje pro přenos
Ne všechna data jsou vytvářena stejně
SSL a autorizace na úrovni tématu nemusí být dostatečná

Shrnutí

Apache NiFi je open source software pro automatizaci a správu toku dat mezi systémy
NiFi je navrženo pro škálování v clusterech, které nabízejí zaručené doručení dat
Nifi byl vyvíjen v NSA více než osm let
Jakmile jsou data načtena z externích zdrojů, jsou v architektuře Apache NiFi reprezentována jako FlowFile.
FlowFile, procesor, řadič, webový server, připojení, zpětný tlak, úložiště jsou důležité součásti architektury NiFi
NiFi výraz jazyk podporuje jakékoli zařízení, které běží Java
NiFi můžete snadno nainstalovat na AWS
NiFi se používá v různých průmyslových odvětvích, jako je zdravotnictví, pojišťovnictví, telekomunikace, výroba, finance, ropa a plyn
Nejlepším postupem je uspořádat své projekty do tří částí: příjem, testování a monitorování