Εκπαιδευτικό βίντεο Apache NiFi

⚡ Έξυπνη Σύνοψη

Το σεμινάριο Apache NiFi εξηγεί την πλατφόρμα ενοποίησης δεδομένων ανοιχτού κώδικα που έχει σχεδιαστεί για αυτοματοποιημένη, αξιόπιστη ροή μεταξύ συστημάτων. LessΤα ons καλύπτουν την αρχιτεκτονική, τους επεξεργαστές, την ορολογία, τα χαρακτηριστικά, την εγκατάσταση, τις περιπτώσεις χρήσης, τα πλεονεκτήματα, τα μειονεκτήματα και τις βέλτιστες πρακτικές για την ανάπτυξη σε παραγωγή.

🔁 Σχεδιασμός βασισμένος στη ροή: Το NiFi χρησιμοποιεί έναν οπτικό καμβά για να δημιουργήσει ροές δεδομένων από διαμορφώσιμους επεξεργαστές που συνδέονται μέσω δρομολογημένων ουρών.
️ Διανέμονται Archiδομή: Ο διακομιστής ιστού, ο ελεγκτής ροής και τα αποθετήρια συνδυάζονται για κλιμακωτή, ανεκτική σε σφάλματα μετακίνηση δεδομένων.
⚙️ Πλούσια βιβλιοθήκη επεξεργαστών: Εκατοντάδες επεξεργαστές χειρίζονται Kafka, MQTT, REST API, βάσεις δεδομένων, συστήματα αρχείων και πηγές cloud.
🔒 Ισχυρή ασφάλεια: Το TLS, η εξουσιοδότηση πολλαπλών μισθωτών και τα κρυπτογραφημένα αποθετήρια επιβάλλουν τη διακυβέρνηση εταιρικών δεδομένων.
📊 Προέλευση από άκρο σε άκρο: Κάθε FlowFile είναι tracαπό την προέλευση στον προορισμό για έλεγχο, εντοπισμό σφαλμάτων και συμμόρφωση.
🤖 Έτοιμο για αγωγό τεχνητής νοημοσύνης: Συνδυάστε το NiFi με τα τελικά σημεία LLM και τις διανυσματικές βάσεις δεδομένων για ροές εργασίας δημιουργίας με επαυξημένη ανάκτηση.

Περισσότερα

Σύνοψη φροντιστηρίου Apache NiFi

Αυτό το σεμινάριο apache NiFi καλύπτει όλα τα βασικά έως προχωρημένα θέματα από την αρχή. Θα μάθετε έννοιες όπως ορισμός NiFi, ιστορία, αρχιτεκτονική, χαρακτηριστικά, διαδικασία εγκατάστασης, περιπτώσεις χρήσης. Θα μάθετε επίσης γιατί πρέπει να χρησιμοποιείτε το apache NiFi και τις βέλτιστες πρακτικές εκτέλεσης του apache NiFi.

Τι είναι το Apache NiFi;

Apache NiFi είναι ένα λογισμικό ανοιχτού κώδικα για την αυτοματοποίηση και τη διαχείριση της ροής δεδομένων μεταξύ συστημάτων. Είναι ένα ισχυρό και αξιόπιστο σύστημα επεξεργασίας και διανομής δεδομένων. Παρέχει διαδικτυακή διεπαφή χρήστη για τη δημιουργία, την παρακολούθηση και τον έλεγχο των ροών δεδομένων. Διαθέτει μια εξαιρετικά διαμορφώσιμη και τροποποιήσιμη διαδικασία ροής δεδομένων για την τροποποίηση δεδομένων κατά το χρόνο εκτέλεσης.

Το Apache NiFi είναι εύκολα επεκτάσιμο μέσω της ανάπτυξης προσαρμοσμένων στοιχείων.

Γιατί να χρησιμοποιήσετε το Apache NIfi;

Ακολουθούν οι λόγοι για τη χρήση του Apache Nifi:

Σας επιτρέπει να κάνετε απορρόφηση δεδομένων για να τραβήξετε δεδομένα στο NiFi, από πολλές πηγές δεδομένων και να δημιουργήσετε αρχεία ροής
Προσφέρει έλεγχο σε πραγματικό χρόνο που σας βοηθά να διαχειριστείτε τη μετακίνηση δεδομένων μεταξύ οποιασδήποτε πηγής και προορισμού
Οπτικοποιήστε το DataFlow σε εταιρικό επίπεδο
Παρέχετε κοινά εργαλεία και επεκτάσεις
Σας επιτρέπει να επωφεληθείτε από τις υπάρχουσες βιβλιοθήκες και Java λειτουργικότητα του οικοσυστήματος
Βοηθά τους οργανισμούς να ενσωματώσουν το Nifi με την υπάρχουσα υποδομή τους
Το NiFi έχει σχεδιαστεί για να κλιμακώνεται σε συμπλέγματα που προσφέρουν εγγυημένη παράδοση δεδομένων
Οπτικοποίηση και παρακολούθηση της απόδοσης, της συμπεριφοράς σε ένα δελτίο ροής που προσφέρει πληροφορίες και ενσωματωμένη τεκμηρίωση
Σας βοηθά να ξεκινήσετε και να σταματήσετε τα στοιχεία ξεχωριστά ή σε επίπεδο ομάδας
Σας βοηθά να ακούτε, να ανακτάτε, να χωρίζετε, να συγκεντρώνετε, να δρομολογείτε, να μετασχηματίζετε και να μεταφέρετε και αποθέσετε ροή δεδομένων

Η ιστορία του Apache NiFi

Αναπτύχθηκε στην NSA για περισσότερα από οκτώ χρόνια
2014- Δωρήθηκε στο λογισμικό Apache Foundation
2015- Το NiFi έγινε επίσημο μέρος του Apache Project Suite
Από τότε κάθε 6-8 εβδομάδες, το Apache NiFi κυκλοφορεί μια νέα ενημέρωση

NiFi Archiδομή

Το Apache NiFi έχει μια καλά μελετημένη αρχιτεκτονική. Μόλις ληφθούν δεδομένα από εξωτερικές πηγές, αναπαρίστανται ως FlowFile μέσα στην αρχιτεκτονική Apache NiFi.

Εδώ είναι βασικά στοιχεία της αρχιτεκτονικής NiFi

Εξάρτημα Nifi	Περιγραφή
FlowFile	Το FlowFile είναι πρωτότυπα δεδομένα με μετα-πληροφορίες συνδεδεμένες σε αυτό. Σας επιτρέπει να επεξεργάζεστε όχι μόνο CSV ή άλλα δεδομένα που βασίζονται σε εγγραφή, αλλά και εικόνες, βίντεο, ήχο ή οποιαδήποτε άλλα δυαδικά δεδομένα.
Επεξεργαστής αρχείων ροής	Εκτελεί την εργασία που λειτουργεί ως δομικό στοιχείο της ροής δεδομένων στο NiFi.
Ελεγκτής ροής	Διατηρεί αρχείο του τρόπου σύνδεσης των διεργασιών. Διαχειρίζεται τα νήματα και τις εκχωρήσεις τους που χρησιμοποιούν όλες οι διεργασίες.
web Server	Ο διακομιστής Ιστού φιλοξενεί τις εντολές και το API του NiFi που βασίζονται σε HTTP.
Επέκταση	Υπάρχουν πολλοί τύποι επεκτάσεων NiFi που λειτουργούν και εκτελούνται μέσα στο JVM.
σύνδεση	Λειτουργεί ως σύνδεσμος μεταξύ των επεξεργαστών που περιέχουν μια ουρά και μια σχέση(ες) που επηρεάζει τη δρομολόγηση των δεδομένων.
Πίεση στην πλάτη	Σταματήστε την υπέρβαση του συστήματος ελέγχοντας την ποσότητα ή το μέγεθος δεδομένων των αρχείων ροής που μπορούν να αποθηκευτούν στην ουρά.
Ομάδα Διαδικασιών	Μια ομάδα διεργασιών είναι ένα σύνολο διεργασιών και των συνδέσεών τους, που λαμβάνει και αποστέλλει δεδομένα με τη βοήθεια θυρών.
Αποθετήριο αρχείων ροής	Στο αποθετήριο FlowFile, το NiFi διατηρεί track της κατάστασης των λεπτομερειών που έχει σχετικά με ένα δεδομένο FlowFile το οποίο είναι ενεργό στη ροή.
Αποθετήριο Περιεχομένου	Το Content Repository είναι μια περιοχή όπου υπάρχουν τα πραγματικά byte περιεχομένου ενός δεδομένου FlowFile.
Αποθετήριο Προέλευσης	Το Provenance Repository είναι μια περιοχή όπου συγκεντρώνονται όλα τα δεδομένα συμβάντων προέλευσης.

Χαρακτηριστικά Apache NiFi

Το NiFi υποστηρίζει την προσωρινή αποθήκευση όλων των δεδομένων στην ουρά και προσφέρει δυνατότητα αντίστροφης πίεσης καθώς αυτές οι ουρές ενδέχεται να φτάσουν σε καθορισμένα όρια
Το NiFi επιτρέπει τη ρύθμιση ενός ή περισσότερων σχημάτων ιεράρχησης προτεραιοτήτων
Παρέχει επεξεργαστές σύνδεσης για πολλές πηγές δεδομένων
Υποστηρίξτε οποιαδήποτε συσκευή που εκτελείται Java
Ιδανικό για χώρους περιορισμένης συνδεσιμότητας
Υποστήριξη για αντιμετώπιση προβλημάτων και βελτιστοποίηση ροής
Προσφέρει έλεγχο ταυτότητας/εξουσιοδότηση βάσει ρόλου
Επιτρέπει τη λήψη, την ανάκτηση και την επανάληψη μεμονωμένων αρχείων
Δημιουργήστε τους επεξεργαστές σας, τις υπηρεσίες ελεγκτών και πολλά άλλα
Παρέχετε κρυπτογράφηση περιεχομένου, επικοινωνία μέσω ασφαλών πρωτοκόλλων
Επιτρέπει την ταχεία ανάπτυξη και την αποτελεσματική δοκιμή
Επιτρέπει την ανάπτυξη απλών εξαρτημάτων μίας λειτουργίας που μπορούν να επαναχρησιμοποιηθούν και να συνδυαστούν για να κάνουν πιο περίπλοκες ροές
Επιτρέπει την απομόνωση του classloader για ευκολότερη διαχείριση των εξαρτήσεων

Πώς να εγκαταστήσετε το Apache NiFi

Παρακάτω είναι μια διαδικασία βήμα προς βήμα για την εγκατάσταση του Apache NiFi

Βήμα 1) Πηγαίνετε στο ο σύνδεσμος,

και κάντε κλικ στο «Συνέχεια εγγραφής»

Βήμα 2) Στην επόμενη σελίδα,

Κάντε κλικ στο "Αποδοχή Όρων"

Βήμα 3) Θα δείτε αυτή τη σελίδα,

Σας ευχαριστούμε για την εγγραφή σας σε αυτό το προϊόν! Επεξεργαζόμαστε το αίτημά σας.

Βήμα 4) Ανανεώστε τη σελίδα μετά από 5 λεπτά.

Κάντε κλικ στο "Συνέχεια στη διαμόρφωση"

Βήμα 5) Στην επόμενη σελίδα,

Διατηρήστε τις προεπιλεγμένες ρυθμίσεις και κάντε κλικ στο "Συνέχεια στην εκκίνηση"

Βήμα 6) Στην επόμενη σελίδα,

Κάντε κλικ στην Εκκίνηση. Ίσως χρειαστεί να δημιουργήσετε ένα κλειδί

Βήμα 7) Θα δείτε αυτό το μήνυμα επιτυχίας.

Συγχαρητήρια! Ένα παράδειγμα αυτού του λογισμικού έχει αναπτυχθεί με επιτυχία στο EC2!

Βήμα 8) Σημείωση,

Το αναγνωριστικό παρουσίας και το δημόσιο DNS της παρουσίας EC2

Βήμα 9) Στην ομάδα ασφαλείας,

Προσθήκη όλων των κανόνων κυκλοφορίας σε εισερχόμενες και εξερχόμενες

Βήμα 10) Για πρόσβαση στο Nifi,

απλώς χρησιμοποιήστε το URL

http://publicdns:8080/nifi

Στην περίπτωσή μας γίνεται

http://ec2-100-26-156-57.compute-1.amazonaws.com:8080/nifi/

Χρήστες: διαχειριστής

Κωδικός Πρόσβασης: Instance Id

Βήμα 11) Θα δεις,

Αρχική οθόνη NiFi

Θήκες χρήσης Nifi

Παρακάτω είναι μια λίστα με περιπτώσεις χρήσης Apache NiFi:

ΒΙΟΜΗΧΑΝΙΑ	Χρήση
Ασφάλιση	Ανάλυση κινδύνου & αναδοχής Claims Analytics Ασφάλιση με βάση τη χρήση ΑΝΑΠΤΥΞΗ ΝΕΟΥ ΠΡΟΪΟΝΤΟΣ
Φροντίδα υγείας	Μονή άποψη του ασθενούς Παρακολούθηση ζωτικών σημείων σε πραγματικό χρόνο Βελτιστοποίηση EMR Βελτιστοποίηση εφοδιαστικής αλυσίδας
Τηλεπικοινωνία	Ενιαία όψη του πελάτη Ανάλυση CDR Δυναμική κατανομή εύρους ζώνης
Βιομηχανίες	Προληπτική συντήρηση Βελτιστοποίηση εφοδιαστικής αλυσίδας Ποιότητα
Πετρελαίου & Αερίου- Βιομηχανία	Παρακολούθηση σε πραγματικό χρόνο Μονή όψη του Operaσμού Προγνωστική συντήρηση Archive & Analytics Ταξινόμηση μη δομημένων δεδομένων
Χρηματοοικονομικές Υπηρεσίες	Αντιμετώπιση νομιμοποίησης εσόδων από παράνομες δραστηριότητες Απάτη- Ανίχνευση Κίνδυνος - διαχείριση δεδομένων

καλυτερα πρακτικες Running Apache NiFi

Ιδανικό για να διαχωρίσετε περιβάλλοντα δοκιμής/dev/παραγωγής στο NiFi
Θα πρέπει να χωρίσετε τη ροή σας σε ομάδες διαδικασιών
Χρησιμοποιήστε μια σύμβαση ονομασίας, χρησιμοποιήστε σχόλια και ετικέτες
Οργανώστε τα έργα σας σε τρία μέρη απορρόφησης, δοκιμής και παρακολούθησης
Χρησιμοποιήστε μοναδικά ονόματα για τις μεταβλητές

Μειονέκτημα του Nifi

Απαιτούνται ακριβείς έλεγχοι ασφάλειας και συμμόρφωσης
Πρέπει να γνωρίζετε πολύ καλά το υποκείμενο σύστημα ενώ εργάζεστε με το Apache NiFi
Πρέπει να διατηρεί την αλυσίδα φύλαξης δεδομένων
Μεταφορά / Μηνύματα ενδέχεται να μην είναι αρκετά
Οι ανάγκες πρόσβασης σε δεδομένα υπερβαίνουν τους διαθέσιμους πόρους για μεταφορά
Δεν δημιουργούνται όλα τα δεδομένα εξίσου
Η εξουσιοδότηση SSL και θεματικού επιπέδου ενδέχεται να μην είναι επαρκής

Συχνές Ερωτήσεις

Το NiFi παρέχει οπτική ροή δεδομένων χαμηλού κώδικα με ενσωματωμένη δρομολόγηση και μετασχηματισμό. Το Kafka είναι μια ραχοκοκαλιά ανταλλαγής μηνυμάτων. Το Airflow ενορχηστρώνει μαζικές εργασίες. Το NiFi συχνά μετακινεί δεδομένα μεταξύ του Kafka και των κατάντη προορισμών.

Ναι. Το NiFi λαμβάνει δεδομένα ροής, καλεί τελικά σημεία μοντέλου και δρομολογεί προβλέψεις στον χώρο αποθήκευσης. Με τις βάσεις δεδομένων Kafka, MiNiFi και διανυσματικές βάσεις δεδομένων, δημιουργεί ροές εργασίας τεχνητής νοημοσύνης από άκρο σε άκρο και δημιουργίας με επαυξημένη ανάκτηση.

Τα εργαλεία τεχνητής νοημοσύνης προτείνουν αλυσίδες επεξεργαστών, δημιουργούν αποσπάσματα γλώσσας έκφρασης και εξηγούν μοτίβα ροής. Επιταχύνουν την ανάπτυξη και βοηθούν τους νεοεισερχόμενους να κατανοήσουν τη διαμόρφωση και τη λογική δρομολόγησης του NiFi.

Ένα FlowFile είναι δεδομένα που κινούνται μέσω NiFi. Περιέχει περιεχόμενο καθώς και χαρακτηριστικά όπως μεταδεδομένα, γενεαλογία και πληροφορίες δρομολόγησης που χρησιμοποιούν οι επεξεργαστές για να λαμβάνουν αποφάσεις μέσα σε μια ροή δεδομένων.

Το NiFi υποστηρίζει TLS, εξουσιοδότηση πολλαπλών μισθωτών, LDAP, Kerberos, OIDC και κρυπτογραφημένα αποθετήρια. Οι πολιτικές που βασίζονται σε ρόλους περιορίζουν ποιος μπορεί να βλέπει, να τροποποιεί ή να χειρίζεται συγκεκριμένες ροές δεδομένων.

Το NiFi κλιμακώνεται οριζόντια με συστάδες, κάθετα προσθέτοντας πυρήνες και μέσω ουρών αντίθλιψης. Οι πράκτορες MiNiFi στην άκρη ρέουν δεδομένα σε ένα κεντρικό σύμπλεγμα NiFi.

Το NiFi είναι ο πλήρης διακομιστής με ένα πλούσιο web UI για το σχεδιασμό ροών δεδομένων. Το MiNiFi είναι ένας ελαφρύς agent που εκτελείται στα άκρα και προωθεί δεδομένα στο NiFi.

Οι αρχάριοι δημιουργούν την πρώτη τους ροή σε λίγες μέρες. Η εξειδίκευση στην ομαδοποίηση, την ασφάλεια, τους προσαρμοσμένους επεξεργαστές και τη ρύθμιση υψηλής απόδοσης απαιτεί δύο έως τέσσερις μήνες εμπειρίας σε έργα παραγωγής.