Εκμάθηση Apache NiFi: Τι είναι το NiFi; Archiκατασκευή & εγκατάσταση
Ντέιβιντ Κάρτερ
Σύνοψη φροντιστηρίου Apache NiFi
Αυτό το σεμινάριο apache NiFi καλύπτει όλα τα βασικά έως προχωρημένα θέματα από την αρχή. Θα μάθετε έννοιες όπως ορισμός NiFi, ιστορία, αρχιτεκτονική, χαρακτηριστικά, διαδικασία εγκατάστασης, περιπτώσεις χρήσης. Θα μάθετε επίσης γιατί πρέπει να χρησιμοποιείτε το apache NiFi και τις βέλτιστες πρακτικές εκτέλεσης του apache NiFi.
Τι είναι το Apache NiFi;
Apache NiFi είναι ένα λογισμικό ανοιχτού κώδικα για την αυτοματοποίηση και τη διαχείριση της ροής δεδομένων μεταξύ συστημάτων. Είναι ένα ισχυρό και αξιόπιστο σύστημα επεξεργασίας και διανομής δεδομένων. Παρέχει διαδικτυακή διεπαφή χρήστη για τη δημιουργία, την παρακολούθηση και τον έλεγχο των ροών δεδομένων. Διαθέτει μια εξαιρετικά διαμορφώσιμη και τροποποιήσιμη διαδικασία ροής δεδομένων για την τροποποίηση δεδομένων κατά το χρόνο εκτέλεσης.
Το Apache NiFi είναι εύκολα επεκτάσιμο μέσω της ανάπτυξης προσαρμοσμένων στοιχείων.
Γιατί να χρησιμοποιήσετε το Apache NIfi;
Ακολουθούν οι λόγοι για τη χρήση του Apache Nifi:
- Σας επιτρέπει να κάνετε απορρόφηση δεδομένων για να τραβήξετε δεδομένα στο NiFi, από πολλές πηγές δεδομένων και να δημιουργήσετε αρχεία ροής
- Προσφέρει έλεγχο σε πραγματικό χρόνο που σας βοηθά να διαχειριστείτε τη μετακίνηση δεδομένων μεταξύ οποιασδήποτε πηγής και προορισμού
- Οπτικοποιήστε το DataFlow σε εταιρικό επίπεδο
- Παρέχετε κοινά εργαλεία και επεκτάσεις
- Σας επιτρέπει να επωφεληθείτε από τις υπάρχουσες βιβλιοθήκες και Java λειτουργικότητα του οικοσυστήματος
- Βοηθά τους οργανισμούς να ενσωματώσουν το Nifi με την υπάρχουσα υποδομή τους
- Το NiFi έχει σχεδιαστεί για να κλιμακώνεται σε συμπλέγματα που προσφέρουν εγγυημένη παράδοση δεδομένων
- Οπτικοποίηση και παρακολούθηση της απόδοσης, της συμπεριφοράς σε ένα δελτίο ροής που προσφέρει πληροφορίες και ενσωματωμένη τεκμηρίωση
- Σας βοηθά να ξεκινήσετε και να σταματήσετε τα στοιχεία ξεχωριστά ή σε επίπεδο ομάδας
- Σας βοηθά να ακούτε, να ανακτάτε, να χωρίζετε, να συγκεντρώνετε, να δρομολογείτε, να μετασχηματίζετε και να μεταφέρετε και αποθέσετε ροή δεδομένων
Η ιστορία του Apache NiFi
- Αναπτύχθηκε στην NSA για περισσότερα από οκτώ χρόνια
- 2014- Δωρήθηκε στο λογισμικό Apache Foundation
- 2015- Το NiFi έγινε επίσημο μέρος του Apache Project Suite
- Από τότε κάθε 6-8 εβδομάδες, το Apache NiFi κυκλοφορεί μια νέα ενημέρωση
NiFi Archiδομή
Το Apache NiFi έχει μια καλά μελετημένη αρχιτεκτονική. Μόλις ληφθούν δεδομένα από εξωτερικές πηγές, αναπαρίστανται ως FlowFile μέσα στην αρχιτεκτονική Apache NiFi.
Εδώ είναι βασικά στοιχεία της αρχιτεκτονικής NiFi
| Εξάρτημα Nifi | Descriptιόν |
|---|---|
| FlowFile | Το FlowFile είναι πρωτότυπα δεδομένα με μετα-πληροφορίες συνδεδεμένες σε αυτό. Σας επιτρέπει να επεξεργάζεστε όχι μόνο CSV ή άλλα δεδομένα που βασίζονται σε εγγραφή, αλλά και εικόνες, βίντεο, ήχο ή οποιαδήποτε άλλα δυαδικά δεδομένα. |
| Επεξεργαστής αρχείων ροής | Εκτελεί την εργασία που λειτουργεί ως δομικό στοιχείο της ροής δεδομένων στο NiFi. |
| Ελεγκτής ροής | Διατηρεί αρχείο του τρόπου σύνδεσης των διεργασιών. Διαχειρίζεται τα νήματα και τις εκχωρήσεις τους που χρησιμοποιούν όλες οι διεργασίες. |
| web Server | Ο διακομιστής Ιστού φιλοξενεί τις εντολές και το API του NiFi που βασίζονται σε HTTP. |
| Επέκταση | Υπάρχουν πολλοί τύποι επεκτάσεων NiFi που λειτουργούν και εκτελούνται μέσα στο JVM. |
| σύνδεση | Λειτουργεί ως σύνδεσμος μεταξύ των επεξεργαστών που περιέχουν μια ουρά και μια σχέση(ες) που επηρεάζει τη δρομολόγηση των δεδομένων. |
| Πίεση στην πλάτη | Σταματήστε την υπέρβαση του συστήματος ελέγχοντας την ποσότητα ή το μέγεθος δεδομένων των αρχείων ροής που μπορούν να αποθηκευτούν στην ουρά. |
| Ομάδα Διαδικασιών | Μια ομάδα διεργασιών είναι ένα σύνολο διεργασιών και των συνδέσεών τους, που λαμβάνει και αποστέλλει δεδομένα με τη βοήθεια θυρών. |
| Αποθετήριο αρχείων ροής | Στο αποθετήριο FlowFile, το NiFi παρακολουθεί την κατάσταση των λεπτομερειών που έχει για ένα δεδομένο FlowFile που είναι ενεργό στη ροή. |
| Αποθετήριο Περιεχομένου | Το Content Repository είναι μια περιοχή όπου υπάρχουν τα πραγματικά byte περιεχομένου ενός δεδομένου FlowFile. |
| Αποθετήριο Προέλευσης | Το Provenance Repository είναι μια περιοχή όπου συγκεντρώνονται όλα τα δεδομένα συμβάντων προέλευσης. |
Χαρακτηριστικά Apache NiFi
- Το NiFi υποστηρίζει την προσωρινή αποθήκευση όλων των δεδομένων στην ουρά και προσφέρει δυνατότητα αντίστροφης πίεσης καθώς αυτές οι ουρές ενδέχεται να φτάσουν σε καθορισμένα όρια
- Το NiFi επιτρέπει τη ρύθμιση ενός ή περισσότερων σχημάτων ιεράρχησης προτεραιοτήτων
- Παρέχει επεξεργαστές σύνδεσης για πολλές πηγές δεδομένων
- Υποστηρίξτε οποιαδήποτε συσκευή που εκτελείται Java
- Ιδανικό για χώρους περιορισμένης συνδεσιμότητας
- Υποστήριξη για αντιμετώπιση προβλημάτων και βελτιστοποίηση ροής
- Προσφέρει έλεγχο ταυτότητας/εξουσιοδότηση βάσει ρόλου
- Επιτρέπει τη λήψη, την ανάκτηση και την επανάληψη μεμονωμένων αρχείων
- Δημιουργήστε τους επεξεργαστές σας, τις υπηρεσίες ελεγκτών και πολλά άλλα
- Παρέχετε κρυπτογράφηση περιεχομένου, επικοινωνία μέσω ασφαλών πρωτοκόλλων
- Επιτρέπει την ταχεία ανάπτυξη και την αποτελεσματική δοκιμή
- Επιτρέπει την ανάπτυξη απλών εξαρτημάτων μίας λειτουργίας που μπορούν να επαναχρησιμοποιηθούν και να συνδυαστούν για να κάνουν πιο περίπλοκες ροές
- Επιτρέπει την απομόνωση του classloader για ευκολότερη διαχείριση των εξαρτήσεων
Πώς να εγκαταστήσετε το Apache NiFi
Παρακάτω είναι μια διαδικασία βήμα προς βήμα για την εγκατάσταση του Apache NiFi
Βήμα 1) Πηγαίνετε στο ο σύνδεσμος,
και κάντε κλικ στο «Συνέχεια εγγραφής»
Βήμα 2) Στην επόμενη σελίδα,
Κάντε κλικ στο "Αποδοχή Όρων"
Βήμα 3) Θα δείτε αυτή τη σελίδα,
Σας ευχαριστούμε για την εγγραφή σας σε αυτό το προϊόν! Επεξεργαζόμαστε το αίτημά σας.
Βήμα 4) Ανανεώστε τη σελίδα μετά από 5 λεπτά.
Κάντε κλικ στο "Συνέχεια στη διαμόρφωση"
Βήμα 5) Στην επόμενη σελίδα,
Διατηρήστε τις προεπιλεγμένες ρυθμίσεις και κάντε κλικ στο "Συνέχεια στην εκκίνηση"
Βήμα 6) Στην επόμενη σελίδα,
Κάντε κλικ στην Εκκίνηση. Ίσως χρειαστεί να δημιουργήσετε ένα κλειδί
Βήμα 7) Θα δείτε αυτό το μήνυμα επιτυχίας.
Συγχαρητήρια! Ένα παράδειγμα αυτού του λογισμικού έχει αναπτυχθεί με επιτυχία στο EC2!
Βήμα 8) Σημείωση,
Το αναγνωριστικό παρουσίας και το δημόσιο DNS της παρουσίας EC2
Βήμα 9) Στην ομάδα ασφαλείας,
Προσθήκη όλων των κανόνων κυκλοφορίας σε εισερχόμενες και εξερχόμενες
Βήμα 10) Για πρόσβαση στο Nifi,
απλά χρησιμοποιήστε τη διεύθυνση URL
http://publicdns:8080/nifi
Στην περίπτωσή μας γίνεται
http://ec2-100-26-156-57.compute-1.amazonaws.com:8080/nifi/
Χρήστες: διαχειριστής
Κωδικός Πρόσβασης: Instance Id
Βήμα 11) Θα δεις,
Αρχική οθόνη NiFi
Θήκες χρήσης Nifi
Παρακάτω είναι μια λίστα με περιπτώσεις χρήσης Apache NiFi:
| Βιομηχανία | Χρήση |
|---|---|
| Ασφάλιση |
|
| Φροντίδα υγείας |
|
| Τηλεπικοινωνία |
|
| Βιομηχανίες |
|
| Πετρελαίου & Αερίου- Βιομηχανία |
|
| Χρηματοοικονομικές Υπηρεσίες |
|
καλυτερα πρακτικες Running Apache NiFi
- Ιδανικό για να διαχωρίσετε περιβάλλοντα δοκιμής/dev/παραγωγής στο NiFi
- Θα πρέπει να χωρίσετε τη ροή σας σε ομάδες διαδικασιών
- Χρησιμοποιήστε μια σύμβαση ονομασίας, χρησιμοποιήστε σχόλια και ετικέτες
- Οργανώστε τα έργα σας σε τρία μέρη απορρόφησης, δοκιμής και παρακολούθησης
- Χρησιμοποιήστε μοναδικά ονόματα για τις μεταβλητές
Μειονέκτημα του Nifi
- Απαιτούνται ακριβείς έλεγχοι ασφάλειας και συμμόρφωσης
- Πρέπει να γνωρίζετε πολύ καλά το υποκείμενο σύστημα ενώ εργάζεστε με το Apache NiFi
- Πρέπει να διατηρεί την αλυσίδα φύλαξης δεδομένων
- Μεταφορά / Μηνύματα ενδέχεται να μην είναι αρκετά
- Οι ανάγκες πρόσβασης σε δεδομένα υπερβαίνουν τους διαθέσιμους πόρους για μεταφορά
- Δεν δημιουργούνται όλα τα δεδομένα εξίσου
- Η εξουσιοδότηση SSL και θεματικού επιπέδου ενδέχεται να μην είναι επαρκής
Σύνοψη
- Το Apache NiFi είναι ένα λογισμικό ανοιχτού κώδικα για την αυτοματοποίηση και τη διαχείριση της ροής δεδομένων μεταξύ συστημάτων
- Το NiFi έχει σχεδιαστεί για να κλιμακώνεται σε συμπλέγματα που προσφέρουν εγγυημένη παράδοση δεδομένων
- Το Nifi αναπτύχθηκε στην NSA για πάνω από οκτώ χρόνια
- Μόλις ληφθούν δεδομένα από εξωτερικές πηγές, αναπαρίστανται ως FlowFile μέσα στην αρχιτεκτονική Apache NiFi.
- Το FlowFile, ο επεξεργαστής, ο ελεγκτής, ο διακομιστής ιστού, η σύνδεση, η πίσω πίεση, το αποθετήριο είναι σημαντικά στοιχεία της αρχιτεκτονικής NiFi
- Η γλώσσα έκφρασης NiFi υποστηρίζει οποιαδήποτε συσκευή εκτελείται Java
- Μπορείτε εύκολα να εγκαταστήσετε το NiFi στο AWS
- Το NiFi χρησιμοποιείται σε διάφορους κλάδους όπως η υγειονομική περίθαλψη, οι ασφάλειες, οι τηλεπικοινωνίες, η μεταποίηση, η χρηματοδότηση, το πετρέλαιο και το φυσικό αέριο μεταξύ άλλων
- Ως βέλτιστη πρακτική, οργανώστε τα έργα σας σε τρία μέρη απορρόφησης, δοκιμής και παρακολούθησης