Εκμάθηση Apache NiFi: Τι είναι το NiFi; Archiκατασκευή & εγκατάσταση

Σύνοψη φροντιστηρίου Apache NiFi

Αυτό το σεμινάριο apache NiFi καλύπτει όλα τα βασικά έως προχωρημένα θέματα από την αρχή. Θα μάθετε το concepts όπως ορισμός NiFi, ιστορία, archiδομή, χαρακτηριστικά, διαδικασία εγκατάστασης, περιπτώσεις χρήσης. Θα μάθετε επίσης γιατί πρέπει να χρησιμοποιείτε το apache NiFi και τις βέλτιστες πρακτικές εκτέλεσης του apache NiFi.

Τι είναι το Apache NiFi;

Apache NiFi είναι ένα λογισμικό ανοιχτού κώδικα για την αυτοματοποίηση και τη διαχείριση της ροής δεδομένων μεταξύ συστημάτων. Είναι ένα ισχυρό και αξιόπιστο σύστημα επεξεργασίας και διανομής δεδομένων. Παρέχει διαδικτυακή διεπαφή χρήστη για τη δημιουργία, την παρακολούθηση και τον έλεγχο των ροών δεδομένων. Διαθέτει μια εξαιρετικά διαμορφώσιμη και τροποποιήσιμη διαδικασία ροής δεδομένων για την τροποποίηση δεδομένων κατά το χρόνο εκτέλεσης.

Το Apache NiFi είναι εύκολα επεκτάσιμο μέσω της ανάπτυξης προσαρμοσμένων στοιχείων.

Γιατί να χρησιμοποιήσετε το Apache NIfi;

Ακολουθούν οι λόγοι για τη χρήση του Apache Nifi:

  • Σας επιτρέπει να κάνετε απορρόφηση δεδομένων για να τραβήξετε δεδομένα στο NiFi, από πολλές πηγές δεδομένων και να δημιουργήσετε αρχεία ροής
  • Προσφέρει έλεγχο σε πραγματικό χρόνο που σας βοηθά να διαχειριστείτε τη μετακίνηση δεδομένων μεταξύ οποιασδήποτε πηγής και προορισμού
  • Οπτικοποιήστε το DataFlow σε εταιρικό επίπεδο
  • Παρέχετε κοινά εργαλεία και επεκτάσεις
  • Σας επιτρέπει να επωφεληθείτε από τις υπάρχουσες βιβλιοθήκες και την Java ecosλειτουργικότητα συστήματος
  • Βοηθά τους οργανισμούς να ενσωματώσουν το Nifi με την υπάρχουσα υποδομή τους
  • Το NiFi έχει σχεδιαστεί για να κλιμακώνεται clusterπου προσφέρουν εγγυημένη παράδοση δεδομένων
  • Οπτικοποίηση και παρακολούθηση της απόδοσης, της συμπεριφοράς σε ένα δελτίο ροής που προσφέρει πληροφορίες και ενσωματωμένη τεκμηρίωση
  • Σας βοηθά να ξεκινήσετε και να σταματήσετε τα στοιχεία ξεχωριστά ή σε επίπεδο ομάδας
  • Σας βοηθά να ακούτε, να ανακτάτε, να χωρίζετε, να συγκεντρώνετε, να δρομολογείτε, να μετασχηματίζετε και να μεταφέρετε και αποθέσετε ροή δεδομένων

Η ιστορία του Apache NiFi

  • Αναπτύχθηκε στην NSA για περισσότερα από οκτώ χρόνια
  • 2014- Δωρήθηκε στο λογισμικό Apache Foundation
  • 2015- Το NiFi έγινε επίσημο μέρος του Apache Project Suite
  • Από τότε κάθε 6-8 εβδομάδες, το Apache NiFi κυκλοφορεί μια νέα ενημέρωση

NiFi Archiδομή

Το Apache NiFi έχει ένα καλά μελετημένο archiδομή. Μόλις ληφθούν δεδομένα από εξωτερικές πηγές, αναπαρίστανται ως FlowFile μέσα στο Apache NiFi archiδομή.

NiFi Archiδομή
NiFi Archiδομή

Εδώ είναι τα βασικά στοιχεία του NiFi archiδομή

Εξάρτημα Nifi Περιγραφή
FlowFile Το FlowFile είναι πρωτότυπα δεδομένα με μετα-πληροφορίες συνδεδεμένες σε αυτό. Σας επιτρέπει να επεξεργάζεστε όχι μόνο CSV ή άλλα δεδομένα που βασίζονται σε εγγραφή, αλλά και εικόνες, βίντεο, ήχο ή οποιαδήποτε άλλα δυαδικά δεδομένα.
Επεξεργαστής αρχείων ροής Εκτελεί την εργασία που λειτουργεί ως δομικό στοιχείο της ροής δεδομένων στο NiFi.
Ελεγκτής ροής Διατηρεί αρχείο του τρόπου σύνδεσης των διεργασιών. Διαχειρίζεται τα νήματα και τις εκχωρήσεις τους που χρησιμοποιούν όλες οι διεργασίες.
web Server Ο διακομιστής Ιστού φιλοξενεί τις εντολές και το API του NiFi που βασίζονται σε HTTP.
Επέκταση Υπάρχουν πολλοί τύποι επεκτάσεων NiFi που operaκαι να εκτελέσετε μέσα στο JVM.
σύνδεση Λειτουργεί ως σύνδεσμος μεταξύ των επεξεργαστών που περιέχουν μια ουρά και μια σχέση(ες) που επηρεάζει τη δρομολόγηση των δεδομένων.
Πίεση στην πλάτη Σταματήστε την υπέρβαση του συστήματος ελέγχοντας την ποσότητα ή το μέγεθος δεδομένων των αρχείων ροής που μπορούν να αποθηκευτούν στην ουρά.
Ομάδα Διαδικασιών Μια ομάδα διεργασιών είναι ένα σύνολο διεργασιών και των συνδέσεών τους, που λαμβάνει και αποστέλλει δεδομένα με τη βοήθεια θυρών.
Αποθετήριο αρχείων ροής Στο αποθετήριο FlowFile, το NiFi παρακολουθεί την κατάσταση του τι details έχει περίπου ένα δεδομένο FlowFile το οποίο είναι ενεργό στη ροή.
Αποθετήριο Περιεχομένου Το Content Repository είναι μια περιοχή όπου υπάρχουν τα πραγματικά byte περιεχομένου ενός δεδομένου FlowFile.
Αποθετήριο Προέλευσης Το Provenance Repository είναι μια περιοχή όπου συγκεντρώνονται όλα τα δεδομένα συμβάντων προέλευσης.

Χαρακτηριστικά Apache NiFi

  • Υποστηρίζει NiFi bufferκαταγραφή όλων των δεδομένων στην ουρά και προσφέρει δυνατότητα αντίστροφης πίεσης καθώς αυτές οι ουρές μπορεί να φτάσουν σε καθορισμένα όρια
  • Το NiFi επιτρέπει τη ρύθμιση ενός ή περισσότερων σχημάτων ιεράρχησης προτεραιοτήτων
  • Παρέχει επεξεργαστές σύνδεσης για πολλές πηγές δεδομένων
  • Υποστηρίξτε οποιαδήποτε συσκευή που εκτελεί Java
  • Ιδανικό για χώρους περιορισμένης συνδεσιμότητας
  • Υποστήριξη για αντιμετώπιση προβλημάτων και βελτιστοποίηση ροής
  • Προσφέρει έλεγχο ταυτότητας/εξουσιοδότηση βάσει ρόλου
  • Επιτρέπει τη λήψη, την ανάκτηση και την επανάληψη μεμονωμένων αρχείων
  • Δημιουργήστε τους επεξεργαστές σας, τις υπηρεσίες ελεγκτών και πολλά άλλα
  • Παρέχετε κρυπτογράφηση περιεχομένου, επικοινωνία μέσω ασφαλών πρωτοκόλλων
  • Επιτρέπει την ταχεία ανάπτυξη και την αποτελεσματική δοκιμή
  • Επιτρέπει την ανάπτυξη απλών εξαρτημάτων μίας λειτουργίας που μπορούν να επαναχρησιμοποιηθούν και να συνδυαστούν για να κάνουν περισσότερα complex ροές
  • Επιτρέπει την απομόνωση του classloader για ευκολότερη διαχείριση των εξαρτήσεων

Πώς να εγκαταστήσετε το Apache NiFi

Παρακάτω είναι μια διαδικασία βήμα προς βήμα για την εγκατάσταση του Apache NiFi

Βήμα 1) Πηγαίνετε στο ο σύνδεσμος,

και κάντε κλικ στο «Συνέχεια εγγραφής»

Εγκαταστήστε το Apache NiFi

Βήμα 2) Στην επόμενη σελίδα,

Κάντε κλικ στο "Αποδοχή Όρων"

Εγκαταστήστε το Apache NiFi

Βήμα 3) Θα δείτε αυτή τη σελίδα,

Σας ευχαριστούμε για την εγγραφή σας σε αυτό το προϊόν! Επεξεργαζόμαστε το αίτημά σας.

Εγκαταστήστε το Apache NiFi

Βήμα 4) Ανανεώστε τη σελίδα μετά από 5 λεπτά.

Κάντε κλικ στο "Συνέχεια στη διαμόρφωση"

Εγκαταστήστε το Apache NiFi

Βήμα 5) Στην επόμενη σελίδα,

Διατηρήστε τις προεπιλεγμένες ρυθμίσεις και κάντε κλικ στο "Συνέχεια στην εκκίνηση"

Εγκαταστήστε το Apache NiFi

Βήμα 6) Στην επόμενη σελίδα,

Κάντε κλικ στην Εκκίνηση. Ίσως χρειαστεί να δημιουργήσετε ένα κλειδί

Εγκαταστήστε το Apache NiFi

Βήμα 7) Θα δείτε αυτό το μήνυμα επιτυχίας.

Συγχαρητήρια! Ένα στιγμιότυπο αυτού του λογισμικού αναπτύχθηκε με επιτυχίαyed στο EC2!

Εγκαταστήστε το Apache NiFi

Βήμα 8) Σημείωση,

Το αναγνωριστικό παρουσίας και το δημόσιο DNS της παρουσίας EC2

Εγκαταστήστε το Apache NiFi

Βήμα 9) Στην ομάδα ασφαλείας,

Προσθήκη όλων των κανόνων κυκλοφορίας σε εισερχόμενες και εξερχόμενες

Εγκαταστήστε το Apache NiFi

Βήμα 10) Για πρόσβαση στο Nifi,

απλά χρησιμοποιήστε τη διεύθυνση URL

http://publicdns:808/nifi

Στην περίπτωσή μας γίνεται

http://ec2-100-26-156-57.compute-1.amazonaws.com:8080/nifi/

Χρήστες: διαχειριστής

Κωδικός Πρόσβασης: Instance Id

Εγκαταστήστε το Apache NiFi

Βήμα 11) Θα δεις,

Αρχική οθόνη NiFi

Εγκαταστήστε το Apache NiFi

Θήκες χρήσης Nifi

Παρακάτω είναι μια λίστα με περιπτώσεις χρήσης Apache NiFi:

Βιομηχανία Χρήση
Ασφάλιση
  • Ανάλυση κινδύνου & αναδοχής
  • Claims Analytics
  • Ασφάλιση με βάση τη χρήση
  • ΑΝΑΠΤΥΞΗ ΝΕΟΥ ΠΡΟΪΟΝΤΟΣ
Φροντίδα υγείας
  • Μονή άποψη του ασθενούς
  • Παρακολούθηση ζωτικών σημείων σε πραγματικό χρόνο
  • Βελτιστοποίηση EMR
  • Βελτιστοποίηση εφοδιαστικής αλυσίδας
Τηλεπικοινωνία
  • Ενιαία όψη του πελάτη
  • Ανάλυση CDR
  • Δυναμική κατανομή εύρους ζώνης
Βιομηχανίες
  • Προληπτική συντήρηση
  • Βελτιστοποίηση εφοδιαστικής αλυσίδας
  • Ποιότητα
Πετρελαίου & Αερίου- Βιομηχανία
  • Παρακολούθηση σε πραγματικό χρόνο
  • Μονή όψη του Operaσμού
  • Προγνωστική συντήρηση
  • Archive & Analytics
  • Ταξινόμηση μη δομημένων δεδομένων
Χρηματοοικονομικές Υπηρεσίες
  • Αντιμετώπιση νομιμοποίησης εσόδων από παράνομες δραστηριότητες
  • Απάτη- Ανίχνευση
  • Κίνδυνος - διαχείριση δεδομένων

Βέλτιστες πρακτικές Εκτέλεση Apache NiFi

  • Ιδανικό για να διαχωρίσετε περιβάλλοντα δοκιμής/dev/παραγωγής στο NiFi
  • Θα πρέπει να χωρίσετε τη ροή σας σε ομάδες διαδικασιών
  • Χρησιμοποιήστε μια σύμβαση ονομασίας, χρησιμοποιήστε σχόλια και ετικέτες
  • Οργανώστε τα έργα σας σε τρία μέρη απορρόφησης, δοκιμής και παρακολούθησης
  • Χρησιμοποιήστε μοναδικά ονόματα για τις μεταβλητές

Μειονέκτημα του Nifi

  • Απαιτούνται ακριβείς έλεγχοι ασφάλειας και συμμόρφωσης
  • Πρέπει να γνωρίζετε πολύ καλά το υποκείμενο σύστημα ενώ εργάζεστε με το Apache NiFi
  • Πρέπει να διατηρεί την αλυσίδα φύλαξης δεδομένων
  • Μεταφορά / Μηνύματα ενδέχεται να μην είναι αρκετά
  • Οι ανάγκες πρόσβασης σε δεδομένα υπερβαίνουν τους διαθέσιμους πόρους για μεταφορά
  • Δεν δημιουργούνται όλα τα δεδομένα εξίσου
  • Η εξουσιοδότηση SSL και θεματικού επιπέδου ενδέχεται να μην είναι επαρκής

Χαρακτηριστικά

  • Το Apache NiFi είναι ένα λογισμικό ανοιχτού κώδικα για την αυτοματοποίηση και τη διαχείριση της ροής δεδομένων μεταξύ συστημάτων
  • Το NiFi έχει σχεδιαστεί για να κλιμακώνεται clusterπου προσφέρουν εγγυημένη παράδοση δεδομένων
  • Το Nifi αναπτύχθηκε στην NSA για πάνω από οκτώ χρόνια
  • Μόλις ληφθούν δεδομένα από εξωτερικές πηγές, αναπαρίστανται ως FlowFile μέσα στο Apache NiFi archiδομή.
  • Το FlowFile, ο επεξεργαστής, ο ελεγκτής, ο διακομιστής ιστού, η σύνδεση, η πίσω πίεση, το αποθετήριο είναι σημαντικά στοιχεία του NiFi archiδομή
  • Η γλώσσα έκφρασης NiFi υποστηρίζει οποιαδήποτε συσκευή που εκτελεί Java
  • Μπορείτε εύκολα να εγκαταστήσετε το NiFi στο AWS
  • Το NiFi χρησιμοποιείται σε διάφορους κλάδους όπως η υγειονομική περίθαλψη, οι ασφάλειες, οι τηλεπικοινωνίες, η μεταποίηση, η χρηματοδότηση, το πετρέλαιο και το φυσικό αέριο μεταξύ άλλων
  • Ως βέλτιστη πρακτική, οργανώστε τα έργα σας σε τρία μέρη απορρόφησης, δοκιμής και παρακολούθησης