ELK Stack Tutorial: Τι είναι το Kibana, Logstash & Elasticsearch;

• E σημαίνει ElasticSearch: χρησιμοποιείται για την αποθήκευση αρχείων καταγραφής
• L σημαίνει LogStash: χρησιμοποιείται τόσο για αποστολή όσο και για επεξεργασία και αποθήκευση αρχείων καταγραφής
• K σημαίνει Kibana: είναι α εργαλείο οπτικοποίησης (μια διεπαφή ιστού) που φιλοξενείται μέσω Nginx ή Apache

Το ElasticSearch, το LogStash και το Kibana αναπτύσσονται, διαχειρίζονται και συντηρούνται από την εταιρεία με το όνομα Elastic.

Το ELK Stack έχει σχεδιαστεί για να επιτρέπει στους χρήστες να λαμβάνουν δεδομένα από οποιαδήποτε πηγή, σε οποιαδήποτε μορφή και να αναζητούν, να αναλύουν και να οπτικοποιούν αυτά τα δεδομένα σε πραγματικό χρόνο.

Στοίβα ELK Archiδομή

Τώρα σε αυτό το σεμινάριο στοίβας ELK, θα μάθουμε για την αρχιτεκτονική ELK:

Εδώ είναι η απλή αρχιτεκτονική της στοίβας ELK

• Αρχεία καταγραφής: Εντοπίζονται αρχεία καταγραφής διακομιστή που πρέπει να αναλυθούν
• Logstash: Συλλέξτε αρχεία καταγραφής και δεδομένα συμβάντων. Ακόμη και αναλύει και μετασχηματίζει δεδομένα
• ElasticSearch: Τα μετασχηματισμένα δεδομένα από Logstash is Αποθήκευση, Αναζήτηση και ευρετηρίαση.
• Κιμπάνα: Το Kibana χρησιμοποιεί το Elasticsearch DB για εξερεύνηση, οπτικοποίηση και κοινή χρήση

Ωστόσο, χρειάζεται ένα ακόμη στοιχείο ή συλλογή δεδομένων που ονομάζεται Beats. Αυτό οδήγησε την Elastic να μετονομάσει την ELK σε Elastic Stack.

Ενώ ασχολείστε με πολύ μεγάλους όγκους δεδομένων, μπορεί να χρειαστείτε Kafka, RabbitMQ για buffering και ανθεκτικότητα. Για ασφάλεια, μπορεί να χρησιμοποιηθεί το nginx.

Τώρα σε αυτό το σεμινάριο Elastic stack, Ας ρίξουμε μια ματιά σε όλα αυτά τα προϊόντα ανοιχτού κώδικα:

Τι είναι το Elasticsearch;

Το Elasticsearch είναι α Βάση δεδομένων NoSQL. Βασίζεται στη μηχανή αναζήτησης Lucene και είναι κατασκευασμένο με RESTful APIS. Προσφέρει απλή ανάπτυξη, μέγιστη αξιοπιστία και εύκολη διαχείριση. Προσφέρει επίσης προηγμένα ερωτήματα για την εκτέλεση λεπτομερούς ανάλυσης και αποθηκεύει όλα τα δεδομένα κεντρικά. Είναι χρήσιμο για την εκτέλεση μιας γρήγορης αναζήτησης των εγγράφων.

Το Elasticsearch σάς επιτρέπει επίσης να αποθηκεύετε, να αναζητάτε και να αναλύετε μεγάλο όγκο δεδομένων. Χρησιμοποιείται κυρίως ως η υποκείμενη μηχανή για την τροφοδοσία εφαρμογών που ολοκλήρωσαν τις απαιτήσεις αναζήτησης. Έχει υιοθετηθεί σε πλατφόρμες μηχανών αναζήτησης για σύγχρονες εφαρμογές web και φορητές συσκευές. Εκτός από μια γρήγορη αναζήτηση, το εργαλείο προσφέρει επίσης πολύπλοκα αναλυτικά στοιχεία και πολλές προηγμένες λειτουργίες.

Χαρακτηριστικά της Elastic αναζήτησης

• Ο διακομιστής αναζήτησης ανοιχτού κώδικα γράφεται χρησιμοποιώντας Java
• Χρησιμοποιείται για την ευρετηρίαση κάθε είδους ετερογενών δεδομένων
• Διαθέτει διεπαφή ιστού REST API με έξοδο JSON
• Αναζήτηση πλήρους κειμένου
• Αναζήτηση κοντά σε πραγματικό χρόνο (NRT).
• Θρυμματισμένο, αναπαραγόμενο με δυνατότητα αναζήτησης, αποθήκευση εγγράφων JSON
• Αποθήκευση κατανεμημένων εγγράφων χωρίς σχήμα, REST & JSON
• Υποστήριξη πολλαπλών γλωσσών και γεωγραφικής τοποθεσίας

Πλεονεκτήματα του Elasticsearch

• Αποθηκεύστε δεδομένα χωρίς σχήμα και δημιουργεί επίσης ένα σχήμα για τα δεδομένα σας
• Χειριστείτε την εγγραφή δεδομένων σας ανά εγγραφή με τη βοήθεια API πολλαπλών εγγράφων
• Εκτελέστε φιλτράρισμα και αναζήτηση των δεδομένων σας για πληροφορίες
• Βασίζεται στο Apache Lucene και παρέχει RESTful API
• Παρέχει οριζόντια επεκτασιμότητα, αξιοπιστία και δυνατότητα πολλαπλών μισθώσεων για χρήση σε πραγματικό χρόνο της ευρετηρίασης για ταχύτερη αναζήτησή της
• Σας βοηθά να κλιμακώσετε κατακόρυφα και οριζόντια

Σημαντικοί όροι που χρησιμοποιούνται στην Elastic Search

Τώρα σε αυτό το σεμινάριο ELK, ας μάθουμε για τους βασικούς όρους που χρησιμοποιούνται στο ElasticSearch:

Όρος	Χρήση
Cluster	Ένα σύμπλεγμα είναι μια συλλογή κόμβων που μαζί συγκρατούν δεδομένα και παρέχουν συνδυασμένες δυνατότητες ευρετηρίασης και αναζήτησης.
Κόμβος	Ένας κόμβος είναι ένα παράδειγμα elasticsearch. Δημιουργείται όταν ξεκινά ένα παράδειγμα elasticsearch.
Περιεχόμενα	Ένα ευρετήριο είναι μια συλλογή εγγράφων που έχει παρόμοια χαρακτηριστικά. π.χ. δεδομένα πελατών, κατάλογος προϊόντων. Είναι πολύ χρήσιμο κατά την εκτέλεση λειτουργιών δημιουργίας ευρετηρίου, αναζήτησης, ενημέρωσης και διαγραφής. Σας επιτρέπει να ορίσετε τόσα ευρετήρια σε ένα μόνο σύμπλεγμα.
Έγγραφο	Είναι η βασική μονάδα πληροφοριών που μπορεί να ευρετηριαστεί. Εκφράζεται σε ζεύγος JSON (κλειδί: τιμή). '{"user": "nullcon"}". Κάθε έγγραφο σχετίζεται με έναν τύπο και ένα μοναδικό αναγνωριστικό.
Θραύσμα αγγείου	Κάθε ευρετήριο μπορεί να χωριστεί σε πολλά θραύσματα για να μπορεί να διανείμει δεδομένα. Το θραύσμα είναι το ατομικό μέρος ενός ευρετηρίου, το οποίο μπορεί να διανεμηθεί στο σύμπλεγμα εάν θέλετε να προσθέσετε περισσότερους κόμβους.

Τι είναι Logstash?

Logstash είναι το εργαλείο συλλογής δεδομένων. Συλλέγει δεδομένα εισόδου και τροφοδοτεί το Elasticsearch. Συγκεντρώνει όλους τους τύπους δεδομένων από τη διαφορετική πηγή και τα καθιστά διαθέσιμα για περαιτέρω χρήση.

Logstash μπορεί να ενοποιήσει δεδομένα από διαφορετικές πηγές και να ομαλοποιήσει τα δεδομένα στους επιθυμητούς προορισμούς σας. Σας επιτρέπει να καθαρίσετε και να εκδημοκρατίσετε όλα τα δεδομένα σας για αναλύσεις και οπτικοποίηση περιπτώσεων χρήσης.

Αποτελείται από τρία συστατικά:

• Εισαγωγή: μεταβίβαση αρχείων καταγραφής για την επεξεργασία τους σε μορφή κατανοητή από μηχανής
• Φίλτρα: Είναι ένα σύνολο συνθηκών για την εκτέλεση μιας συγκεκριμένης ενέργειας ή συμβάντος
• Παραγωγή: Λήψη αποφάσεων για επεξεργασμένο συμβάν ή αρχείο καταγραφής

Χαρακτηριστικά Logstash

Τώρα σε αυτό το σεμινάριο LogStash, ας μάθουμε για τις δυνατότητες του LogStash:

• Τα συμβάντα περνούν σε κάθε φάση χρησιμοποιώντας εσωτερικές ουρές
• Επιτρέπει διαφορετικές εισόδους για τα αρχεία καταγραφής σας
• Φιλτράρισμα/ανάλυση για τα αρχεία καταγραφής σας

Επωφελούμαι Logstash

• Οι προσφορές συγκεντρώνουν την επεξεργασία δεδομένων
• Αναλύει μια μεγάλη ποικιλία δομημένων/μη δομημένων δεδομένων και συμβάντων
• Το ELK LogStash προσφέρει πρόσθετα για σύνδεση με διάφορους τύπους πηγών εισόδου και πλατφορμών

Τι είναι το Kibana;

Το Kibana είναι μια οπτικοποίηση δεδομένων που ολοκληρώνει τη στοίβα ELK. Αυτό το εργαλείο χρησιμοποιείται για την οπτικοποίηση των εγγράφων Elasticsearch και βοηθά τους προγραμματιστές να έχουν μια γρήγορη εικόνα για αυτό. Ο πίνακας εργαλείων Kibana προσφέρει διάφορα διαδραστικά διαγράμματα, γεωχωρικά δεδομένα και γραφήματα για την οπτικοποίηση σύνθετων ερωτημάτων.

Μπορεί να χρησιμοποιηθεί για αναζήτηση, προβολή και αλληλεπίδραση με δεδομένα που είναι αποθηκευμένα σε καταλόγους Elasticsearch. Το Kibana σας βοηθά να αποδώσετε προχωρημένους ανάλυση δεδομένων και οπτικοποιήστε τα δεδομένα σας σε διάφορους πίνακες, γραφήματα και χάρτες.

Στο Kibana υπάρχουν διαφορετικές μέθοδοι για την εκτέλεση αναζητήσεων στα δεδομένα σας.

Ακολουθούν οι πιο συνηθισμένοι τύποι αναζήτησης:

Τύπος αναζήτησης	Χρήση
Δωρεάν αναζητήσεις κειμένου	Χρησιμοποιείται για την αναζήτηση μιας συγκεκριμένης συμβολοσειράς
Αναζητήσεις σε επίπεδο πεδίου	Χρησιμοποιείται για την αναζήτηση μιας συμβολοσειράς σε ένα συγκεκριμένο πεδίο
Λογικές δηλώσεις	Χρησιμοποιείται για να συνδυάσει αναζητήσεις σε μια λογική δήλωση.
Αναζητήσεις εγγύτητας	Χρησιμοποιείται για την αναζήτηση όρων εντός συγκεκριμένης εγγύτητας χαρακτήρων.

Τώρα σε αυτό το σεμινάριο Kibana, ας μάθουμε για σημαντικά χαρακτηριστικά του Kibana:

Χαρακτηριστικά του Kinbana:

• Ισχυρό μπροστινό ταμπλό που είναι ικανό να απεικονίζει ευρετηριασμένες πληροφορίες από το ελαστικό σύμπλεγμα
• Επιτρέπει την αναζήτηση σε πραγματικό χρόνο των ευρετηριασμένων πληροφοριών
• Μπορείτε να κάνετε αναζήτηση, προβολή και αλληλεπίδραση με δεδομένα που είναι αποθηκευμένα στο Elasticsearch
• Εκτελέστε ερωτήματα σε δεδομένα και οπτικοποιήστε τα αποτελέσματα σε γραφήματα, πίνακες και χάρτες
• Ρυθμιζόμενος πίνακας ταμπλό για τεμαχισμό και τεμαχισμό αρχείων καταγραφής logstash στο elasticsearch
• Δυνατότητα παροχής ιστορικών δεδομένων με τη μορφή γραφημάτων, διαγραμμάτων κ.λπ.
• Πίνακες εργαλείων σε πραγματικό χρόνο που είναι εύκολα διαμορφώσιμοι
• Το Kibana ElasticSearch επιτρέπει την αναζήτηση πληροφοριών σε ευρετήριο σε πραγματικό χρόνο

Πλεονεκτήματα και μειονεκτήματα του Kinbana

• Εύκολη οπτικοποίηση
• Πλήρως ενσωματωμένο με το Elasticsearch
• Εργαλείο οπτικοποίησης
• Προσφέρει δυνατότητες ανάλυσης, χαρτογράφησης, περίληψης και εντοπισμού σφαλμάτων σε πραγματικό χρόνο
• Παρέχει ενστικτώδη και φιλική προς το χρήστη διεπαφή
• Επιτρέπει την κοινή χρήση στιγμιότυπων των αρχείων καταγραφής που αναζητήθηκαν
• Επιτρέπει την αποθήκευση του πίνακα εργαλείων και τη διαχείριση πολλών πινάκων εργαλείων

Γιατί η ανάλυση καταγραφής;

Σε υποδομές περιβάλλοντος που βασίζονται σε σύννεφο, η απόδοση και η απομόνωση είναι πολύ σημαντικές. Η απόδοση των εικονικών μηχανών στο cloud ενδέχεται να ποικίλλει ανάλογα με τα συγκεκριμένα φορτία, τα περιβάλλοντα και τον αριθμό των ενεργών χρηστών στο σύστημα. Ως εκ τούτου, η αξιοπιστία και η αποτυχία κόμβου μπορεί να γίνουν ένα σημαντικό ζήτημα.

Πλατφόρμα διαχείρισης αρχείων καταγραφής μπορεί να παρακολουθεί όλα τα παραπάνω ζητήματα καθώς και να επεξεργάζεται αρχεία καταγραφής λειτουργικού συστήματος, NGINX, αρχείο καταγραφής διακομιστή IIS για ανάλυση κυκλοφορίας ιστού, αρχεία καταγραφής εφαρμογών και αρχεία καταγραφής στο AWS (Amazon διαδικτυακές υπηρεσίες).

Η διαχείριση αρχείων καταγραφής βοηθά τους μηχανικούς DevOps, τον διαχειριστή συστήματος να λαμβάνουν καλύτερες επιχειρηματικές αποφάσεις. Ως εκ τούτου, η ανάλυση αρχείων καταγραφής μέσω Elastic Stack ή παρόμοιων εργαλείων είναι σημαντική.

ELK εναντίον Splunk

Μεγάλη έλαφος	Splunk
Το Elk είναι εργαλείο ανοιχτού κώδικα	Το Splunk είναι ένα εμπορικό εργαλείο.
Η στοίβα Elk δεν προσφέρει Solaris Φορητότητα λόγω Kibana.	Προσφορές Splunk Solaris Φορητότητα.
Η ταχύτητα επεξεργασίας είναι αυστηρά περιορισμένη.	Προσφέρει ακριβείς και γρήγορες διαδικασίες.
Το ELK είναι μια στοίβα τεχνολογίας που δημιουργήθηκε με το συνδυασμό Elastic Search-Logstash- Κιμπάνα.	Το Splunk είναι ένα ιδιόκτητο εργαλείο. Παρέχει λύσεις on-premise και cloud.
Στην Αναζήτηση ELK, η Ανάλυση & Οπτικοποίηση θα είναι δυνατή μόνο αφού ρυθμιστεί η στοίβα ELK.	Το Splunk είναι ένα πλήρες πακέτο διαχείρισης δεδομένων στη διάθεσή σας.
Το εργαλείο ELK δεν υποστηρίζει ενοποίηση με άλλα εργαλεία.	Το Splunk είναι ένα χρήσιμο εργαλείο για τη ρύθμιση ενσωματώσεων με άλλα εργαλεία.

Μελέτες Περιπτώσεων

NetFlix

Netflix βασίζεται σε μεγάλο βαθμό στη στοίβα ELK. Η εταιρεία χρησιμοποιεί στοίβα ELK για να παρακολουθεί και να αναλύει το αρχείο καταγραφής ασφαλείας της λειτουργίας εξυπηρέτησης πελατών. Τους επιτρέπει να ευρετηριάζουν, να αποθηκεύουν και να αναζητούν έγγραφα από περισσότερα από δεκαπέντε συμπλέγματα που περιλαμβάνουν σχεδόν 800 κόμβους.

LinkedIn

Ο διάσημος ιστότοπος μάρκετινγκ μέσων κοινωνικής δικτύωσης LinkedIn χρησιμοποιεί στοίβα ELK για την παρακολούθηση της απόδοσης και της ασφάλειας. Η ομάδα πληροφορικής ενσωμάτωσε το ELK με τον Kafka για να υποστηρίξει το φορτίο τους σε πραγματικό χρόνο. Η λειτουργία τους ELK περιλαμβάνει περισσότερα από 100 clusters σε έξι διαφορετικά κέντρα δεδομένων.

Tripwire

Το Tripwire είναι ένα παγκόσμιο σύστημα διαχείρισης συμβάντων πληροφοριών ασφαλείας. Η εταιρεία χρησιμοποιεί το ELK για την υποστήριξη της ανάλυσης καταγραφής πακέτων πληροφοριών.

Μέτριας Δυσκολίας

Το Medium είναι μια διάσημη πλατφόρμα δημοσίευσης ιστολογίων. Χρησιμοποιούν τη στοίβα ELK για να διορθώσουν τα προβλήματα παραγωγής τους. Η εταιρεία χρησιμοποιεί επίσης ELK για την ανίχνευση DynamoDB hotpots. Επιπλέον, χρησιμοποιώντας αυτή τη στοίβα, η εταιρεία μπορεί να υποστηρίξει 25 εκατομμύρια μοναδικούς αναγνώστες καθώς και χιλιάδες δημοσιευμένες αναρτήσεις κάθε εβδομάδα.

Πλεονεκτήματα και μειονεκτήματα της στοίβας ELK

Πλεονεκτήματα

• Το ELK λειτουργεί καλύτερα όταν τα αρχεία καταγραφής από διάφορες εφαρμογές μιας επιχείρησης συγκλίνουν σε μία μόνο παρουσία ELK

• Παρέχει εκπληκτικές πληροφορίες για αυτό το μεμονωμένο παράδειγμα και εξαλείφει επίσης την ανάγκη σύνδεσης σε εκατοντάδες διαφορετικές πηγές δεδομένων καταγραφής
• Γρήγορη εγκατάσταση επί τόπου
• Εύκολη ανάπτυξη Κλίμακες κάθετα και οριζόντια
• Η Elastic προσφέρει μια σειρά από πελάτες γλωσσών, μεταξύ των οποίων και η Ruby. Python. PHP, Perl, .NET, Java, να JavaΣενάριο, και πολλά άλλα
• Διαθεσιμότητα βιβλιοθηκών για διαφορετικές γλώσσες προγραμματισμού και scripting

Μειονεκτήματα

• Διαφορετικά εξαρτήματα στη στοίβα μπορεί να γίνει δύσκολο να χειριστείτε όταν προχωράτε σε πολύπλοκες ρυθμίσεις
• Δεν υπάρχει τίποτα σαν δοκιμή και λάθος. Έτσι, όσο περισσότερα κάνετε, τόσο περισσότερα μαθαίνετε στην πορεία

Σύνοψη

• Η κεντρική καταγραφή μπορεί να είναι χρήσιμη όταν προσπαθείτε να εντοπίσετε προβλήματα με διακομιστές ή εφαρμογές
• Η στοίβα διακομιστή ELK είναι χρήσιμη για την επίλυση ζητημάτων που σχετίζονται με το κεντρικό σύστημα καταγραφής
• Η στοίβα ELK είναι μια συλλογή τριών εργαλείων ανοιχτού κώδικα Elasticsearch, Logstash Kibana
• Το Elasticsearch είναι μια βάση δεδομένων NoSQL
• Logstash είναι το εργαλείο συλλογής δεδομένων
• Το Kibana είναι μια οπτικοποίηση δεδομένων που ολοκληρώνει τη στοίβα ELK
• Σε υποδομές περιβάλλοντος που βασίζονται σε σύννεφο, η απόδοση και η απομόνωση είναι πολύ σημαντικές
• Στη στοίβα ELK η ταχύτητα επεξεργασίας είναι αυστηρά περιορισμένη ενώ Splunk προσφέρει ακριβείς και γρήγορες διαδικασίες
• Netflix, LinkedIn, Tripware, Medium όλοι χρησιμοποιούν τη στοίβα ELK για την επιχείρησή τους
• Το ELK Syslog λειτουργεί καλύτερα όταν τα αρχεία καταγραφής από διάφορες εφαρμογές μιας επιχείρησης συγκλίνουν σε ένα μόνο παράδειγμα ELK
• Διαφορετικά εξαρτήματα στη στοίβα μπορεί να γίνει δύσκολο να χειριστείτε όταν προχωράτε σε πολύπλοκες ρυθμίσεις

Αναφερθείτε μας ElasticSearch Συνέντευξη Ερωτήσεις και Απαντήσεις για πιο φρέσκους αλλά και έμπειρους υποψηφίους.