ELK Stack Tutorial: Kibana, Logstash & Ελαστικήαναζήτηση

Το ELK Stack είναι μια από τις πιο ευρέως χρησιμοποιούμενες λύσεις ανοιχτού κώδικα για κεντρική καταγραφή και ανάλυση αρχείων καταγραφής. Αυτό το σεμινάριο ELK Stack εξηγεί τι κάνει το Elasticsearch, Logstashκαι Kibana, πώς συνδυάζονται τα τρία εργαλεία και πού χρησιμοποιείται η πλατφόρμα σε εργασίες παρακολούθησης και παρατηρησιμότητας στον πραγματικό κόσμο.

Τι είναι το ELK Stack;

The Στοίβα ELK είναι μια συλλογή τριών προϊόντων ανοιχτού κώδικα — Elasticsearch, Logstashκαι Kibana. Παρέχει κεντρική καταγραφή που σας βοηθά να εντοπίζετε προβλήματα με διακομιστές ή εφαρμογές, επιτρέποντάς σας να αναζητάτε όλα τα αρχεία καταγραφής σας σε ένα μόνο μέρος. Σας βοηθά επίσης να συσχετίζετε αρχεία καταγραφής σε πολλούς διακομιστές εντός ενός συγκεκριμένου χρονικού πλαισίου.

• E σημαίνει Elasticsearch: χρησιμοποιείται για την αποθήκευση αρχείων καταγραφής.
• L σημαίνει Logstash: χρησιμοποιείται για πλοίοping, επεξεργασία και αποθήκευση αρχείων καταγραφής.
• K σημαίνει Κιμπάνα: ένα εργαλείο οπτικοποίησης (μια διεπαφή ιστού) που φιλοξενείται μέσω Nginx ή Apache.

Ελαστική αναζήτηση, Logstashκαι η Kibana αναπτύσσονται, διαχειρίζονται και συντηρούνται από μια εταιρεία με την επωνυμία Ελαστικό.

Συνολικά, το ELK Stack έχει σχεδιαστεί για να επιτρέπει στους χρήστες να λαμβάνουν δεδομένα από οποιαδήποτε πηγή, σε οποιαδήποτε μορφή, και στη συνέχεια να αναζητούν, να αναλύουν και να οπτικοποιούν αυτά τα δεδομένα σε πραγματικό χρόνο.

Στοίβα ELK Archiδομή

Τώρα που γνωρίζετε τι είναι η στοίβα, αυτή η ενότητα εξηγεί την αρχιτεκτονική ELK και τον τρόπο ροής δεδομένων μεταξύ των στοιχείων.

Η διαδικασία ELK ακολουθεί μια σαφή ακολουθία στην οποία κάθε εργαλείο έχει μια ειδική εργασία:

• Αρχεία καταγραφής: Τα αρχεία καταγραφής διακομιστή που πρέπει να αναλυθούν προσδιορίζονται.
• Logstash: Συλλέγει τα αρχεία καταγραφής και τα δεδομένα συμβάντων, στη συνέχεια τα αναλύει και τα μετασχηματίζει.
• Αναζήτηση ελαστικών: Τα δεδομένα που μετασχηματίστηκαν από Logstash αποθηκεύεται, αναζητείται και καταχωρείται στο ευρετήριο.
• Κιμπάνα: Χρησιμοποιεί τη βάση δεδομένων Elasticsearch για εξερεύνηση, οπτικοποίηση και κοινοποίηση πληροφοριών.

Ωστόσο, ένα τέταρτο στοιχείο που ονομάζεται Beats προστίθεται συχνά για τη συλλογή δεδομένων. Τα Beats είναι ελαφριά προγράμματα αποστολής που εγκαθίστανται σε διακομιστές και η προσθήκη τους οδήγησε την Elastic να μετονομάσει το ELK σε Elastic Stack.

Όταν χειρίζεστε πολύ μεγάλες ποσότητες δεδομένων, μπορείτε να προσθέσετε Kafka ή RabbitMQ μπροστά από τον αγωγό για buffering και ανθεκτικότητα.

Για πρόσθετη ασφάλεια, ένας αντίστροφος διακομιστής μεσολάβησης όπως ο Nginx μπορεί να τοποθετηθεί μπροστά από τη στοίβα.

Έχοντας κατά νου την αρχιτεκτονική, οι ακόλουθες ενότητες εξετάζουν πιο προσεκτικά κάθε προϊόν ανοιχτού κώδικα στη στοίβα.

Τι είναι το Elasticsearch;

Το Elasticsearch είναι α Βάση δεδομένων NoSQL Βασισμένο στη μηχανή αναζήτησης Lucene και κατασκευασμένο με RESTful APIs. Προσφέρει απλή ανάπτυξη, υψηλή αξιοπιστία και εύκολη διαχείριση, ενώ αποθηκεύει όλα τα δεδομένα σας κεντρικά, ώστε να μπορείτε να εκτελείτε προηγμένα ερωτήματα και γρήγορες αναζητήσεις εγγράφων.

Το Elasticsearch σάς επιτρέπει επίσης να αποθηκεύετε, να αναζητάτε και να αναλύετε μεγάλους όγκους δεδομένων. Χρησιμοποιείται συχνότερα ως η υποκείμενη μηχανή αναζήτησης που τροφοδοτεί εφαρμογές με απαιτητικές απαιτήσεις αναζήτησης.

Επειδή προσθέτει αναλυτικά στοιχεία και πολλές προηγμένες λειτουργίες εκτός από την γρήγορη αναζήτηση, το Elasticsearch έχει υιοθετηθεί ευρέως σε πλατφόρμες αναζήτησης για σύγχρονες εφαρμογές ιστού και κινητών.

Χαρακτηριστικά του Elasticsearch

Το Elasticsearch προσφέρει ένα πλούσιο σύνολο δυνατοτήτων για την ευρετηρίαση και την αναζήτηση δεδομένων:

• Ένας διακομιστής αναζήτησης ανοιχτού κώδικα γραμμένος σε Java.
• Δυνατότητα ευρετηρίασης οποιουδήποτε είδους ετερογενών δεδομένων.
• Παρέχει μια διεπαφή ιστού REST API με έξοδο JSON.
• Αναζήτηση πλήρους κειμένου.
• Αναζήτηση σε σχεδόν πραγματικό χρόνο (NRT).
• Ένα θραυσμένο, αναπαραγόμενο, αναζητήσιμο αποθετήριο εγγράφων JSON.
• Κατανεμημένος χώρος αποθήκευσης εγγράφων χωρίς σχήματα, βασισμένος σε REST και JSON.
• Υποστήριξη πολλαπλών γλωσσών και γεωγραφικής τοποθεσίας.

Πλεονεκτήματα του Elasticsearch

• Αποθηκεύει δεδομένα χωρίς σχήμα και μπορεί επίσης να δημιουργήσει ένα σχήμα για τα δεδομένα σας.
• Σας επιτρέπει να χειρίζεστε εγγραφές μία προς μία χρησιμοποιώντας API πολλαπλών εγγράφων.
• Υποστηρίζει το φιλτράρισμα και την υποβολή ερωτημάτων στα δεδομένα σας για πληροφορίες.
• Βασίζεται στο Apache Lucene και παρέχει ένα RESTful API.
• Προσφέρει οριζόντια επεκτασιμότητα, αξιοπιστία και δυνατότητα πολλαπλών μισθωτών για δημιουργία ευρετηρίου σε πραγματικό χρόνο και ταχύτερη αναζήτηση.
• Σας βοηθά να κάνετε κλιμάκωση τόσο κάθετα όσο και οριζόντια.

Ο παρακάτω πίνακας εξηγεί τους βασικούς όρους που θα συναντήσετε όταν εργάζεστε με το Elasticsearch:

Όρος	Χρήση
Cluster	Ένα σύμπλεγμα είναι μια συλλογή από κόμβους που συγκρατούν μαζί τα δεδομένα σας και παρέχουν συνδυασμένες δυνατότητες δημιουργίας ευρετηρίου και αναζήτησης.
Κόμβος	Ένας κόμβος είναι μια μεμονωμένη παρουσία Elasticsearch. Δημιουργείται όταν ξεκινά μια παρουσία Elasticsearch.
Περιεχόμενα	Ένα ευρετήριο είναι μια συλλογή εγγράφων που μοιράζονται παρόμοια χαρακτηριστικά, όπως δεδομένα πελατών ή έναν κατάλογο προϊόντων. Είναι χρήσιμο για λειτουργίες δημιουργίας ευρετηρίου, αναζήτησης, ενημέρωσης και διαγραφής και μπορείτε να ορίσετε πολλά ευρετήρια σε ένα σύμπλεγμα.
Έγγραφο	Ένα έγγραφο είναι η βασική μονάδα πληροφοριών που μπορεί να καταχωρηθεί στο ευρετήριο. Εκφράζεται ως ζεύγος κλειδιού-τιμής JSON και κάθε έγγραφο σχετίζεται με έναν τύπο και ένα μοναδικό αναγνωριστικό.
Θραύσμα αγγείου	Κάθε ευρετήριο μπορεί να χωριστεί σε πολλά shards για την κατανομή δεδομένων. Ένα shard είναι το ατομικό μέρος ενός ευρετηρίου και μπορεί να κατανεμηθεί σε όλο το σύμπλεγμα καθώς προσθέτετε περισσότερους κόμβους.

Τι είναι Logstash?

Logstash είναι το εργαλείο συλλογής δεδομένων της στοίβας. Συλλέγει δεδομένα εισόδου και τα τροφοδοτεί στο Elasticsearch, συγκεντρώνοντας όλους τους τύπους δεδομένων από διαφορετικές πηγές και καθιστώντας τα διαθέσιμα για περαιτέρω χρήση.

Logstash μπορεί να ενοποιήσει δεδομένα από διαφορετικές πηγές και να τα ομαλοποιήσει στους προορισμούς που επιλέγετε. Αυτό σας επιτρέπει να καθαρίσετε και να εκδημοκρατικοποιήσετε όλα τα δεδομένα σας για ένα ευρύ φάσμα περιπτώσεων χρήσης ανάλυσης και οπτικοποίησης.

Αποτελείται από τρία συστατικά:

• εισόδου: μεταβιβάζει τα αρχεία καταγραφής και τα μετατρέπει σε μορφή αναγνώσιμη από μηχανήματα.
• Φίλτρα: ένα σύνολο συνθηκών που εκτελούν μια συγκεκριμένη ενέργεια σε ένα συμβάν.
• Παραγωγή: ο υπεύθυνος λήψης αποφάσεων που δρομολογεί κάθε επεξεργασμένο συμβάν ή αρχείο καταγραφής.

Χαρακτηριστικά Logstash

Logstash περιλαμβάνει πολλά χαρακτηριστικά που καθιστούν την επεξεργασία αρχείων καταγραφής ευέλικτη:

• Τα συμβάντα περνούν από κάθε φάση χρησιμοποιώντας εσωτερικές ουρές.
• Επιτρέπει διαφορετικές εισόδους για τα αρχεία καταγραφής σας.
• Υποστηρίζει φιλτράρισμα και ανάλυση των αρχείων καταγραφής σας.

Πλεονεκτήματα της Logstash

• Κεντρικοποιεί την επεξεργασία των δεδομένων σας.
• Αναλύει μια μεγάλη ποικιλία δομημένων και αδόμητων δεδομένων και συμβάντων.
• Προσφέρει πρόσθετα για σύνδεση με πολλούς τύπους πηγών εισόδου και πλατφορμών.

Τι είναι το Kibana;

Το Kibana είναι το εργαλείο οπτικοποίησης δεδομένων που συμπληρώνει το ELK Stack. Χρησιμοποιείται για την οπτικοποίηση εγγράφων Elasticsearch και βοηθά τους προγραμματιστές να αποκτήσουν γρήγορη εικόνα των δεδομένων τους μέσω διαδραστικών διαγραμμάτων, γεωχωρικών δεδομένων και γραφημάτων που καθιστούν εύκολα κατανοητά τα σύνθετα ερωτήματα.

Μπορείτε να χρησιμοποιήσετε το Kibana για αναζήτηση, προβολή και αλληλεπίδραση με δεδομένα που είναι αποθηκευμένα σε ευρετήρια Elasticsearch. Σας βοηθά επίσης να εκτελέσετε προηγμένες ανάλυση δεδομένων και παρουσιάστε τα δεδομένα σας σε μια ποικιλία πινάκων, γραφημάτων και χαρτών.

Το Kibana υποστηρίζει διάφορες μεθόδους για την αναζήτηση των δεδομένων σας. Οι πιο συνηθισμένοι τύποι αναζήτησης παρατίθενται παρακάτω:

Τύπος αναζήτησης	Χρήση
Δωρεάν αναζητήσεις κειμένου	Χρησιμοποιείται για την αναζήτηση μιας συγκεκριμένης συμβολοσειράς.
Αναζητήσεις σε επίπεδο πεδίου	Χρησιμοποιείται για την αναζήτηση μιας συμβολοσειράς μέσα σε ένα συγκεκριμένο πεδίο.
Λογικές δηλώσεις	Χρησιμοποιείται για τον συνδυασμό αναζητήσεων σε μια λογική πρόταση.
Αναζητήσεις εγγύτητας	Χρησιμοποιείται για την αναζήτηση όρων εντός μιας συγκεκριμένης εγγύτητας χαρακτήρων.

Το Kibana προσφέρει επίσης μια σειρά από ισχυρά χαρακτηριστικά για την εξερεύνηση δεδομένων από ευρετήρια:

• Ένας ισχυρός πίνακας ελέγχου front-end που απεικονίζει πληροφορίες από το σύμπλεγμα Elasticsearch.
• Επιτρέπει την αναζήτηση σε πραγματικό χρόνο πληροφοριών από ευρετήριο.
• Σας επιτρέπει να αναζητάτε, να προβάλλετε και να αλληλεπιδράτε με δεδομένα που είναι αποθηκευμένα στο Elasticsearch.
• Εκτελεί ερωτήματα σε δεδομένα και οπτικοποιεί τα αποτελέσματα σε γραφήματα, πίνακες και χάρτες.
• Ένας διαμορφώσιμος πίνακας ελέγχου για τεμαχισμό και χωρισμό σε τεμάχια Logstash αρχεία καταγραφής στο Elasticsearch.
• Παρέχει ιστορικά δεδομένα με τη μορφή γραφημάτων, διαγραμμάτων και άλλων.
• Προσφέρει πίνακες ελέγχου σε πραγματικό χρόνο που είναι εύκολοι στη διαμόρφωση.

Πλεονεκτήματα και μειονεκτήματα της Κιμπάνα

Όπως κάθε εργαλείο, το Kibana έχει σαφή πλεονεκτήματα που εξηγούν τη δημοτικότητά του:

• Εύκολη οπτικοποίηση δεδομένων.
• Πλήρως ενσωματωμένο με το Elasticsearch.
• Λειτουργεί ως ειδικό εργαλείο οπτικοποίησης.
• Προσφέρει ανάλυση σε πραγματικό χρόνο, δημιουργία γραφημάτων, σύνοψη και εντοπισμό σφαλμάτων.
• Παρέχει μια διαισθητική, φιλική προς το χρήστη διεπαφή.
• Επιτρέπει την κοινή χρήση στιγμιότυπων των αρχείων καταγραφής που έχετε αναζητήσει.
• Επιτρέπει την αποθήκευση και τη διαχείριση πολλαπλών πινάκων ελέγχου.

Έχει επίσης μερικούς περιορισμούς που πρέπει να έχετε κατά νου:

• Λειτουργεί μόνο με το Elasticsearch ως πηγή δεδομένων.
• Η δημιουργία και η ρύθμιση σύνθετων πινάκων ελέγχου μπορεί να περιλαμβάνει μια απότομη καμπύλη εκμάθησης.

Γιατί η ανάλυση καταγραφής;

Στις υποδομές που βασίζονται στο cloud, η απόδοση και η απομόνωση είναι πολύ σημαντικές.

Η απόδοση των εικονικών μηχανών στο cloud μπορεί να ποικίλλει ανάλογα με συγκεκριμένα φορτία, περιβάλλοντα και τον αριθμό των ενεργών χρηστών, επομένως η αξιοπιστία και η αποτυχία κόμβων μπορούν να αποτελέσουν σημαντικά προβλήματα.

A πλατφόρμα διαχείρισης αρχείων καταγραφής μπορεί να παρακολουθεί όλα αυτά τα ζητήματα. Μπορεί επίσης να επεξεργάζεται αρχεία καταγραφής λειτουργικού συστήματος, αρχεία καταγραφής διακομιστή ιστού Nginx και IIS για ανάλυση επισκεψιμότητας, αρχεία καταγραφής εφαρμογών και αρχεία καταγραφής που δημιουργούνται στο AWS (Amazon Υπηρεσίες Διαδικτύου).

Τελικά, η διαχείριση αρχείων καταγραφής βοηθάει DevOps Οι μηχανικοί και οι διαχειριστές συστημάτων λαμβάνουν καλύτερες αποφάσεις που βασίζονται σε δεδομένα. Αυτός είναι ο λόγος για τον οποίο η ανάλυση αρχείων καταγραφής μέσω του Elastic Stack ή παρόμοιων εργαλείων έχει καταστεί απαραίτητη.

ELK εναντίον Splunk

Μια συνηθισμένη ερώτηση είναι πώς συγκρίνεται το ELK Stack με Splunk, μια δημοφιλής εμπορική εναλλακτική λύση. Ο παρακάτω πίνακας συνοψίζει τις κύριες διαφορές:

ΜΕΓΑΛΗ ΕΛΑΦΟΣ	Splunk
Το ELK είναι ένα εργαλείο ανοιχτού κώδικα.	Το Splunk είναι ένα εμπορικό εργαλείο.
Η ELK δεν προσφέρει Solaris φορητότητα λόγω του Kibana.	Προσφορές Splunk Solaris φορητότητα.
Η ταχύτητα επεξεργασίας είναι αυστηρά περιορισμένη.	Προσφέρει ακριβή και γρήγορη επεξεργασία.
Το ELK είναι μια τεχνολογική στοίβα που δημιουργήθηκε από τον συνδυασμό του Elasticsearch, Logstash, και Κιμπάνα.	Το Splunk είναι ένα ιδιόκτητο εργαλείο που παρέχει λύσεις τόσο σε τοπικό επίπεδο όσο και σε cloud.
Στο ELK, η αναζήτηση, η ανάλυση και η οπτικοποίηση είναι δυνατές μόνο μετά την εγκατάσταση της στοίβας.	Το Splunk είναι ένα ολοκληρωμένο πακέτο διαχείρισης δεδομένων αμέσως μόλις το αγοράσετε.
Το ELK προσφέρει περιορισμένη ενσωματωμένη ενσωμάτωση με άλλα εργαλεία.	Το Splunk είναι χρήσιμο για τη ρύθμιση ενσωματώσεων με άλλα εργαλεία.

Μελέτες Περιπτώσεων

Πολλές γνωστές εταιρείες βασίζονται στο ELK Stack για την εκτέλεση καταγραφής και ανάλυσης σε μεγάλη κλίμακα. Τα παρακάτω παραδείγματα δείχνουν πώς χρησιμοποιείται στην παραγωγή.

Netflix

Netflix βασίζεται σε μεγάλο βαθμό στο ELK Stack για την παρακολούθηση και ανάλυση των αρχείων καταγραφής ασφαλείας των λειτουργιών εξυπηρέτησης πελατών. Η πλατφόρμα επιτρέπει Netflix ευρετηρίαση, αποθήκευση και αναζήτηση εγγράφων σε περισσότερες από δεκαπέντε συστάδες που αποτελούνται από περίπου 800 κόμβους.

LinkedIn

Ο ιστότοπος επαγγελματικής δικτύωσης LinkedIn χρησιμοποιεί το ELK Stack για την παρακολούθηση της απόδοσης και της ασφάλειας. Η ομάδα του ενσωμάτωσε το ELK με το Kafka για τη διαχείριση του φόρτου σε πραγματικό χρόνο και η λειτουργία εκτείνεται σε περισσότερα από 100 clusters σε έξι κέντρα δεδομένων.

Tripwire

Η Tripwire, ένας παγκόσμιος πάροχος υπηρεσιών Διαχείρισης Πληροφοριών Ασφάλειας και Συμβάντων (SIEM), χρησιμοποιεί το ELK Stack για την υποστήριξη της ανάλυσης αρχείων καταγραφής πακέτων πληροφοριών.

Μέτριας Δυσκολίας

Το Medium, η δημοφιλής πλατφόρμα δημοσίευσης ιστολογίων, χρησιμοποιεί το ELK Stack για τον εντοπισμό σφαλμάτων σε προβλήματα παραγωγής και την ανίχνευση... DynamoDB hotspots. Το stack βοηθά την εταιρεία να υποστηρίζει 25 εκατομμύρια μοναδικούς αναγνώστες και χιλιάδες νέες αναρτήσεις κάθε εβδομάδα.

Πλεονεκτήματα και μειονεκτήματα του ELK Stack

Πλεονεκτήματα

Το ELK Stack προσφέρει πολλά πλεονεκτήματα που εξηγούν την ευρεία υιοθέτησή του:

• Λειτουργεί καλύτερα όταν τα αρχεία καταγραφής από τις διάφορες εφαρμογές μιας επιχείρησης συγκλίνουν σε μία μόνο παρουσία ELK.
• Παρέχει πλούσια εικόνα από αυτήν τη μεμονωμένη περίπτωση και εξαλείφει την ανάγκη σύνδεσης σε εκατοντάδες ξεχωριστές πηγές δεδομένων.
• Ταχεία εγκατάσταση επί τόπου.
• Εύκολη στην ανάπτυξη και κλιμακώνεται τόσο κάθετα όσο και οριζόντια.
• Το Elastic προσφέρει πολλά προγράμματα-πελάτες γλωσσών, συμπεριλαμβανομένης της Ruby, Python, PHP, Perl, .NET, Javaκαι JavaΓραφή.
• Υπάρχουν διαθέσιμες βιβλιοθήκες για πολλές γλώσσες προγραμματισμού και scripting.

Μειονεκτήματα

Παρά τα δυνατά του σημεία, το ELK Stack έχει μερικά μειονεκτήματα που πρέπει να λάβετε υπόψη:

• Τα διάφορα εξαρτήματα μπορεί να γίνουν δύσκολα στη διαχείριση καθώς μεταβαίνετε σε μια πιο σύνθετη ρύθμιση.
• Υπάρχει μια πραγματική καμπύλη μάθησης, οπότε να περιμένετε κάποιες δοκιμές και λάθη καθώς αποκτάτε εμπειρία.

Συχνές Ερωτήσεις