ELK Stack Tutorial: Što je Kibana, Logstash & Elasticsearch?

• E kratica za ElasticSearch: koristi se za pohranu zapisa
• L stoji za LogStash : koristi se i za otpremu kao i za obradu i pohranu dnevnika
• K stoji za Kibana: je a alat za vizualizaciju (web sučelje) koje se hostira putem Nginxa ili Apachea

ElasticSearch, LogStash i Kibana razvija, upravlja i održava tvrtka Elastic.

ELK Stack dizajniran je kako bi korisnicima omogućio preuzimanje podataka iz bilo kojeg izvora, u bilo kojem formatu, te pretraživanje, analizu i vizualizaciju tih podataka u stvarnom vremenu.

ELK stog Architektura

Sada ćemo u ovom vodiču za ELK stack učiti o ELK arhitekturi:

Ovdje je jednostavna arhitektura ELK stoga

• Dnevnici: Identificiraju se zapisnici poslužitelja koje je potrebno analizirati
• Logstash: Prikupite zapise i podatke o događajima. Čak analizira i transformira podatke
• ElasticSearch: Transformirani podaci iz Logstash is Pohranjujte, pretražujte i indeksirajte.
• kibana: Kibana koristi Elasticsearch DB za istraživanje, vizualizaciju i dijeljenje

Međutim, potrebna je još jedna komponenta ili zbirka podataka pod nazivom Beats. To je navelo Elastic da preimenuje ELK u Elastic Stack.

Dok radite s vrlo velikim količinama podataka, možda će vam trebati Kafka, RabbitMQ za međuspremnik i otpornost. Za sigurnost se može koristiti nginx.

Sada u ovom vodiču za Elastic stack, Zaronimo duboko u sve ove proizvode otvorenog koda:

Što je Elasticsearch?

Elasticsearch je a NoSQL baza podataka. Temelji se na Lucene tražilici, a izgrađen je s RESTful APIS-om. Nudi jednostavnu implementaciju, maksimalnu pouzdanost i jednostavno upravljanje. Također nudi napredne upite za izvođenje detaljne analize i centralno pohranjuje sve podatke. Korisno je za izvršavanje brzog pretraživanja dokumenata.

Elasticsearch vam također omogućuje pohranjivanje, pretraživanje i analizu velike količine podataka. Uglavnom se koristi kao temeljni mehanizam za pokretanje aplikacija koje su ispunile zahtjeve pretraživanja. Usvojen je u platformama tražilica za moderne web i mobilne aplikacije. Osim brzog pretraživanja, alat također nudi složenu analitiku i mnoge napredne značajke.

Značajke elastične pretrage

• Poslužitelj za pretraživanje otvorenog koda napisan je korištenjem Java
• Koristi se za indeksiranje bilo koje vrste heterogenih podataka
• Ima REST API web sučelje s JSON izlazom
• Pretraživanje cijelog teksta
• Pretraživanje u gotovo stvarnom vremenu (NRT).
• Sharded, replicirano pretraživo, JSON spremište dokumenata
• Distribuirana pohrana dokumenata bez shema, temeljena na REST & JSON
• Podrška za više jezika i geolokaciju

Prednosti Elasticsearch-a

• Pohranjuje podatke bez shema i također stvara shemu za vaše podatke
• Manipulirajte svojim podacima zapis po zapis uz pomoć višedokumentnih API-ja
• Izvršite filtriranje i upite za svoje podatke radi uvida
• Temeljen na Apache Lucene i pruža RESTful API
• Pruža horizontalnu skalabilnost, pouzdanost i mogućnost više korisnika za korištenje indeksiranja u stvarnom vremenu radi bržeg pretraživanja
• Pomaže vam okomito i vodoravno skaliranje

Važni pojmovi koji se koriste u elastičnom pretraživanju

Sada u ovom ELK vodiču, naučimo o ključnim pojmovima koji se koriste u ElasticSearchu:

Termin	Upotreba
Cluster	Klaster je skup čvorova koji zajedno drže podatke i pružaju mogućnosti zajedničkog indeksiranja i pretraživanja.
Čvor	Čvor je instanca elastičnog pretraživanja. Stvara se kada započne instanca elasticsearch.
indeks	Indeks je zbirka dokumenata koji imaju slične karakteristike. npr. podaci o kupcima, katalog proizvoda. Vrlo je koristan pri izvođenju operacija indeksiranja, pretraživanja, ažuriranja i brisanja. Omogućuje definiranje što više indeksa u jednom klasteru.
dokument	To je osnovna jedinica informacija koja se može indeksirati. Izražen je u paru JSON (ključ: vrijednost). '{“korisnik”: “nullcon”}'. Svaki pojedinačni dokument povezan je s vrstom i jedinstvenim ID-om.
krhotina	Svaki indeks može se podijeliti na nekoliko shardova kako bi se mogli distribuirati podaci. Shard je atomski dio indeksa, koji se može distribuirati po klasteru ako želite dodati više čvorova.

Što je Logstash?

Logstash je alat za cjevovod prikupljanja podataka. Prikuplja ulazne podatke i unosi ih u Elasticsearch. Prikuplja sve vrste podataka iz različitih izvora i čini ih dostupnima za daljnju upotrebu.

Logstash može objediniti podatke iz različitih izvora i normalizirati podatke u željena odredišta. Omogućuje vam čišćenje i demokratizaciju svih vaših podataka za analitiku i vizualizaciju slučajeva upotrebe.

Sastoji se od tri komponente:

• Ulazni: prosljeđivanje zapisa za njihovu obradu u format razumljiv stroju
• Filteri: To je skup uvjeta za izvođenje određene radnje ili događaja
• Izlaz: Donositelj odluke za obrađen događaj ili dnevnik

Značajke Logstash

Sada u ovom vodiču za LogStash, naučimo o značajkama LogStash-a:

• Događaji se prolaze kroz svaku fazu pomoću internih redova čekanja
• Omogućuje različite unose za vaše zapisnike
• Filtriranje/raščlanjivanje vaših zapisa

Prednost Logstash

• Ponude centraliziraju obradu podataka
• Analizira velik izbor strukturiranih/nestrukturiranih podataka i događaja
• ELK LogStash nudi dodatke za povezivanje s različitim vrstama ulaznih izvora i platformi

Što je Kibana?

Kibana je vizualizacija podataka koja upotpunjuje ELK stog. Ovaj alat služi za vizualizaciju Elasticsearch dokumenata i pomaže programerima da imaju brzi uvid u iste. Nadzorna ploča Kibana nudi razne interaktivne dijagrame, geoprostorne podatke i grafikone za vizualizaciju složenih zahtjeva.

Može se koristiti za pretraživanje, pregled i interakciju s podacima pohranjenima u direktorijima Elasticsearch. Kibana vam pomaže da napredujete Analiza podataka i vizualizirajte svoje podatke u raznim tablicama, grafikonima i kartama.

U Kibani postoje različite metode za izvođenje pretraživanja vaših podataka.

Ovo su najčešće vrste pretraživanja:

Vrsta pretraživanja	Upotreba
Besplatna pretraživanja teksta	Koristi se za pretraživanje određenog niza
Pretrage na razini polja	Koristi se za traženje niza unutar određenog polja
Logički iskazi	Koristi se za kombiniranje pretraživanja u logičnu izjavu.
Pretrage blizine	Koristi se za pretraživanje pojmova u blizini određenog znaka.

Sada u ovom Kibana vodiču, naučimo o važnim značajkama Kibane:

Značajke Kinbane:

• Snažna prednja nadzorna ploča koja je sposobna vizualizirati indeksirane informacije iz elastičnog klastera
• Omogućuje pretraživanje indeksiranih informacija u stvarnom vremenu
• Možete pretraživati, pregledavati i komunicirati s podacima pohranjenima u Elasticsearch
• Izvršite upite za podatke i vizualizirajte rezultate u grafikonima, tablicama i kartama
• Podesiva nadzorna ploča za rezanje i rezanje logstash zapisa u elasticsearchu
• Mogućnost pružanja povijesnih podataka u obliku grafikona, dijagrama itd.
• Nadzorne ploče u stvarnom vremenu koje je lako konfigurirati
• Kibana ElasticSearch omogućuje pretraživanje indeksiranih informacija u stvarnom vremenu

Prednosti i nedostaci Kinbane

• Jednostavna vizualizacija
• Potpuno integriran s Elasticsearchom
• Alat za vizualizaciju
• Nudi mogućnosti analize u stvarnom vremenu, crtanja grafikona, sažimanja i otklanjanja pogrešaka
• Pruža instinktivno i user-friendly sučelje
• Omogućuje dijeljenje snimaka pretraženih zapisa
• Omogućuje spremanje nadzorne ploče i upravljanje višestrukim nadzornim pločama

Zašto analiza dnevnika?

U infrastrukturama okruženja temeljenim na oblaku, performanse i izolacija su vrlo važni. Performanse virtualnih strojeva u oblaku mogu se razlikovati ovisno o specifičnim opterećenjima, okruženjima i broju aktivnih korisnika u sustavu. Stoga pouzdanost i kvar čvora mogu postati značajan problem.

Platforma za upravljanje zapisima može nadzirati sve gore navedene probleme, kao i obrađivati ​​zapisnike operativnog sustava, NGINX, zapisnik IIS poslužitelja za analizu web prometa, zapisnike aplikacija i zapisnike na AWS (Amazon web usluge).

Upravljanje zapisima pomaže DevOps inženjerima, administratorima sustava da donesu bolje poslovne odluke. Stoga je važna analiza dnevnika putem Elastic Stack ili sličnih alata.

ELK protiv Splunka

Los	Splunk
Elk je alat otvorenog koda	Splunk je komercijalni alat.
Elk stack ne nudi Solaris Prenosivost zbog Kibane.	Splunk nudi Solaris Prenosivost.
Brzina obrade je strogo ograničena.	Nudi točne i brze procese.
ELK je tehnološki skup stvoren kombinacijom Elastic Search-Logstash-Kibana.	Splunk je vlasnički alat. Pruža i lokalna i rješenja u oblaku.
U ELK pretraživanju, analiza i vizualizacija bit će moguće tek nakon što se postavi ELK stog.	Splunk je kompletan paket za upravljanje podacima koji vam je na raspolaganju.
Alat ELK ne podržava integraciju s drugim alatima.	Splunk je koristan alat za postavljanje integracija s drugim alatima.

Studije slučaja

Netflix

Netflix uvelike se oslanja na ELK stog. Tvrtka koja koristi ELK stack za praćenje i analizu sigurnosnog dnevnika rada korisničke službe. Omogućuje im indeksiranje, pohranjivanje i pretraživanje dokumenata iz više od petnaest klastera koji se sastoje od gotovo 800 čvorova.

LinkedIn

Poznata marketinška stranica društvenih medija LinkedIn koristi ELK stack za praćenje performansi i sigurnosti. IT tim integrirao je ELK s Kafkom kako bi podržao njihovo opterećenje u stvarnom vremenu. Njihov ELK rad uključuje više od 100 klastera u šest različitih podatkovnih centara.

Tripwire

Tripwire je svjetski sustav za upravljanje sigurnosnim informacijama. Tvrtka koristi ELK za podršku analizi dnevnika paketa informacija.

Srednji

Medium je poznata platforma za objavljivanje blogova. Oni koriste ELK stack za otklanjanje grešaka u problemima u proizvodnji. Tvrtka također koristi ELK za otkrivanje DynamoDB vruće posude. Štoviše, koristeći ovaj skup, tvrtka može podržati 25 milijuna jedinstvenih čitatelja kao i tisuće objavljenih postova svaki tjedan.

Prednosti i nedostaci ELK skupa

Prednosti

• ELK najbolje radi kada se zapisnici iz raznih aplikacija poduzeća spajaju u jednu ELK instancu

• Pruža nevjerojatne uvide za ovu jednu instancu i također eliminira potrebu za prijavom u stotine različitih izvora podataka dnevnika
• Brza lokalna instalacija
• Jednostavan za postavljanje Vage okomito i vodoravno
• Elastic nudi niz jezičnih klijenata koji uključuju Ruby. Python. PHP, Perl, .NET, Javai JavaSkripta i više
• Dostupnost knjižnica za različite programske i skriptne jezike

Nedostaci

• Različitim komponentama u nizu može postati teško rukovati kada prijeđete na složeno postavljanje
• Ništa nije poput pokušaja i pogreške. Dakle, što više radite, to više učite usput

rezime

• Centralizirano bilježenje može biti korisno kada se pokušavaju identificirati problemi s poslužiteljima ili aplikacijama
• ELK poslužiteljski skup koristan je za rješavanje problema povezanih sa sustavom centraliziranog zapisivanja
• ELK stack je zbirka od tri alata otvorenog koda Elasticsearch, Logstash kibana
• Elasticsearch je NoSQL baza podataka
• Logstash je alat za cjevovod prikupljanja podataka
• Kibana je vizualizacija podataka koja upotpunjuje ELK stog
• U infrastrukturama okruženja temeljenim na oblaku, performanse i izolacija su vrlo važni
• U ELK stogu brzina obrade je strogo ograničena Splunk nudi precizne i brze procese
• Netflix, LinkedIn, Tripware, Medium svi koriste ELK stack za svoje poslovanje
• ELK Syslog najbolje radi kada se zapisnici iz raznih aplikacija poduzeća spajaju u jednu ELK instancu
• Različitim komponentama u nizu može postati teško rukovati kada prijeđete na složeno postavljanje

Obratite se našim ElasticSearch Intervju Pitanja i odgovori za svježije kao i iskusne kandidate.