ELK Stack bemutató: Mi az a Kibana, Logstash & Elasticsearch?

Mi az ELK Stack?

A ELK Stack három nyílt forráskódú termék gyűjteménye – Elasticsearch, Logstashés Kibana. Az ELK verem központi naplózást biztosít a szerverekkel vagy alkalmazásokkal kapcsolatos problémák azonosítása érdekében. Lehetővé teszi, hogy egyetlen helyen keressen az összes naplóban. Segít megtalálni a problémákat több szerveren is, ha a naplókat egy adott időkereten belül összekapcsolja.

  • E Az ElasticSearch rövidítése: naplók tárolására szolgál
  • L a LogStash rövidítése: mind a szállításra, mind a naplók feldolgozására és tárolására szolgál
  • K a Kibana rövidítése: is a vizualizációs eszköz (egy webes felület), amelyet Nginx vagy Apache tárol

Az ElasticSearch, a LogStash és a Kibana fejlesztését, kezelését és karbantartását az Elastic nevű cég végzi.

Az ELK Stack célja, hogy lehetővé tegye a felhasználók számára, hogy bármilyen forrásból, bármilyen formátumban adatokat gyűjtsenek, és ezeket az adatokat valós időben kereshessék, elemezzék és megjelenítsék.

ELK Stack Architectúra

Ebben az ELK verem oktatóanyagban az ELK architektúráról fogunk tanulni:

Íme az ELK verem egyszerű architektúrája

ELK Stack Architectúra
ELK Stack Architectúra
  • Napló: A rendszer azonosítja azokat a szervernaplókat, amelyeket elemezni kell
  • Logstash: Gyűjtse össze a naplókat és az események adatait. Még az adatokat is elemzi és átalakítja
  • ElasticSearch: Az átalakított adatok innen Logstash is Tárolás, keresés és indexelt.
  • Kibana: A Kibana az Elasticsearch DB-t használja a felfedezéshez, megjelenítéshez és megosztáshoz

Szükség van azonban még egy komponensre vagy a Beats nevű adatgyűjtésre. Emiatt az Elastic átnevezte az ELK-t Elastic Stack-re.

ELK Stack Architecture Beats-szel

Ha nagyon nagy mennyiségű adatot kezel, szüksége lehet Kafka, RabbitMQ pufferelésre és rugalmasságra. A biztonság kedvéért az nginx használható.

ELK Stack Architectúra

Most ebben az Elastic stack oktatóanyagban Tekintsük át ezeket a nyílt forráskódú termékeket:

Mi az az Elasticsearch?

Az Elasticsearch a NoSQL adatbázis. A Lucene keresőmotoron alapul, és RESTful APIS-szal épül fel. Egyszerű üzembe helyezést, maximális megbízhatóságot és egyszerű kezelést kínál. Speciális lekérdezéseket is kínál a részletelemzés elvégzéséhez, és az összes adatot központilag tárolja. Segít a dokumentumok gyors keresésében.

Az Elasticsearch lehetővé teszi nagy mennyiségű adat tárolását, keresését és elemzését is. Leginkább mögöttes motorként használják a keresési követelményeket teljesítő alkalmazások meghajtására. A modern webes és mobilalkalmazások keresőmotor-platformjain alkalmazták. A gyors keresés mellett az eszköz összetett elemzést és számos speciális funkciót is kínál.

Az elasztikus keresés jellemzői

  • A nyílt forráskódú keresőszerver a segítségével íródott Java
  • Bármilyen heterogén adat indexelésére szolgál
  • REST API webes felülettel rendelkezik JSON kimenettel
  • Teljes szöveges keresés
  • Közel valós idejű (NRT) keresés
  • Osztott, replikált kereshető, JSON dokumentumtár
  • Sémamentes, REST és JSON alapú elosztott dokumentumtár
  • Többnyelvű és földrajzi helymeghatározás támogatása

Az Elasticsearch előnyei

  • Séma nélküli adatokat tárol, és sémát is létrehoz az adatokhoz
  • A többdokumentumú API-k segítségével rekordonként kezelheti az adatrekordot
  • Végezze el az adatok szűrését és lekérdezését a betekintés érdekében
  • Apache Lucene alapján, és RESTful API-t biztosít
  • Vízszintes méretezhetőséget, megbízhatóságot és többbérlős képességet biztosít az indexelés valós idejű használatához a gyorsabb keresés érdekében
  • Segít a függőleges és vízszintes méretezésben

Az Elastic Search során használt fontos kifejezések

Most ebben az ELK oktatóanyagban ismerkedjünk meg az ElasticSearch kulcsszavaival:

kifejezés Használat
Cluster A fürt csomópontok gyűjteménye, amelyek együttesen tárolják az adatokat, és egyesített indexelési és keresési lehetőségeket biztosítanak.
Csomópont A csomópont egy rugalmas keresési példány. Akkor jön létre, amikor egy elaszticsearch példány kezdődik.
index Az index olyan dokumentumok gyűjteménye, amelyek hasonló jellemzőkkel rendelkeznek. pl. vásárlói adatok, termékkatalógus. Nagyon hasznos indexelési, keresési, frissítési és törlési műveletek végrehajtása során. Lehetővé teszi, hogy egyetlen fürtben annyi indexet határozzon meg.
dokumentum Ez az indexelhető információ alapegysége. JSON (kulcs: érték) párban van kifejezve. '{„user”: „nullcon”}'. Minden egyes dokumentumhoz egy típus és egy egyedi azonosító tartozik.
szilánk Minden index több darabra bontható az adatok terjesztése érdekében. A szilánk egy index atomi része, amely elosztható a fürtben, ha további csomópontokat szeretne hozzáadni.

Mi a Logstash?

Logstash az adatgyűjtési folyamat eszköze. Adatbevitelt gyűjt és betáplál az Elasticsearchba. Minden típusú adatot összegyűjt a különböző forrásokból, és elérhetővé teszi azokat további felhasználásra.

Logstash egyesítheti a különböző forrásokból származó adatokat, és normalizálhatja az adatokat a kívánt célhelyekre. Lehetővé teszi az összes adat megtisztítását és demokratizálását az elemzéshez és a használati esetek megjelenítéséhez.

Három összetevőből áll:

  • Bemenet: naplók átadása, hogy azokat gép által érthető formátumba dolgozzák fel
  • Szűrők: Egy adott művelet vagy esemény végrehajtásához szükséges feltételek összessége
  • teljesítmény: Döntéshozó a feldolgozott eseményhez vagy naplóhoz

Jellemzői Logstash

Most ebben a LogStash oktatóanyagban ismerkedjünk meg a LogStash funkcióival:

  • Az események minden fázison belső sorok segítségével haladnak át
  • Különféle bemeneteket tesz lehetővé a naplók számára
  • A naplók szűrése/elemzése

Előny Logstash

  • Az ajánlatok központosítják az adatfeldolgozást
  • A strukturált/strukturálatlan adatok és események nagy választékát elemzi
  • Az ELK LogStash bővítményeket kínál különféle típusú bemeneti forrásokhoz és platformokhoz való csatlakozáshoz

Mi az a Kibana?

A Kibana egy adatvizualizáció, amely kiegészíti az ELK veremét. Ez az eszköz az Elasticsearch dokumentumok vizualizálására szolgál, és segít a fejlesztőknek abban, hogy gyorsan áttekintsenek. A Kibana irányítópultja különféle interaktív diagramokat, térinformatikai adatokat és grafikonokat kínál az összetett kérdések megjelenítéséhez.

Használható keresésre, megtekintésre és az Elasticsearch könyvtárakban tárolt adatokkal való interakcióra. A Kibana segít haladó teljesítményben adatelemzés és megjelenítheti adatait különféle táblázatokban, diagramokban és térképeken.

A Kibanában különböző módszerek állnak rendelkezésre az adatokon történő keresések végrehajtására.

Íme a leggyakoribb keresési típusok:

Keresés típusa Használat
Szabad szöveges keresések Egy adott karakterlánc keresésére szolgál
Mezőszintű keresések Egy adott mezőn belüli karakterlánc keresésére szolgál
Logikai kijelentések A keresések logikai utasításokká való kombinálására szolgál.
Közelségi keresések Meghatározott karakterközeli kifejezések keresésére szolgál.

Most ebben a Kibana oktatóanyagban ismerkedjünk meg a Kibana fontos funkcióival:

A Kinbana jellemzői:

  • Erőteljes elülső műszerfal, amely képes megjeleníteni az indexelt információkat a rugalmas klaszterből
  • Lehetővé teszi az indexelt információk valós idejű keresését
  • Kereshet, megtekinthet és interakcióba léphet az Elasticsearch szolgáltatásban tárolt adatokkal
  • Lekérdezéseket hajthat végre az adatokon, és megjelenítheti az eredményeket diagramokban, táblázatokban és térképeken
  • Konfigurálható műszerfal a logstash naplók szeleteléséhez és felkockázásához az Elaszticsearch alkalmazásban
  • Képes történeti adatokat szolgáltatni grafikonok, diagramok stb. formájában.
  • Valós idejű irányítópultok, amelyek könnyen konfigurálhatók
  • A Kibana ElasticSearch valós idejű keresést tesz lehetővé az indexelt információk között

A Kinbana előnyei és hátrányai

  • Könnyű vizualizáció
  • Teljesen integrálva az Elasticsearch-el
  • Vizualizációs eszköz
  • Valós idejű elemzési, diagramkészítési, összegzési és hibakeresési lehetőségeket kínál
  • Ösztönös és felhasználóbarát felületet biztosít
  • Lehetővé teszi a megkeresett naplók pillanatképeinek megosztását
  • Lehetővé teszi az irányítópult mentését és több irányítópult kezelését

Miért naplóelemzés?

A felhőalapú környezeti infrastruktúrákban a teljesítmény és az elszigeteltség nagyon fontos. A felhőben lévő virtuális gépek teljesítménye az adott terheléstől, környezettől és a rendszerben lévő aktív felhasználók számától függően változhat. Ezért a megbízhatóság és a csomópontok meghibásodása jelentős problémává válhat.

Naplókezelő platform képes figyelni az összes fent megadott problémát, valamint az operációs rendszer naplóit, az NGINX-et, az IIS szervernaplót a webes forgalom elemzéséhez, az alkalmazásnaplókat és az AWS naplóit (Amazon webes szolgáltatások).

A naplókezelés segít a DevOps mérnökeinek és a rendszergazdáknak jobb üzleti döntések meghozatalában. Ezért fontos a naplóelemzés az Elastic Stack vagy hasonló eszközök segítségével.

ELK kontra Splunk

Jávorszarvas Splunk
Az Elk egy nyílt forráskódú eszköz A Splunk egy kereskedelmi eszköz.
Elk verem nem kínál Solaris Hordozhatóság a Kibana miatt. Splunk ajánlatok Solaris Hordozhatóság.
A feldolgozási sebesség szigorúan korlátozott. Pontos és gyors folyamatokat kínál.
Az ELK egy technológiai halom, amelyet az Elastic Search- kombinációval hoztak létre.Logstash-Kibana. A Splunk szabadalmaztatott eszköz. Helyszíni és felhőalapú megoldásokat is kínál.
Az ELK keresésben az elemzés és megjelenítés csak az ELK verem beállítása után lehetséges. A Splunk egy teljes adatkezelési csomag, amely az Ön rendelkezésére áll.
Az ELK eszköz nem támogatja az integrációt más eszközökkel. A Splunk hasznos eszköz más eszközökkel való integráció beállításához.

Esettanulmányok

NetFlix

Netflix erősen támaszkodik az ELK veremre. A vállalat az ELK verem segítségével figyeli és elemzi az ügyfélszolgálati működés biztonsági naplóját. Lehetővé teszi számukra, hogy több mint tizenöt, csaknem 800 csomópontból álló klaszterből származó dokumentumokat indexeljenek, tároljanak és keressenek.

LinkedIn

A híres közösségimédia-marketing oldal, a LinkedIn ELK stack segítségével figyeli a teljesítményt és a biztonságot. Az informatikai csapat integrálta az ELK-t a Kafkával, hogy valós időben támogassa a terhelést. ELK-műveletük több mint 100 klasztert foglal magában hat különböző adatközpontban.

Tripwire

A Tripwire egy világszerte működő biztonsági információs eseménykezelő rendszer. A vállalat ELK-t használ az információs csomagnapló-elemzés támogatására.

közepes

A Medium egy híres blog-kiadói platform. ELK verem segítségével végzik a termelési problémák hibakeresését. A cég ELK-t is használ az észleléshez DynamoDB hotpotok. Ezen túlmenően, ezzel a köteggel a cég 25 millió egyedi olvasót, valamint több ezer közzétett bejegyzést tud támogatni hetente.

Az ELK verem előnyei és hátrányai

Előnyök

  • Az ELK akkor működik a legjobban, ha egy vállalat különböző alkalmazásaiból származó naplók egyetlen ELK-példányba tömörülnek
  • Elképesztő betekintést nyújt ehhez az egyetlen példányhoz, és szükségtelenné teszi a száz különböző naplóadatforrásba való bejelentkezést
  • Gyors helyszíni telepítés
  • Könnyen telepíthető mérlegek függőlegesen és vízszintesen
  • Az Elastic számos nyelvi klienst kínál, beleértve a Rubyt is. Python. PHP, Perl, .NET, Javaés JavaSzkript, és így tovább
  • Könyvtárak elérhetősége különböző programozási és szkriptnyelvekhez

Hátrányok

  • A veremben lévő különböző összetevők kezelése nehézkessé válhat, ha az összetett beállításra lép
  • Nincs más, mint a próbálkozás és a hiba. Így minél többet teszel, annál többet tanulsz az út során

Összegzésként

  • A központosított naplózás hasznos lehet a szerverekkel vagy alkalmazásokkal kapcsolatos problémák azonosításakor
  • Az ELK szerververem hasznos a központi naplózási rendszerrel kapcsolatos problémák megoldásában
  • Az ELK verem három nyílt forráskódú Elasticsearch eszköz gyűjteménye, Logstash kibana
  • Az Elasticsearch egy NoSQL adatbázis
  • Logstash az adatgyűjtési folyamat eszköze
  • A Kibana egy adatvizualizáció, amely kiegészíti az ELK-vermet
  • A felhőalapú környezeti infrastruktúrákban a teljesítmény és az elszigeteltség nagyon fontos
  • Az ELK-ban a veremfeldolgozás sebessége szigorúan korlátozott, míg Splunk pontos és gyors folyamatokat kínál
  • NetflixA , a LinkedIn, a Tripware és a Medium mind ELK stacket használnak vállalkozásukhoz
  • Az ELK Syslog akkor működik a legjobban, ha egy vállalat különböző alkalmazásaiból származó naplók egyetlen ELK-példányba tömörülnek.
  • A veremben lévő különböző összetevők kezelése nehézkessé válhat, ha az összetett beállításra lép

Lásd a mi ElasticSearch interjúkérdések és válaszok friss és tapasztalt jelentkezőknek egyaránt.