Урок за ELK Stack: Какво е Kibana, Logstash & Elasticsearch?

• E означава ElasticSearch: използва се за съхраняване на регистрационни файлове
• L означава LogStash : използва се както за изпращане, така и за обработка и съхранение на регистрационни файлове
• K означава Kibana: е a инструмент за визуализация (уеб интерфейс), който се хоства чрез Nginx или Apache

ElasticSearch, LogStash и Kibana са разработени, управлявани и поддържани от компанията на име Elastic.

ELK Stack е проектиран да позволява на потребителите да вземат данни от всеки източник, във всякакъв формат и да търсят, анализират и визуализират тези данни в реално време.

ELK стек Archiтекстура

Сега в този урок за стека на ELK ще научим за архитектурата на ELK:

Ето простата архитектура на ELK стека

• Дневници: Идентифицират се регистрационни файлове на сървъра, които трябва да бъдат анализирани
• Logstash: Събирайте регистрационни файлове и данни за събития. Той дори анализира и трансформира данни
• ElasticSearch: Трансформираните данни от Logstash is Съхранявайте, търсете и индексирайте.
• Кибана: Kibana използва Elasticsearch DB за изследване, визуализиране и споделяне

Необходим е обаче още един компонент или събиране на данни, наречено Beats. Това накара Elastic да преименува ELK на Elastic Stack.

Докато работите с много големи количества данни, може да имате нужда от Kafka, RabbitMQ за буфериране и устойчивост. За сигурност може да се използва nginx.

Сега в този урок за еластичен стек, Нека се потопим подробно във всички тези продукти с отворен код:

Какво е Elasticsearch?

Elasticsearch е a NoSQL база данни. Базиран е на търсачката Lucene и е изграден с RESTful APIS. Той предлага лесно внедряване, максимална надеждност и лесно управление. Той също така предлага разширени заявки за извършване на подробен анализ и съхранява всички данни централно. Полезно е за извършване на бързо търсене на документи.

Elasticsearch също ви позволява да съхранявате, търсите и анализирате голям обем данни. Използва се най-вече като основна машина за захранване на приложения, които са изпълнили изискванията за търсене. Той е възприет в платформите на търсачките за модерни уеб и мобилни приложения. Освен бързо търсене, инструментът предлага и сложни анализи и много разширени функции.

Характеристики на еластичното търсене

• Сървърът за търсене с отворен код е написан с помощта на Java
• Използва се за индексиране на всякакъв вид разнородни данни
• Има REST API уеб интерфейс с JSON изход
• Пълнотекстово търсене
• Търсене в близко до реално време (NRT).
• Разделено, репликирано, с възможност за търсене, JSON хранилище на документи
• Разпределено хранилище на документи без схеми, REST и JSON
• Поддръжка на много езици и геолокация

Предимства на Elasticsearch

• Съхранявайте данни без схема и също така създава схема за вашите данни
• Манипулирайте вашите данни запис по запис с помощта на многодокументни API
• Извършете филтриране и запитване към вашите данни за прозрения
• Базиран на Apache Lucene и предоставя RESTful API
• Осигурява хоризонтална мащабируемост, надеждност и възможност за мултитенант за използване на индексиране в реално време, за да направи търсенето по-бързо
• Помага ви да мащабирате вертикално и хоризонтално

Важни термини, използвани в еластичното търсене

Сега в този урок по ELK, нека научим за ключовите термини, използвани в ElasticSearch:

термин	употреба
Cluster	Клъстерът е съвкупност от възли, които заедно съхраняват данни и осигуряват обединени възможности за индексиране и търсене.
Възел	Възелът е инстанция на elasticsearch. Създава се, когато стартира екземпляр на elasticsearch.
индекс	Индексът е колекция от документи, които имат подобни характеристики. напр. клиентски данни, продуктов каталог. Много е полезно при извършване на операции по индексиране, търсене, актуализиране и изтриване. Тя ви позволява да дефинирате колкото се може повече индекси в един единствен клъстер.
Документ	Това е основната единица информация, която може да бъде индексирана. Изразява се в двойка JSON (ключ: стойност). '{“user”: “nullcon”}'. Всеки един документ е свързан с тип и уникален идентификатор.
елитра	Всеки индекс може да бъде разделен на няколко шарда, за да могат да се разпространяват данни. Шардът е атомарната част на индекс, която може да бъде разпределена в клъстера, ако искате да добавите повече възли.

Какво е Logstash?

Logstash е инструментът за тръбопровод за събиране на данни. Той събира въведени данни и ги подава в Elasticsearch. Той събира всички видове данни от различни източници и ги прави достъпни за по-нататъшна употреба.

Logstash може да обедини данни от различни източници и да нормализира данните в желаните от вас дестинации. Позволява ви да изчистите и демократизирате всичките си данни за анализ и визуализация на случаи на употреба.

Състои се от три компонента:

• Вход: предаване на регистрационни файлове за обработката им в машинно разбираем формат
• Филтри: Това е набор от условия за извършване на определено действие или събитие
• Продукция: Вземащ решение за обработено събитие или дневник

Характеристики на Logstash

Сега в този урок за LogStash, нека научим за функциите на LogStash:

• Събитията се предават през всяка фаза с помощта на вътрешни опашки
• Позволява различни входове за вашите регистрационни файлове
• Филтриране/разбор за вашите регистрационни файлове

Предимство на Logstash

• Офертите централизират обработката на данни
• Той анализира голямо разнообразие от структурирани/неструктурирани данни и събития
• ELK LogStash предлага плъгини за свързване с различни видове входни източници и платформи

Какво е Кибана?

Kibana е визуализация на данни, която допълва стека ELK. Този инструмент се използва за визуализиране на документите на Elasticsearch и помага на разработчиците да имат бърз поглед върху тях. Таблото за управление на Kibana предлага различни интерактивни диаграми, геопространствени данни и графики за визуализиране на сложни запитвания.

Може да се използва за търсене, преглед и взаимодействие с данни, съхранявани в Elasticsearch директории. Kibana ви помага да изпълнявате напреднали Анализ на данни и визуализирайте данните си в различни таблици, диаграми и карти.

В Kibana има различни методи за извършване на търсене на вашите данни.

Ето най-често срещаните видове търсене:

Тип на търсене	употреба
Свободно търсене на текст	Използва се за търсене на конкретен низ
Търсения на ниво поле	Използва се за търсене на низ в определено поле
Логически твърдения	Използва се за комбиниране на търсения в логическо изявление.
Търсене на близост	Използва се за търсене на термини в близост до определен знак.

Сега в този урок за Kibana, нека научим за важни характеристики на Kibana:

Характеристики на Kinbana:

• Мощно предно табло за управление, което е в състояние да визуализира индексирана информация от еластичния клъстер
• Позволява търсене в реално време на индексирана информация
• Можете да търсите, преглеждате и взаимодействате с данни, съхранени в Elasticsearch
• Изпълнявайте заявки за данни и визуализирайте резултатите в диаграми, таблици и карти
• Конфигурируемо табло за управление за нарязване и разделяне на logstash регистрационни файлове в elasticsearch
• Възможност за предоставяне на исторически данни под формата на графики, диаграми и др.
• Табла за управление в реално време, които лесно се конфигурират
• Kibana ElasticSearch позволява търсене в реално време на индексирана информация

Предимства и недостатъци на Kinbana

• Лесно визуализиране
• Напълно интегриран с Elasticsearch
• Инструмент за визуализация
• Предлага възможности за анализ в реално време, диаграми, обобщаване и отстраняване на грешки
• Осигурява инстинктивен и удобен за потребителя интерфейс
• Позволява споделяне на моментни снимки на търсените регистрационни файлове
• Позволява запазване на таблото за управление и управление на множество табла

Защо лог анализ?

В инфраструктурите на облачна среда производителността и изолацията са много важни. Производителността на виртуалните машини в облака може да варира в зависимост от конкретните натоварвания, среди и броя на активните потребители в системата. Следователно надеждността и повредата на възела могат да се превърнат в значителен проблем.

Платформа за управление на регистрационни файлове може да наблюдава всички горепосочени проблеми, както и да обработва регистрационни файлове на операционната система, NGINX, IIS сървърен регистър за анализ на уеб трафика, регистрационни файлове на приложения и регистрационни файлове на AWS (Amazon уеб услуги).

Управлението на регистрационни файлове помага на инженерите на DevOps, системния администратор да вземат по-добри бизнес решения. Следователно анализът на регистрационни файлове чрез Elastic Stack или подобни инструменти е важен.

ELK срещу Splunk

Elk	Splunk
Elk е инструмент с отворен код	Splunk е комерсиален инструмент.
Elk stack не предлага Solaris Преносимост благодарение на Kibana.	Splunk предлага Solaris Преносимост.
Скоростта на обработка е строго ограничена.	Предлага точни и бързи процеси.
ELK е технологичен стек, създаден с комбинацията Elastic Search-Logstash-Кибана.	Splunk е патентован инструмент. Той предоставя както локални, така и облачни решения.
В ELK Търсенето, анализът и визуализацията ще бъдат възможни само след като ELK стекът е настроен.	Splunk е пълен пакет за управление на данни на ваше разположение.
Инструментът ELK не поддържа интеграция с други инструменти.	Splunk е полезен инструмент за настройка на интеграции с други инструменти.

Казуси

Нетфликс

Netflix силно разчита на стека ELK. Компанията, използваща стека ELK за наблюдение и анализ на регистъра за сигурност на операцията по обслужване на клиенти. Тя им позволява да индексират, съхраняват и търсят документи от повече от петнадесет клъстера, които се състоят от почти 800 възела.

LinkedIn

Известният маркетингов сайт за социални медии LinkedIn използва ELK stack за наблюдение на ефективността и сигурността. ИТ екипът интегрира ELK с Kafka, за да поддържа тяхното натоварване в реално време. Тяхната ELK операция включва повече от 100 клъстера в шест различни центъра за данни.

Tripwire

Tripwire е световна система за управление на информационни събития за сигурност. Компанията използва ELK за поддръжка на анализ на регистрационния файл на информационни пакети.

Среден

Medium е известна платформа за публикуване на блогове. Те използват ELK стека за отстраняване на грешки в производствените си проблеми. Компанията също използва ELK за откриване DynamoDB горещи тенджери. Освен това, използвайки този стек, компанията може да поддържа 25 милиона уникални читатели, както и хиляди публикувани публикации всяка седмица.

Предимства и недостатъци на стека ELK

Предимства

• ELK работи най-добре, когато регистрационните файлове от различни приложения на предприятието се събират в един екземпляр на ELK

• Той предоставя невероятни прозрения за този единствен екземпляр и също така елиминира необходимостта от влизане в стотици различни източници на данни за регистрационни файлове
• Бърза инсталация на място
• Лесни за разгръщане Везни вертикално и хоризонтално
• Elastic предлага множество езикови клиенти, включително Ruby. Python. PHP, Perl, .NET, Java, и JavaСкрипт и др
• Наличие на библиотеки за различни езици за програмиране и скриптове

Недостатъци

• Различните компоненти в стека може да станат трудни за работа, когато преминете към сложна настройка
• Няма нищо като проба-грешка. Следователно, колкото повече правите, толкова повече научавате по пътя

Oбобщение

• Централизираното регистриране може да бъде полезно, когато се опитвате да идентифицирате проблеми със сървъри или приложения
• ELK сървърният стек е полезен за разрешаване на проблеми, свързани с централизираната система за регистриране
• ELK stack е колекция от три инструмента с отворен код Elasticsearch, Logstash Kibana
• Elasticsearch е NoSQL база данни
• Logstash е инструментът за тръбопровод за събиране на данни
• Kibana е визуализация на данни, която допълва стека ELK
• В инфраструктурите на облачна среда производителността и изолацията са много важни
• В ELK скоростта на обработка на стека е строго ограничена, докато Splunk предлага точни и бързи процеси
• Netflix, LinkedIn, Tripware, Medium всички използват ELK stack за своя бизнес
• ELK Syslog работи най-добре, когато регистрационните файлове от различни приложения на предприятието се събират в един екземпляр на ELK
• Различните компоненти в стека може да станат трудни за работа, когато преминете към сложна настройка

Обърнете се към нашите Въпроси и отговори за интервю с ElasticSearch както за по-свежи, така и за опитни кандидати.