ELK Yığın Eğitimi: Kibana Nedir? Logstash & Elasticsearch?

• E ElasticSearch'ün kısaltmasıdır: günlükleri depolamak için kullanılır
• L LogStash'in kısaltmasıdır: hem günlükleri göndermek hem de işlemek ve depolamak için kullanılır
• K Kibana anlamına gelir: bir görselleştirme aracı Nginx veya Apache aracılığıyla barındırılan (bir web arayüzü)

ElasticSearch, LogStash ve Kibana, Elastic adlı şirket tarafından geliştiriliyor, yönetiliyor ve bakımı yapılıyor.

ELK Stack, kullanıcıların herhangi bir kaynaktan, herhangi bir formatta veri almasına ve bu verileri gerçek zamanlı olarak aramasına, analiz etmesine ve görselleştirmesine olanak tanıyacak şekilde tasarlanmıştır.

ELK Yığını Archidoku

Şimdi bu ELK yığını eğitiminde, ELK mimarisini öğreneceğiz:

İşte ELK yığınının basit mimarisi

• Kayıtlar: Analiz edilmesi gereken sunucu logları belirlenir
• Logstash: Günlükleri ve etkinlik verilerini toplayın. Hatta verileri ayrıştırır ve dönüştürür
• Elastik Arama: Dönüştürülen veriler Logstash is Saklayın, Arayın ve dizine ekleyin.
• Kibana: Kibana Keşfetmek, Görselleştirmek ve Paylaşmak için Elasticsearch DB'yi kullanıyor

Ancak bir bileşene daha ihtiyaç vardır veya Beats adı verilen Veri toplama. Bu, Elastic'in ELK'yi Elastic Stack olarak yeniden adlandırmasına yol açtı.

Çok büyük miktarda veriyle uğraşırken, tamponlama ve dayanıklılık için Kafka, RabbitMQ'ya ihtiyacınız olabilir. Güvenlik için nginx kullanılabilir.

Şimdi bu Elastik yığın eğitiminde, Tüm bu açık kaynak ürünleri derinlemesine inceleyelim:

Elasticsearch nedir?

Elasticsearch bir NoSQL veritabanı. Lucene arama motorunu temel alır ve RESTful APIS ile oluşturulmuştur. Basit dağıtım, maksimum güvenilirlik ve kolay yönetim sunar. Ayrıca ayrıntılı analiz gerçekleştirmek için gelişmiş sorgular sunar ve tüm verileri merkezi olarak saklar. Belgelerde hızlı arama yapmak için faydalıdır.

Elasticsearch ayrıca büyük hacimli verileri depolamanıza, aramanıza ve analiz etmenize olanak tanır. Çoğunlukla arama gereksinimlerini tamamlayan uygulamaları güçlendirmek için temel motor olarak kullanılır. Modern web ve mobil uygulamalar için arama motoru platformlarında benimsenmiştir. Hızlı bir aramanın yanı sıra, araç karmaşık analizler ve birçok gelişmiş özellik de sunar.

Elastik aramanın özellikleri

• Açık kaynak arama sunucusu kullanılarak yazılmıştır. Java
• Herhangi bir türdeki heterojen veriyi indekslemek için kullanılır
• JSON çıkışlı REST API web arayüzüne sahiptir
• Tam Metin Arama
• Gerçek Zamana Yakın (NRT) arama
• Parçalanmış, çoğaltılmış, aranabilir, JSON belge deposu
• Şema içermeyen, REST ve JSON tabanlı dağıtılmış belge deposu
• Çoklu dil ve Coğrafi Konum desteği

Elasticsearch'ün Avantajları

• Şemasız verileri depolayın ve verileriniz için bir şema oluşturun
• Çoklu belge API'lerinin yardımıyla veri kaydınızı kayıt bazında değiştirin
• Analizler için verilerinizi filtreleme ve sorgulama işlemini gerçekleştirin
• Apache Lucene'yi temel alır ve RESTful API sağlar
• Aramayı daha hızlı hale getirmek amacıyla indekslemenin gerçek zamanlı kullanımı için yatay ölçeklenebilirlik, güvenilirlik ve çok kiracılı yetenek sağlar
• Dikey ve yatay olarak ölçeklendirmenize yardımcı olur

Elastik Aramada Kullanılan Önemli Terimler

Şimdi bu ELK eğitiminde ElasticSearch'te kullanılan anahtar terimleri öğrenelim:

Dönem	kullanım
Cluster	Küme, verileri bir arada tutan ve birleşik indeksleme ve arama yetenekleri sağlayan bir düğümler topluluğudur.
Düğüm	Düğüm bir elasticsearch Örneğidir. Bir elasticsearch örneği başladığında oluşturulur.
indeks	Dizin, benzer özelliklere sahip belgelerin bir koleksiyonudur. örneğin müşteri verileri, ürün kataloğu. İndeksleme, arama, güncelleme ve silme işlemlerini gerçekleştirirken oldukça kullanışlıdır. Tek bir kümede birden fazla dizin tanımlamanıza olanak tanır.
belge	İndekslenebilen temel bilgi birimidir. JSON (anahtar: değer) çifti ile ifade edilir. '{“kullanıcı”: “nullcon”}'. Her bir Belge bir tür ve benzersiz bir kimlikle ilişkilendirilir.
çömlek kırığı	Her dizin, verileri dağıtabilmek için birkaç parçaya bölünebilir. Parça, daha fazla düğüm eklemek isterseniz küme üzerinde dağıtılabilen bir dizinin atomik kısmıdır.

Nedir? Logstash?

Logstash veri toplama hattı aracıdır. Veri girişlerini toplar ve Elasticsearch'e beslenir. Farklı kaynaklardan her türlü veriyi toplar ve daha sonra kullanıma hazır hale getirir.

Logstash farklı kaynaklardan gelen verileri birleştirebilir ve verileri istediğiniz hedeflere göre normalleştirebilir. Kullanım durumlarının analizi ve görselleştirilmesi için tüm verilerinizi temizlemenize ve demokratikleştirmenize olanak tanır.

Üç bileşenden oluşur:

• Giriş: günlüklerin makine tarafından anlaşılabilecek biçimde işlenmesi için iletilmesi
• Filtre: Belirli bir eylemi veya olayı gerçekleştirmek için bir dizi koşuldur
• Çıktı: İşlenen olay veya günlük için karar verici

Özellikleri Logstash

Şimdi bu LogStash eğitiminde, LogStash'in özelliklerini öğrenelim:

• Olaylar her aşamadan dahili kuyruklar kullanılarak geçirilir
• Günlükleriniz için farklı girişlere izin verir
• Günlükleriniz için filtreleme/ayrıştırma

Avantajı Logstash

• Teklifler veri işlemeyi merkezileştirir
• Çok çeşitli yapılandırılmış/yapılandırılmamış verileri ve olayları analiz eder
• ELK LogStash, çeşitli giriş kaynakları ve platformlarla bağlantı kurmak için eklentiler sunar

Kibana nedir?

Kibana, ELK yığınını tamamlayan bir veri görselleştirmesidir. Bu araç, Elasticsearch belgelerini görselleştirmek için kullanılır ve geliştiricilerin bunlara hızlı bir bakış açısı edinmelerine yardımcı olur. Kibana panosu, karmaşık sorguları görselleştirmek için çeşitli etkileşimli diyagramlar, coğrafi konum verileri ve grafikler sunar.

Elasticsearch dizinlerinde depolanan verileri aramak, görüntülemek ve bunlarla etkileşimde bulunmak için kullanılabilir. Kibana ileri düzeyde performans göstermenize yardımcı olur veri analizi ve verilerinizi çeşitli tablo, grafik ve haritalarda görselleştirin.

Kibana'da verileriniz üzerinde arama yapmanın farklı yöntemleri vardır.

En yaygın arama türleri şunlardır:

Arama Tipi	kullanım
Serbest metin aramaları	Belirli bir dizeyi aramak için kullanılır
Alan düzeyinde aramalar	Belirli bir alandaki bir dizeyi aramak için kullanılır
Mantıksal ifadeler	Aramaları mantıksal bir ifadede birleştirmek için kullanılır.
Yakınlık aramaları	Belirli karakter yakınlığındaki terimleri aramak için kullanılır.

Şimdi bu Kibana eğitiminde Kibana'nın önemli özelliklerini öğrenelim:

Kinbana'nın özellikleri:

• Elastik kümeden indekslenmiş bilgileri görselleştirebilen güçlü ön uç kontrol paneli
• Dizine alınmış bilgilerin gerçek zamanlı aranmasını sağlar
• Elasticsearch'te depolanan verileri arayabilir, görüntüleyebilir ve bunlarla etkileşimde bulunabilirsiniz.
• Veriler üzerinde sorgular yürütün ve sonuçları grafiklerde, tablolarda ve haritalarda görselleştirin
• Elasticsearch'te logstash günlüklerini dilimlemek ve ayırmak için yapılandırılabilir gösterge paneli
• Grafikler, çizelgeler vb. biçiminde geçmiş verileri sağlama yeteneği.
• Kolayca yapılandırılabilen gerçek zamanlı kontrol panelleri
• Kibana ElasticSearch, indekslenmiş bilgilerin gerçek zamanlı aranmasını sağlar

Kinbana'nın Avantajları ve Dezavantajları

• Kolay görselleştirme
• Elasticsearch ile tam entegre
• görselleştirme aracı
• Gerçek zamanlı analiz, grafik oluşturma, özetleme ve hata ayıklama yetenekleri sunar
• İçgüdüsel ve kullanıcı dostu bir arayüz sağlar
• Aranan günlüklerin anlık görüntülerinin paylaşılmasına izin verir
• Kontrol panelinin kaydedilmesine ve birden fazla kontrol panelinin yönetilmesine izin verir

Neden Log Analizi?

Bulut tabanlı ortam altyapılarında performans ve izolasyon çok önemlidir. Buluttaki sanal makinelerin performansı, belirli yüklere, ortamlara ve sistemdeki aktif kullanıcı sayısına göre değişiklik gösterebilir. Bu nedenle güvenilirlik ve düğüm hatası önemli bir sorun haline gelebilir.

Günlük yönetimi platformu yukarıda belirtilen tüm sorunların yanı sıra işlem işletim sistemi günlüklerini, NGINX'i, web trafiği analizi için IIS sunucu günlüğünü, uygulama günlüklerini ve AWS'deki günlükleri izleyebilir (Amazon web hizmetleri).

Günlük yönetimi, DevOps mühendislerinin ve sistem yöneticisinin daha iyi iş kararları almasına yardımcı olur. Bu nedenle Elastic Stack veya benzeri araçlarla log analizi yapılması önemlidir.

ELK, Splunk'a Karşı

Kanada geyiği	Splunk
Elk açık kaynaklı bir araçtır	Splunk ticari bir araçtır.
Elk yığını sunmuyor Solaris Kibana sayesinde taşınabilirlik.	Splunk teklifleri Solaris Taşınabilirlik.
İşleme hızı kesinlikle sınırlıdır.	Doğru ve hızlı süreçler sunar.
ELK, Elastic Search kombinasyonuyla oluşturulmuş bir teknoloji yığınıdır.Logstash-Kibana.	Splunk tescilli bir araçtır. Hem şirket içi hem de bulut çözümleri sunar.
ELK'da Arama, Analiz ve Görselleştirme ancak ELK yığını kurulduktan sonra mümkün olacaktır.	Splunk hizmetinizde olan eksiksiz bir veri yönetimi paketidir.
ELK aracı diğer araçlarla entegrasyonu desteklemez.	Splunk, diğer araçlarla entegrasyonlar kurmak için kullanışlı bir araçtır.

Durum çalışmaları

Netflix

Netflix ELK yığınına büyük ölçüde güveniyor. Şirket, müşteri hizmetleri operasyonunun güvenlik günlüğünü izlemek ve analiz etmek için ELK yığınını kullanıyor. Neredeyse 800 düğümden oluşan on beşten fazla kümedeki belgeleri indekslemelerine, saklamalarına ve aramalarına olanak tanır.

LinkedIn

Ünlü sosyal medya pazarlama sitesi LinkedIn, performansı ve güvenliği izlemek için ELK yığınını kullanıyor. BT ekibi, yüklerini gerçek zamanlı olarak desteklemek için ELK'yi Kafka ile entegre etti. ELK operasyonları altı farklı veri merkezinde 100'den fazla kümeyi içeriyor.

tripwire

Tripwire dünya çapında bir Güvenlik Bilgileri Olay Yönetim sistemidir. Şirket, bilgi paketi günlük analizini desteklemek için ELK'yi kullanıyor.

Orta

Medium ünlü bir blog yayınlama platformudur. Üretim sorunlarının hatalarını ayıklamak için ELK yığınını kullanıyorlar. Şirket ayrıca tespit etmek için ELK'yi kullanıyor DynamoDB sıcak noktalar. Üstelik şirket, bu yığını kullanarak 25 milyon tekil okuyucunun yanı sıra her hafta yayınlanan binlerce gönderiyi de destekleyebiliyor.

ELK yığınının Avantajları ve Dezavantajları

Avantajlar

• ELK, bir kuruluşun çeşitli Uygulamalarından gelen günlükler tek bir ELK örneğinde birleştiğinde en iyi şekilde çalışır

• Bu tek örnek için harika bilgiler sağlar ve aynı zamanda yüzlerce farklı günlük veri kaynağında oturum açma ihtiyacını da ortadan kaldırır.
• Hızlı yerinde kurulum
• Dağıtımı kolay Dikey ve yatay olarak ölçeklenir
• Elastic, Ruby'yi de içeren bir dizi dil istemcisi sunar. Python. PHP, Perl, .NET, Java, ve JavaSenaryo ve daha fazlası
• Farklı programlama ve kodlama dilleri için kütüphanelerin mevcudiyeti

Dezavantajlar

• Karmaşık kurulumlara geçtiğinizde, yığındaki farklı bileşenlerin kullanımı zorlaşabilir
• Deneme yanılma gibisi yoktur. Böylece, ne kadar çok yaparsanız, yol boyunca o kadar çok şey öğrenirsiniz

ÖZET

• Merkezi günlük kaydı, sunucular veya uygulamalarla ilgili sorunları belirlemeye çalışırken yararlı olabilir
• ELK sunucu yığını, merkezi kayıt sistemiyle ilgili sorunları çözmek için kullanışlıdır
• ELK yığını, Elasticsearch'ün üç açık kaynak aracından oluşan bir koleksiyondur. Logstash Kibana
• Elasticsearch bir NoSQL veritabanıdır
• Logstash veri toplama ardışık düzeni aracıdır
• Kibana, ELK yığınını tamamlayan bir veri görselleştirmesidir
• Bulut tabanlı ortam altyapılarında performans ve izolasyon çok önemlidir
• ELK'de yığın işleme hızı kesinlikle sınırlıdır, oysa Splunk doğru ve hızlı süreçler sunar
• Netflix, LinkedIn, Tripware ve Medium'un tümü işlerinde ELK yığınını kullanıyor
• ELK Syslog, bir kuruluşun çeşitli Uygulamalarından gelen günlükler tek bir ELK örneğinde birleştiğinde en iyi şekilde çalışır
• Karmaşık kurulumlara geçtiğinizde, yığındaki farklı bileşenlerin kullanımı zorlaşabilir

bizim başvurun ElasticSearch Röportaj Soruları ve Cevapları hem yeni hem de deneyimli adaylar için.