Tutorial Tumpukan ELK: Apa itu Kibana, Logstash & Pencarian elastis?

• E singkatan dari ElasticSearch: digunakan untuk menyimpan log
• L singkatan dari LogStash : digunakan untuk pengiriman serta pemrosesan dan penyimpanan log
• K singkatan dari Kibana: adalah a alat visualisasi (antarmuka web) yang dihosting melalui Nginx atau Apache

ElasticSearch, LogStash, dan Kibana semuanya dikembangkan, dikelola, dan dipelihara oleh perusahaan bernama Elastic.

ELK Stack dirancang untuk memungkinkan pengguna mengambil data dari sumber apa pun, dalam format apa pun, dan untuk mencari, menganalisis, dan memvisualisasikan data tersebut secara real time.

Tumpukan ELK Architekstur

Sekarang dalam tutorial tumpukan ELK ini, kita akan mempelajari tentang arsitektur ELK:

Berikut adalah arsitektur sederhana tumpukan ELK

• Log: Log server yang perlu dianalisis diidentifikasi
• Logstash: Kumpulkan log dan data peristiwa. Ia bahkan mem-parsing dan mengubah data
• Pencarian Elastis: Data yang diubah dari Logstash is Simpan, Cari, dan diindeks.
• Kibana: Kibana menggunakan Elasticsearch DB untuk Menjelajahi, Memvisualisasikan, dan Berbagi

Namun diperlukan satu komponen lagi atau pengumpulan data yang disebut Beats. Hal ini menyebabkan Elastic mengganti nama ELK menjadi Elastic Stack.

Saat menangani data dalam jumlah sangat besar, Anda mungkin memerlukan Kafka dan RabbitMQ untuk buffering dan ketahanan. Untuk keamanan, nginx dapat digunakan.

Sekarang dalam tutorial tumpukan elastis ini, Mari selami lebih dalam semua produk sumber terbuka ini:

Apa itu Elasticsearch?

Elasticsearch adalah a Basis data NoSQL. Ini didasarkan pada mesin pencari Lucene, dan dibangun dengan RESTful APIS. Ia menawarkan penerapan yang sederhana, keandalan maksimum, dan pengelolaan yang mudah. Ia juga menawarkan kueri tingkat lanjut untuk melakukan analisis detail dan menyimpan semua data secara terpusat. Ini berguna untuk melakukan pencarian dokumen dengan cepat.

Elasticsearch juga memungkinkan Anda untuk menyimpan, mencari, dan menganalisis data dalam jumlah besar. Alat ini sebagian besar digunakan sebagai mesin dasar untuk mendukung aplikasi yang memenuhi persyaratan pencarian. Alat ini telah diadopsi dalam platform mesin pencari untuk aplikasi web dan seluler modern. Selain pencarian cepat, alat ini juga menawarkan analitik yang kompleks dan banyak fitur canggih.

Fitur pencarian elastis

• Server pencarian sumber terbuka ditulis menggunakan Java
• Digunakan untuk mengindeks semua jenis data heterogen
• Memiliki antarmuka web REST API dengan output JSON
• Pencarian Teks Lengkap
• Pencarian Hampir Waktu Nyata (NRT).
• Penyimpanan dokumen JSON yang dapat direplikasi dan direplikasi
• Penyimpanan dokumen terdistribusi bebas skema, REST & JSON
• Dukungan multi-bahasa & Geolokasi

Keuntungan dari Elasticsearch

• Simpan data tanpa skema dan juga buat skema untuk data Anda
• Memanipulasi catatan data Anda demi catatan dengan bantuan API Multi-dokumen
• Lakukan pemfilteran dan kueri data Anda untuk mendapatkan wawasan
• Berdasarkan Apache Lucene dan menyediakan RESTful API
• Memberikan skalabilitas horizontal, keandalan, dan kemampuan multitenant untuk penggunaan pengindeksan secara real-time guna mempercepat pencarian
• Membantu Anda menskalakan secara vertikal dan horizontal

Istilah Penting yang digunakan dalam Pencarian Elastis

Sekarang dalam tutorial ELK ini, mari pelajari tentang istilah-istilah kunci yang digunakan di ElasticSearch:

Istilah	penggunaan
Cluster	Klaster adalah kumpulan node yang bersama-sama menampung data dan menyediakan kemampuan pengindeksan dan pencarian gabungan.
Node	Sebuah node adalah Instance elasticsearch. Itu dibuat ketika instance elasticsearch dimulai.
Indeks	Indeks adalah kumpulan dokumen yang memiliki karakteristik serupa. misalnya data pelanggan, katalog produk. Ini sangat berguna saat melakukan operasi pengindeksan, pencarian, pembaruan, dan penghapusan. Ini memungkinkan Anda untuk menentukan sebanyak mungkin indeks dalam satu cluster.
Dokumen	Ini adalah unit dasar informasi yang dapat diindeks. Hal ini dinyatakan dalam pasangan JSON (kunci: nilai). '{"pengguna": "nullcon"}'. Setiap Dokumen dikaitkan dengan tipe dan id unik.
Beling	Setiap indeks dapat dibagi menjadi beberapa pecahan untuk dapat mendistribusikan data. Pecahan adalah bagian atom dari suatu indeks, yang dapat didistribusikan ke seluruh klaster jika Anda ingin menambahkan lebih banyak node.

Apa itu Logstash?

Logstash adalah alat saluran pengumpulan data. Ini mengumpulkan input data dan memasukkannya ke dalam Elasticsearch. Ini mengumpulkan semua jenis data dari sumber berbeda dan membuatnya tersedia untuk digunakan lebih lanjut.

Logstash dapat menyatukan data dari sumber berbeda dan menormalkan data ke tujuan yang Anda inginkan. Hal ini memungkinkan Anda membersihkan dan mendemokratisasi semua data Anda untuk analisis dan visualisasi kasus penggunaan.

Ini terdiri dari tiga komponen:

• Memasukkan: meneruskan log untuk memprosesnya ke dalam format yang dapat dimengerti mesin
• filter: Ini adalah serangkaian kondisi untuk melakukan tindakan atau peristiwa tertentu
• Keluaran: Pengambil keputusan untuk peristiwa atau log yang diproses

Fitur Logstash

Sekarang dalam tutorial LogStash ini, mari pelajari tentang fitur-fitur LogStash:

• Peristiwa dilewatkan melalui setiap fase menggunakan antrian internal
• Mengizinkan masukan berbeda untuk log Anda
• Memfilter/mengurai log Anda

Keuntungan dari Logstash

• Penawaran memusatkan pemrosesan data
• Ini menganalisis berbagai macam data dan peristiwa terstruktur/tidak terstruktur
• ELK LogStash menawarkan plugin untuk terhubung dengan berbagai jenis sumber input dan platform

Apa itu Kibana?

Kibana adalah visualisasi data yang melengkapi tumpukan ELK. Alat ini digunakan untuk memvisualisasikan dokumen Elasticsearch dan membantu pengembang untuk mendapatkan wawasan cepat tentangnya. Dasbor Kibana menawarkan berbagai diagram interaktif, data geospasial, dan grafik untuk memvisualisasikan kebutuhan yang kompleks.

Ini dapat digunakan untuk mencari, melihat, dan berinteraksi dengan data yang disimpan di direktori Elasticsearch. Kibana membantu Anda tampil tingkat lanjut analisis data dan visualisasikan data Anda dalam berbagai tabel, bagan, dan peta.

Di Kibana ada metode berbeda untuk melakukan pencarian pada data Anda.

Berikut adalah jenis pencarian yang paling umum:

Pencarian Tipe	penggunaan
Pencarian teks gratis	Digunakan untuk mencari string tertentu
Pencarian tingkat lapangan	Digunakan untuk mencari string dalam bidang tertentu
Pernyataan logis	Ini digunakan untuk menggabungkan pencarian menjadi pernyataan logis.
Pencarian kedekatan	Digunakan untuk mencari istilah dalam kedekatan karakter tertentu.

Sekarang dalam tutorial Kibana ini, mari pelajari tentang fitur-fitur penting Kibana:

Fitur Kinbana:

• Dasbor front-end yang kuat yang mampu memvisualisasikan informasi yang diindeks dari cluster elastis
• Memungkinkan pencarian informasi yang diindeks secara real-time
• Anda dapat mencari, Melihat, dan berinteraksi dengan data yang disimpan di Elasticsearch
• Jalankan kueri pada data & visualisasikan hasil dalam bagan, tabel, dan peta
• Dasbor yang dapat dikonfigurasi untuk mengiris dan membagi log logstash di elasticsearch
• Mampu menyajikan data historis dalam bentuk grafik, diagram, dan lain-lain.
• Dasbor waktu nyata yang mudah dikonfigurasi
• Kibana ElasticSearch memungkinkan pencarian informasi yang diindeks secara real-time

Kelebihan dan Kekurangan Kinbana

• Visualisasi yang mudah
• Terintegrasi penuh dengan Elasticsearch
• Alat visualisasi
• Menawarkan kemampuan analisis, pembuatan bagan, ringkasan, dan debugging secara real-time
• Menyediakan antarmuka naluriah dan ramah pengguna
• Memungkinkan berbagi snapshot dari log yang dicari
• Mengizinkan menyimpan dasbor dan mengelola beberapa dasbor

Mengapa Analisis Log?

Dalam infrastruktur lingkungan berbasis cloud, kinerja dan isolasi sangatlah penting. Performa mesin virtual di cloud dapat bervariasi berdasarkan beban spesifik, lingkungan, dan jumlah pengguna aktif dalam sistem. Oleh karena itu, keandalan dan kegagalan node dapat menjadi masalah yang signifikan.

Platform manajemen log dapat memantau semua masalah yang diberikan di atas serta memproses log sistem operasi, NGINX, log server IIS untuk analisis lalu lintas web, log aplikasi, dan log di AWS (Amazon layanan web).

Manajemen log membantu insinyur DevOps, admin sistem untuk membuat keputusan bisnis yang lebih baik. Oleh karena itu, analisis log melalui Elastic Stack atau alat serupa adalah penting.

Rusa besar vs. Splunk

Rusa besar	Splunk
Elk adalah alat sumber terbuka	Splunk adalah alat komersial.
Tumpukan rusa tidak menawarkan Solaris Portabilitas karena Kibana.	Penawaran Splunk Solaris Portabilitas.
Kecepatan pemrosesan sangat dibatasi.	Menawarkan proses yang akurat dan cepat.
ELK adalah tumpukan teknologi yang dibuat dengan kombinasi Elastic Search-Logstash-Kibana.	Splunk adalah alat berpemilik. Ini memberikan solusi on-premise dan cloud.
Dalam ELK Pencarian, Analisis & Visualisasi hanya dapat dilakukan setelah tumpukan ELK disiapkan.	Splunk adalah paket manajemen data lengkap yang dapat Anda gunakan.
Alat ELK tidak mendukung integrasi dengan alat lain.	Splunk adalah alat yang berguna untuk mengatur integrasi dengan alat lain.

Studi Kasus

NetFlix

Netflix sangat bergantung pada tumpukan ELK. Perusahaan menggunakan tumpukan ELK untuk memantau dan menganalisis log keamanan operasi layanan pelanggan. Hal ini memungkinkan mereka untuk mengindeks, menyimpan, dan mencari dokumen dari lebih dari lima belas cluster yang terdiri dari hampir 800 node.

LinkedIn

Situs pemasaran media sosial terkenal LinkedIn menggunakan ELK stack untuk memantau kinerja dan keamanan. Tim IT mengintegrasikan ELK dengan Kafka untuk mendukung beban mereka secara real time. Operasi ELK mereka mencakup lebih dari 100 cluster di enam pusat data berbeda.

Tripwire

Tripwire adalah sistem Manajemen Peristiwa Informasi Keamanan di seluruh dunia. Perusahaan menggunakan ELK untuk mendukung analisis log paket informasi.

Medium

Medium adalah platform penerbitan blog yang terkenal. Mereka menggunakan tumpukan ELK untuk men-debug masalah produksinya. Perusahaan juga menggunakan ELK untuk mendeteksi DynamoDB hotpot. Selain itu, dengan menggunakan tumpukan ini, perusahaan dapat mendukung 25 juta pembaca unik serta ribuan postingan yang diterbitkan setiap minggunya.

Kelebihan dan Kekurangan tumpukan ELK

Kelebihan

• ELK berfungsi paling baik ketika log dari berbagai Aplikasi suatu perusahaan digabungkan menjadi satu instance ELK

• Ini memberikan wawasan luar biasa untuk satu contoh ini dan juga menghilangkan kebutuhan untuk masuk ke ratusan sumber data log yang berbeda
• Instalasi cepat di lokasi
• Mudah untuk menyebarkan Timbangan secara vertikal dan horizontal
• Elastic menawarkan sejumlah klien bahasa termasuk Ruby. Python. PHP, Perl, .NET, Java, dan JavaSkrip, dan lainnya
• Ketersediaan perpustakaan untuk berbagai bahasa pemrograman dan skrip

Kekurangan

• Komponen yang berbeda dalam tumpukan bisa menjadi sulit untuk ditangani ketika Anda beralih ke pengaturan yang rumit
• Tidak ada yang seperti trial and error. Jadi, semakin banyak Anda melakukannya, semakin banyak Anda belajar sepanjang prosesnya

Kesimpulan

• Pencatatan log terpusat dapat berguna ketika mencoba mengidentifikasi masalah pada server atau aplikasi
• Tumpukan server ELK berguna untuk menyelesaikan masalah terkait sistem logging terpusat
• ELK stack adalah kumpulan dari tiga alat open source Elasticsearch, Logstash Kibana
• Elasticsearch adalah basis data NoSQL
• Logstash adalah alat saluran pengumpulan data
• Kibana adalah visualisasi data yang melengkapi tumpukan ELK
• Dalam infrastruktur lingkungan berbasis cloud, kinerja dan isolasi sangatlah penting
• Dalam kecepatan pemrosesan tumpukan ELK sangat terbatas Splunk menawarkan proses yang akurat dan cepat
• Netflix, LinkedIn, Tripware, Medium semuanya menggunakan ELK stack untuk bisnis mereka
• ELK Syslog berfungsi paling baik ketika log dari berbagai Aplikasi suatu perusahaan digabungkan menjadi satu instans ELK
• Komponen yang berbeda dalam tumpukan bisa menjadi sulit untuk ditangani ketika Anda beralih ke pengaturan yang rumit

Rujuk kami Pertanyaan dan Jawaban Wawancara ElasticSearch untuk kandidat yang lebih segar dan berpengalaman.