Samouczek Splunk dla początkujących: Co to jest narzędzie Splunk? Jak używać?
David Carter
⚡ Inteligentne podsumowanie
Splunk to platforma danych, która gromadzi, indeksuje i koreluje dane generowane maszynowo w czasie rzeczywistym, a następnie przekształca je w przeszukiwalne zdarzenia, pulpity nawigacyjne, alerty i wizualizacje, które wspomagają monitorowanie, rozwiązywanie problemów, analizę bezpieczeństwa i podejmowanie decyzji biznesowych w całej organizacji.
Co to jest Splunk?
Splunk to platforma programowa służąca do monitorowania, wyszukiwania, analizowania i wizualizacji danych generowanych maszynowo w czasie rzeczywistym. Przechwytuje, indeksuje i koreluje dane strumieniowe w przeszukiwalnym repozytorium, a następnie generuje wykresy, alerty, pulpity nawigacyjne i wizualizacje. Ponieważ Splunk ułatwia dostęp do danych z dzienników i zdarzeń w całej organizacji, zespoły korzystają z niego w celu szybkiej diagnostyki, monitorowania operacji IT, a nawet zarządzania informacjami i zdarzeniami bezpieczeństwa (SIEM).
Dlaczego potrzebujemy Splunka?
Narzędzie do monitorowania Splunk oferuje organizacji wiele korzyści. Główne zalety korzystania ze Splunk to:
- Oferuje udoskonalony interfejs graficzny z widocznością w czasie rzeczywistym poprzez interaktywne pulpity nawigacyjne.
- Skraca czas rozwiązywania problemów i uzyskiwania rozwiązań dzięki natychmiastowym wynikom.
- Dobrze sprawdza się jako narzędzie do analizy przyczyn źródłowych.
- Umożliwia generowanie wykresów, alertów i pulpitów nawigacyjnych na podstawie danych.
- Ułatwia wyszukiwanie i badanie konkretnych wyników.
- Pomaga rozwiązywać problemy i poprawiać wydajność.
- Monitoruje wskaźniki biznesowe, umożliwiając podejmowanie świadomych decyzji.
- Umożliwia włączenie Artificial Intelligence w swoją strategię dotyczącą danych.
- Gromadzi przydatne informacje operacyjne z danych Twojej maszyny.
- Podsumowuje i zbiera cenne informacje z różnych dzienników.
- Akceptuje niemal wszystkie typy danych, w tym .csv, JSON i popularne formaty dzienników.
- Zapewnia zaawansowane funkcje wyszukiwania, analizy i wizualizacji dla użytkowników wszelkiego typu.
- Tworzy centralne repozytorium umożliwiające wyszukiwanie danych Splunk w wielu źródłach.
Cechy Splunk'a
Główne cechy Splunk obejmują:
- Przyspiesza rozwój i testowanie.
- Umożliwia tworzenie aplikacji wykorzystujących dane w czasie rzeczywistym.
- Pomaga szybciej generować zwrot z inwestycji (ROI).
- Obsługuje zwinne statystyki i raportowanie przy użyciu architektury czasu rzeczywistego.
- Oferuje funkcje wyszukiwania, analizy i wizualizacji, które zwiększają możliwości użytkowników wszelkiego typu.
Produkty firmy Splunk
Splunk jest dostępny w trzech różnych edycjach, z których każda jest przeznaczona do innego zakresu zastosowań:
- Firma Splunk
- Splunkowe Światło
- Splunk Chmura
Firma Splunk
Splunk Enterprise Edition jest używany przez duże firmy IT. Pomaga zbierać i analizować dane z aplikacji, stron internetowych, serwerów i innych źródeł.
Splunk Chmura
Splunk Cloud to hostowana platforma oferująca te same funkcje, co wersja Enterprise. Można ją uzyskać bezpośrednio od Splunk lub za pośrednictwem Platforma chmurowa AWS.
Splunkowe Światło
Splunk Light to darmowa wersja, która umożliwia wyszukiwanie, raportowanie i modyfikowanie danych z dziennika. Ma ograniczoną funkcjonalność w porównaniu z innymi edycjami i najlepiej sprawdza się w zastosowaniach na małą skalę, indeksując do 500 MB danych dziennie.
Splunk Architektura
Teraz, gdy znasz już edycje, przyjrzyjmy się architekturze Splunk i jej głównym elementom:
Poniżej przedstawiono podstawowe komponenty architektury Splunk:
Uniwersalny forwarder (UF)
Universal Forwarder, czyli UF, to lekki agent, który przesyła dane do ciężkiego forwardera Splunk. Można go zainstalować na komputerze klienckim lub serwerze aplikacji, a jego jedynym zadaniem jest przekazywanie danych z logów.
Moduł równoważenia obciążenia (LB)
Moduł równoważenia obciążenia jest domyślnym modułem równoważenia obciążenia w Splunku. Pozwala on jednak również na korzystanie z własnego, spersonalizowanego modułu równoważenia obciążenia.
Ciężki forwarder (HF)
Heavy Forwarder to cięższy komponent, który umożliwia filtrowanie danych przed ich przesłaniem — na przykład zbieranie tylko dzienników błędów.
Indeksator
Indeksator przechowuje i indeksuje przychodzące dane, co poprawia wydajność wyszukiwania w Splunk. Domyślnie Splunk indeksuje automatycznie, wykorzystując pola takie jak host, źródło oraz data i godzina.
Głowa wyszukiwania (SH)
Nagłówek wyszukiwania służy do pozyskiwania informacji i generowania raportów. To tutaj użytkownicy wpisują zapytania w języku SPL (Search Processing Language), aby eksplorować zaindeksowane dane.
Serwer wdrożeniowy (DS)
Serwer wdrożeniowy ułatwia wdrażanie konfiguracji — na przykład aktualizowanie pliku konfiguracji Universal Forwarder — i umożliwia udostępnianie ustawień wielu komponentom Splunk.
Menedżer licencji (LM)
Menedżer licencji tracLicencjonowanie ks, które opiera się na wolumenie i wykorzystaniu (na przykład 50 GB dziennie). Splunk regularnie sprawdza szczegóły dotyczące tych licencji.
Jak działa Splunk?
Przyjrzyjmy się teraz, jak działa Splunk, prześledźmy dane od momentu ich zebrania aż do momentu analizy:
Spedytor
Forwarder zbiera dane ze zdalnych maszyn i przesyła je do Indeksatora niemal w czasie rzeczywistym.
Indeksator
Indeksator przetwarza przychodzące dane w czasie rzeczywistym. Przechowuje i indeksuje również dane na dysku.
Głowa wyszukiwania
Użytkownicy końcowi komunikują się ze Splunkiem za pośrednictwem modułu Search Head, który umożliwia wyszukiwanie, analizowanie i wizualizację indeksowanych danych.
Zastosowania Splunk
Aby zobaczyć Splunk w akcji, rozważmy przykład z życia wzięty. Sformułowanie problemu: McDonald's nie miał jasnej wizji, które oferty promocyjne są najskuteczniejsze. Czynniki, które miały na to wpływ, obejmowały:
- Rodzaj oferty (np. 20% zniżki)
- Różnice kulturowe na poziomie regionalnym
- Czas zakupu
- Urządzenie używane przez Klienta
- Revenue generowane na zamówienie
Firma potrzebowała wiedzy na temat zachowań konsumentów i ich reakcji.
Cały proces wykorzystywał trzy rodzaje źródeł danych:
- Zamówienia złożone w lokalu McDonald's
- Zamówienia składane za pośrednictwem aplikacji mobilnej
- Zamówienia składane za pośrednictwem aplikacji internetowej
Następnie dane przepływały z jednego etapu do następnego, jak pokazano na poniższym diagramie.
Wkład
Dane wejściowe trafiają do etapu analizy składniowej.
Rozbiór gramatyczny zdania
Na etapie analizy składniowej odpowiednie dane są konwertowane na zdarzenia:
- Region klienta
- Revna zamówienie
- Godzina zamówienia (rano, po południu, wieczorem, w nocy)
- Urządzenie używane przez klientów (telefon komórkowy, komputer, tablet)
- Zastosowano kupony rabatowe
Etap indeksowania
Na tym etapie zdarzenia są sortowane i indeksowane w celu przechowywania w oparciu o:
- Sprzedaż według lokalizacji geograficznej
- Przychód z zamówienia
- Godzina zamówienia (rano, po południu, wieczorem, w nocy)
- Urządzenie używane przez Klienta
- Zastosowano kupon
Głowa wyszukiwania
Głowica Wyszukiwania służy do zdobywania informacji wywiadowczych i sporządzania raportów.
McDonald's wykorzystał tę metodę, aby odpowiedzieć na następujące pytania:
- Która oferta sprzedaży sprawdza się najlepiej w jakiej lokalizacji geograficznej?
- Jak zachowanie klienta wpływa na przychód z zamówienia?
- Jaki jest najlepszy moment na skorzystanie z ofert burgerów lub kombinacji?
Jak Splunk pomógł?
- Pokazano w czasie rzeczywistym wszystkie zamówienia pochodzące z określonego regionu.
- Określono, jak różne oferty promocyjne działają w czasie rzeczywistym.
- Monitorowanie wydajności wewnętrznych systemów sprzedaży McDonald's.
- Pozwól pracownikom monitorować opinie klientów i zrozumieć ich oczekiwania.
- Przeanalizowano szybkość różnych metod płatności.
- Zidentyfikowano metody płatności wolne od błędów.
Najlepsze praktyki korzystania ze Splunk
- Najpierw przetestuj swój indeks, co umożliwi szybkie uruchomienie testów.
- Pola kluczowe należy wprowadzić poprawnie w momencie indeksowania; wszystkie inne można utworzyć lub zmodyfikować dopiero po indeksowaniu.
- Rozbijanie zdarzeń odbywa się w programie Splunk automatycznie, dlatego należy sprawdzić, czy program prawidłowo wykrywa początek i koniec każdego zdarzenia.
- Splunk potrafi automatycznie wykryć znacznik czasu, ale jeśli format Twojego dziennika używa innego znacznika czasu, skonfiguruj go ręcznie.
Znane firmy korzystające ze Splunk
Niektóre znane firmy korzystające ze Splunka to:
- Cisco
- Bosch
- IBM
- Motorola
- PepsiCo
- Adobe
- Visa
- Adidas
- Salesforce
- Walmart
Alternatywy dla Splunka
1) Site24x7Zarządzanie logami
Site24x7 Zapewnia scentralizowane, oparte na chmurze narzędzie do zarządzania logami dla całego stosu infrastruktury. Automatycznie rozpoznaje logi aplikacji i zapewnia gotowe wsparcie dla ponad 100 aplikacji.
Kluczowe cechy Site24x7narzędzie do zarządzania logami:
- Obsługuje ponad 100 typów logów, w tym logi platformy chmurowej.
- Umożliwia łatwe zarządzanie dowolnymi dziennikami dzięki prostej personalizacji.
- Zapewnia przyjazne użytkownikowi wyszukiwanie oparte na języku zapytań.
- Obsługuje szeroki zakres formatów dzienników (JSON, wielowierszowe, klucz-wartość, XML i inne).
- Clusterwiadomości oparte na podobieństwie wzorców.
- Oferuje automatyzację IT w celu automatycznego naprawiania incydentów.
- Wysyła alerty stron trzecich za pomocą narzędzi takich jak: Microsoft Teams, ServiceNow, PagerDuty, Opsgenie, Jira, Webhooki, Zendeski Zoho Cliq.
2) Sumo Logic
Sumo Logic Pomaga w utrzymaniu infrastruktury aplikacji, a wyszukiwanie i analizowanie danych z logów w czasie rzeczywistym jest proste. Narzędzie umożliwia monitorowanie i wizualizację zdarzeń historycznych i bieżących.
Download link: https://www.sumologic.com/
3) Fluentd
Fluentd to darmowy, otwartoźródłowy moduł do zbierania danych. Zapisuje logi w buforze FS, dzięki czemu można je odzyskać w dowolnym momencie. Oferuje również funkcje takie jak równoważenie obciążenia i ponawianie prób, co zwiększa niezawodność.
Download link: https://www.fluentd.org/
4) Stos ELK
Stos ELK Umożliwia użytkownikom pobieranie danych z dowolnego źródła i w dowolnym formacie, a także ich wyszukiwanie, analizę i wizualizację. Oferuje scentralizowane rejestrowanie, co jest pomocne w identyfikowaniu problemów z serwerami lub aplikacjami.
Download link: https://www.elastic.co/elk-stack
5) LogFace
LogFaces to kolejna alternatywa dla Splunka, która umożliwia wysyłanie zapytań e-mailem i przechowywanie danych logów w Twojej lokalizacji. Jest dostępna jako łatwa w obsłudze aplikacja desktopowa.
Download link: http://www.moonlit-software.com/
Wady korzystania ze Splunk
Mimo swoich zalet, Splunk ma kilka wad, o których warto wspomnieć:
- W przypadku dużych ilości danych Splunk może okazać się kosztowny.
- Jego pulpity nawigacyjne są funkcjonalne, ale nie zawsze tak skuteczne, jak niektóre dedykowane narzędzia do monitorowania.
- Krzywa uczenia się jest stroma; ponieważ wykorzystuje architekturę wielowarstwową, opanowanie jej wymaga szkolenia i czasu.
- Wyszukiwania mogą być trudne do zrozumienia, zwłaszcza wyrażenia regularne i składnia wyszukiwania.
