Підручник Splunk для початківців: що таке Splunk Tool? Як використовувати?

Автор: Девід Картер Девід Картер
Hours оновлений

⚡ Розумний підсумок

Splunk — це платформа даних, яка збирає, індексує та співвідносить машинно згенеровані дані в режимі реального часу, а потім перетворює їх на події, панелі інструментів, сповіщення та візуалізації з можливістю пошуку, що підтримують моніторинг, усунення несправностей, аналіз безпеки та прийняття бізнес-рішень у всій організації.

  • 🔎 Основна мета: Splunk збирає, індексує та співвідносить дані про роботу машин у режимі реального часу, щоб команди могли шукати журнали та діагностувати проблеми з одного місця.
  • 🧩 Видання: Оберіть Splunk Enterprise для великих розгортань, Splunk Cloud для розміщеного сервісу або безкоштовний Splunk Light для аналізу журналів у невеликому масштабі.
  • 🏗️ Archiтекстура: Універсальні пересилачі, важкі пересилачі, індексатори, пошукові головки, сервер розгортання та менеджер ліцензій утворюють багаторівневий конвеєр.
  • ️ Потік даних: Перехідники збирають дані, індексатор аналізує та зберігає події, а пошуковий головок виконує SPL-запити для аналізу.
  • 🔐 Поширене використання: Splunk широко використовується для ІТ-моніторингу, аналізу першопричин та управління інформацією та подіями безпеки (SIEM).
  • 💡 Практичне розуміння: Перевірте свої індекси та підтвердьте події, що порушують роботу, і позначки часу, щоб пошук залишався швидким і точним.
  • 🇧🇷 Компроміси: Splunk забезпечує потужний пошук та звітність, але ліцензування може стати дорогим за великих обсягів даних, тому альтернативи включають ELK та Sumo Logic.
Детальніше

Підручник зі Splunk для початківців, що охоплює архітектуру, компоненти та принципи роботи Splunk

Що таке Splunk?

Сплин – це програмна платформа, яка використовується для моніторингу, пошуку, аналізу та візуалізації машинно згенерованих даних у режимі реального часу. Вона фіксує, індексує та співвідносить потокові дані всередині репозиторію з можливістю пошуку, а потім створює графіки, сповіщення, інформаційні панелі та візуалізації. Оскільки Splunk забезпечує легкий доступ до даних журналів та подій по всій організації, команди покладаються на нього для швидкої діагностики, моніторингу ІТ-операцій та навіть управління інформацією про безпеку та подіями (SIEM).

Навіщо нам потрібен Splunk?

Панель інструменту моніторингу Splunk, що відображає видимість у режимі реального часу

Інструмент моніторингу Splunk пропонує багато переваг для організації. Основні переваги використання Splunk:

  • Забезпечує покращений графічний інтерфейс з видимістю в режимі реального часу через інтерактивні панелі інструментів.
  • Скорочує час усунення несправностей та їх вирішення, повертаючи миттєві результати.
  • Служить добре підходящим інструментом для аналізу першопричин.
  • Дозволяє створювати графіки, сповіщення та інформаційні панелі на основі ваших даних.
  • Дозволяє легко шукати та досліджувати певні результати.
  • Допомагає вам усунути будь-які несправності для покращення продуктивності.
  • Відстежує бізнес-показники, щоб ви могли приймати обґрунтовані рішення.
  • Дозволяє включати Штучний Інтелект у вашу стратегію даних.
  • Збирає корисну операційну інформацію з даних вашої машини.
  • Узагальнює та збирає цінну інформацію з різних журналів.
  • Приймає майже будь-який тип даних, включаючи .csv, JSON та поширені формати журналів.
  • Забезпечує потужний пошук, аналіз та візуалізацію для користувачів усіх типів.
  • Створює центральне сховище для пошуку даних Splunk з багатьох джерел.

Особливості Splunk

Ключові особливості Splunk включають наступне:

  • Прискорює розробку та тестування.
  • Дозволяє створювати додатки для роботи з даними в режимі реального часу.
  • Допомагає вам швидше генерувати рентабельність інвестицій.
  • Підтримує гнучку статистику та звітність з архітектурою реального часу.
  • Пропонує пошук, аналіз та візуалізацію, що розширюють можливості користувачів усіх типів.

Продукція Splunk

Splunk доступний у трьох різних версіях, кожна з яких орієнтована на різний масштаб використання:

  • Splunk Enterprise
  • Splunk Light
  • Splunk Cloud

Splunk Enterprise

Splunk Enterprise використовується великими ІТ-компаніями. Він допомагає збирати та аналізувати дані з програм, веб-сайтів, серверів та інших джерел.

Splunk Cloud

Splunk Cloud — це розміщена платформа, яка пропонує ті ж функції, що й версія Enterprise. Ви можете отримати її безпосередньо від Splunk або через Хмарна платформа AWS.

Splunk Light

Splunk Light — це безкоштовна версія, яка дозволяє шукати, створювати звіти та змінювати дані журналів. Вона має обмежений функціонал порівняно з іншими версіями та найкраще підходить для невеликого використання, індексуючи до 500 МБ даних на день.

Сплин Archiтектура

Тепер, коли ви розібралися з випусками, давайте розглянемо архітектуру Splunk та її основні структурні блоки:

Діаграма архітектури Splunk, що показує пересилачі, індексатор та заголовок пошуку
Сплин Archiтектура

Нижче наведено основні компоненти архітектури Splunk:

Універсальний експедитор (UF)

Універсальний пересилач, або UF, — це легкий агент, який передає дані важкому пересилачу Splunk. Ви можете встановити його на клієнтській машині або сервері додатків, і його єдиним завданням буде пересилання даних журналу.

Балансувальник навантаження (LB)

Балансувальник навантаження – це балансувальник Splunk за замовчуванням. Однак він також дозволяє використовувати власний персоналізований балансувальник навантаження.

Важкий форвард (HF)

Heavy Forwarder — це складніший компонент, який дозволяє фільтрувати дані перед їх переміщенням, наприклад, збираючи лише журнали помилок.

Indexer

Індексатор зберігає та індексує вхідні дані, що покращує продуктивність пошуку Splunk. За замовчуванням Splunk індексує автоматично, використовуючи такі поля, як хост, джерело, дата й час.

Пошуковий керівник (SH)

Пошуковий заголовок використовується для отримання аналітичних даних та створення звітів. Саме тут користувачі пишуть запити SPL (мова обробки пошуку) для дослідження індексованих даних.

Сервер розгортання (DS)

Сервер розгортання допомагає розгортати конфігурації, наприклад, оновлювати файл конфігурації Universal Forwarder, і може ділитися налаштуваннями між кількома компонентами Splunk.

Менеджер ліцензій (LM)

Менеджер ліцензій tracЛіцензування ks базується на обсягу та використанні (наприклад, 50 ГБ на день). Splunk регулярно перевіряє ці ліцензійні дані.

Як працює Splunk?

Тепер давайте розглянемо, як працює Splunk, відстежуючи дані від збору до аналізу:

Як працює Splunk: від пересилача до індексатора для пошуку потоку даних заголовка
Як працює Splunk

Експедитор

Пересилач збирає дані з віддалених машин і пересилає їх індексатору майже в режимі реального часу.

Indexer

Індексатор обробляє вхідні дані в режимі реального часу. Він також зберігає та індексує дані на диску.

Голова пошуку

Кінцеві користувачі взаємодіють зі Splunk через Search Head, який дозволяє їм шукати, аналізувати та візуалізувати індексовані дані.

Програми Splunk

Щоб побачити Splunk у дії, розглянемо реальний приклад. Постановка проблеми: McDonald's не мав чіткого уявлення про те, які рекламні пропозиції працюють найкраще. Серед факторів, що впливали на це, були:

  • Тип пропозиції (наприклад, знижка 20%)
  • Культурні відмінності на регіональному рівні
  • Час покупки
  • Пристрій, яким користується клієнт
  • Revenue, що генерується за замовлення

Компанії потрібно було зрозуміти поведінку споживачів та їхню реакцію.

У всьому процесі використовувалися три типи джерел даних:

  1. Замовлення, зроблені в ресторані McDonald's
  2. Замовлення, оформлені через мобільний додаток
  3. Замовлення, оформлені через веб-застосунок

Потім дані переходили від одного етапу до наступного, як показано на діаграмі нижче.

Діаграма того, як Splunk обробляє дані замовлень McDonald's з різних джерел

вхід

Вхідні дані переходять на етап розбору.

Parsing

На етапі парсингу відповідні дані перетворюються на події:

  • Регіон клієнта
  • Revenue за замовлення
  • Час замовлення (ранок, день, вечір, ніч)
  • Пристрій, який використовують клієнти (мобільний телефон, ПК, планшет)
  • Застосовані купони на знижку

Етап індексації

На цьому етапі події сортуються та індексуються для зберігання на основі:

  • Продажі за географічним розташуванням
  • Дохід від замовлення
  • Час замовлення (ранок, день, вечір, ніч)
  • Пристрій, яким користується клієнт
  • Купон застосовано

Голова пошуку

Пошукова головка використовується для отримання розвідувальних даних та створення звітів.

Макдональдс використав це, щоб відповісти на такі запитання:

  • Яка пропозиція продажу найкраще працює в якому географічному місці?
  • Як поведінка клієнтів впливає на дохід від замовлень?
  • Який найкращий час для застосування гамбургерів чи комбінованих пропозицій?

Як Splunk допоміг?

  • Відображалися всі замовлення, що надходять з певного регіону, в режимі реального часу.
  • Визначив ефективність різних рекламних пропозицій у режимі реального часу.
  • Контролював роботу власних систем точок продажу McDonald's.
  • Дозвольте співробітникам відстежувати відгуки клієнтів та розуміти їх очікування.
  • Проаналізовано швидкість різних способів оплати.
  • Визначено безпомилкові способи оплати.

СТАТТІ ПО ТЕМІ

Найкращі практики використання Splunk

  • Спочатку протестуйте свій індекс, щоб мати змогу швидко запускати тести.
  • Правильно заповнюйте ключові поля під час індексації; все інше можна створювати або змінювати лише після індексації.
  • Переривання подій відбувається автоматично в Splunk, тому переконайтеся, що він правильно визначає початок і кінець кожної події.
  • Splunk може автоматично визначати позначку часу, але якщо ваш формат журналу використовує іншу позначку часу, налаштуйте її вручну.

Відомі компанії, які використовують Splunk

Деякі відомі компанії, що використовують Splunk, включають:

  • Cisco
  • Bosch
  • IBM
  • Motorola
  • PepsiCo
  • саман
  • Visa
  • Adidas
  • Facebook
  • Salesforce
  • Walmart

Альтернативи Splunk

1) Site24x7Керування журналами

Site24x7 надає централізований хмарний інструмент керування журналами для всієї вашої інфраструктури. Він автоматично розпізнає журнали програм і забезпечує готову підтримку для понад 100 програм.

Site24x7 управління журналами

Основні особливості Site24x7Інструмент керування журналами:

  • Підтримує понад 100 типів журналів, включаючи журнали хмарної платформи.
  • Забезпечує легке керування будь-якими журналами за допомогою простого налаштування.
  • Забезпечує зручний пошук на основі мови запитів.
  • Підтримує широкий спектр форматів журналів (JSON, багаторядковий, ключ-значення, XML та інші).
  • Clusterповідомлення на основі подібності шаблонів.
  • Пропонує ІТ-автоматизацію для автоматичного відновлення інцидентів.
  • Надсилає сповіщення третіх сторін за допомогою таких інструментів, як Microsoft Teams, ServiceNow, PagerDuty, Opsgenie, Jira, Webhooks, Zendeskта Zoho Cliq.

Visit Site24x7 >>

2) Sumo Logic

Sumo Logic допомагає вам підтримувати інфраструктуру ваших застосунків, а пошук і аналіз даних журналів у режимі реального часу спрощуються. Інструмент дозволяє відстежувати та візуалізувати як історичні, так і реальні події.

Посилання для скачування: https://www.sumologic.com/

3) Fluentd

Fluentd — це безкоштовний збірник даних з відкритим кодом. Він зберігає ваші журнали в буфері файлової системи, щоб ви могли отримати їх у будь-який час, а також пропонує такі функції, як балансування навантаження та повторні спроби для додаткової надійності.

Посилання для скачування: https://www.fluentd.org/

4) Стек ELK

Команда Стек ЛОСИ дозволяє користувачам отримувати дані з будь-якого джерела, у будь-якому форматі, а також шукати, аналізувати та візуалізувати їх. Він пропонує централізоване ведення журналу, що корисно під час виявлення проблем із серверами або програмами.

Посилання для скачування: https://www.elastic.co/elk-stack

5) LogFaces

LogFaces – це ще одна альтернатива Splunk, яка дозволяє надсилати запити електронною поштою та зберігати дані журналів у вашому приміщенні. Вона постачається як простий у використанні десктопний застосунок.

Посилання для скачування: http://www.moonlit-software.com/

Недоліки використання Splunk

Незважаючи на свої переваги, Splunk має кілька недоліків, про які варто зазначити:

  • Splunk може стати дорогим для великих обсягів даних.
  • Його інформаційні панелі функціональні, але не завжди такі ефективні, як деякі спеціалізовані інструменти моніторингу.
  • Крива навчання досить крута; оскільки він використовує багаторівневу архітектуру, вам потрібне навчання та час, щоб опанувати її.
  • Пошукові запити можуть бути важкими для розуміння, особливо регулярні вирази та синтаксис пошуку.

Поширені запитання

SPL, або мова обробки пошуку, – це вбудована мова запитів Splunk. Вона поєднує пошукові терміни, команди, функції та речення для фільтрації, перетворення та звітування про індексовані події. Вивчення SPL є важливим, оскільки саме так користувачі отримують інформацію з даних у пошуковому заголовку.

Splunk пропонує безкоштовну версію Splunk Light разом із безкоштовною ліцензією, яка індексує до 500 МБ даних на день і не має терміну дії. Платні плани Splunk Enterprise та Splunk Cloud визначають вартість переважно залежно від щоденного обсягу даних або робочого навантаження.

Splunk — це платформа для аналізу даних, але разом із застосунком Enterprise Security вона також працює як повноцінна SIEM-система. Вона збирає та зіставляє журнали безпеки, виявляє загрози, генерує сповіщення та підтримує розслідування, саме тому багато центрів операцій безпеки покладаються на неї.

Splunk — це комерційна універсальна платформа з відшліфованими функціями та підтримкою. Стек ЛОСИ має відкритий вихідний код та високі можливості налаштування. Splunk використовує SPL для запитів; ELK використовує Query DSL. Splunk швидше розгортається, але ELK часто коштує менше при великому масштабі.

Splunk має помірну криву навчання. Його встановлення та виконання базового пошуку є простими, але опанування SPL, регулярних виразів та його багаторівневої архітектури вимагає практики. Початківці можуть почати з безкоштовної версії та отримати зразки даних, перш ніж переходити до розгортання у виробничому середовищі.

Splunk надає сертифікації на основі ролей, включаючи Core Certified User, Core Certified Power User, Certified Admin та Advanced. tracks для архітекторів, розробників та фахівців з корпоративної безпеки. Ці облікові дані підтверджують вашу здатність шукати, створювати інформаційні панелі та керувати розгортаннями Splunk, і вони цінні для кар'єрного зростання.

Splunk включає функції машинного навчання та штучного інтелекту, які виявляють аномалії, прогнозують тенденції та автоматично кластеризують схожі події. Помічники ШІ також можуть перекладати запитання простою англійською мовою на SPL та узагальнювати журнали з шумом, допомагаючи...ping аналітики швидше знаходять першопричини, хоча інженер завжди повинен перевіряти результати.

Так. ChatGPT може пояснити концепції Splunk та скласти SPL-запити з опису, Копілот GitHub пропонує файли конфігурації та скрипти у вашому редакторі. Завжди тестуйте згенерований SPL та налаштування, оскільки ШІ може посилатися на застарілі команди або значення за замовчуванням.

Підсумуйте цей пост за допомогою: