Splunk 初学者教程：什么是 Splunk 工具？如何使用？

由： 大卫卡特 大卫卡特
Hours 更新

⚡ 智能摘要

Splunk 是一个数据平台，它实时收集、索引和关联机器生成的数据，然后将其转换为可搜索的事件、仪表板、警报和可视化，从而支持整个组织的监控、故障排除、安全分析和业务决策。

  • 🔎 核心宗旨： Splunk 捕获、索引和关联实时机器数据，以便团队可以在一个地方搜索日志并诊断问题。
  • 🧩 版本： 对于大型部署，请选择 Splunk Enterprise；对于托管服务，请选择 Splunk Cloud；对于小规模日志分析，请选择免费的 Splunk Light。
  • ????️ 结 构： 通用转发器、重型转发器、索引器、搜索头、部署服务器和许可证管理器构成多层管道。
  • ⚙️ 数据流： 转发器收集数据，索引器解析和存储事件，搜索头运行 SPL 查询进行分析。
  • 🔐 常见用途： Splunk 被广泛用于 IT 监控、根本原因分析以及安全信息和事件管理 (SIEM)。
  • ???? 实用见解： 测试您的索引并确认事件中断和时间戳，以确保搜索保持快速准确。
  • ️ 权衡： Splunk 提供强大的搜索和报告功能，但数据量大时许可费用可能很高，因此 ELK 和 Splunk 是其他替代方案。 Sumo Logic.
阅读更多

面向初学者的 Splunk 教程，涵盖架构、组件以及 Splunk 的工作原理。

什么是Splunk？

Splunk的 Splunk 是一个用于实时监控、搜索、分析和可视化机器生成数据的软件平台。它捕获、索引和关联流数据，并将其存储在可搜索的存储库中，然后生成图表、警报、仪表板和可视化内容。由于 Splunk 使整个组织能够轻松访问日志和事件数据，因此团队依赖 Splunk 来进行快速诊断、IT 运维监控，甚至用于安全信息和事件管理 (SIEM)。

我们为什么需要 Splunk？

Splunk监控工具仪表板显示实时可见性

Splunk监控工具能为企业带来诸多益处。使用Splunk的主要优势包括：

  • 通过交互式仪表盘提供增强的图形用户界面和实时可见性。
  • 通过即时返回结果，减少故障排除和问题解决时间。
  • 是进行根本原因分析的理想工具。
  • 可让您根据数据生成图表、警报和仪表板。
  • 方便搜索和调查特定结果。
  • 帮助您排查任何故障情况，从而提高性能。
  • 监控业务指标，以便您做出明智的决策。
  • 允许您合并 人工智能 融入您的数据策略中。
  • 从机器数据中收集有用的运营情报。
  • 汇总并收集来自不同日志的有用信息。
  • 接受几乎所有数据类型，包括 .csv、JSON 和常见日志格式。
  • 为各类用户提供强大的搜索、分析和可视化功能。
  • 创建一个中央存储库，用于搜索来自多个来源的 Splunk 数据。

Splunk 的功能

Splunk 的主要功能包括以下几点：

  • 加快开发和测试速度。
  • 让您能够构建实时数据应用程序。
  • 帮助您更快地获得投资回报。
  • 支持采用实时架构的敏捷统计和报告。
  • 提供搜索、分析和可视化功能，为各类用户赋能。

Splunk 产品

Splunk 提供三个不同的版本，每个版本都针对不同的使用规模：

  • Splunk Enterprise
  • Splunk 光
  • Splunk云

Splunk Enterprise

Splunk 企业版被大型 IT 企业广泛使用。它可以帮助您收集和分析来自应用程序、网站、服务器和其他来源的数据。

Splunk云

Splunk Cloud 是一个托管平台，提供与企业版相同的功能。您可以直接从 Splunk 获取，也可以通过其他途径获取。 AWS 云平台.

Splunk 光

Splunk Light 是一个免费版本，可用于搜索、报告和修改日志数据。与其他版本相比，它的功能有限，最适合小规模使用，每天最多可索引 500 MB 的数据。

Splunk的 Archi质地

现在您已经了解了各个版本，接下来让我们看看 Splunk 的架构及其主要组成部分：

Splunk架构图，展示了转发器、索引器和搜索头。
Splunk的 Archi质地

以下是 Splunk 架构的基本组成部分：

通用转发器（UF）

通用转发器（Universal Forwarder，简称UF）是一个轻量级代理，负责将数据推送至功能强大的Splunk转发器。您可以将其安装在客户端计算机或应用服务器上，它的唯一作用就是转发日志数据。

负载均衡器（LB）

负载均衡器是 Splunk 的默认负载均衡器。不过，您也可以使用自定义的负载均衡器。

重型集材机（HF）

重型转发器是一个更强大的组件，它允许您在数据继续传输之前对其进行筛选——例如，仅收集错误日志。

索引

索引器负责存储和索引传入的数据，从而提升 Splunk 的搜索性能。默认情况下，Splunk 会自动使用主机、来源、日期和时间等字段进行索引。

搜索头（SH）

搜索头用于获取情报和生成报告。用户可以在这里编写 SPL（搜索处理语言）查询来探索索引数据。

部署服务器 (DS)

部署服务器可帮助您部署配置（例如，更新通用转发器配置文件），并且可以在多个 Splunk 组件之间共享设置。

许可证管理器 (LM)

许可证管理器 tracks 许可基于数据量和使用量（例如，每天 50 GB）。Splunk 会定期检查这些许可详情。

Splunk 如何工作？

现在让我们一起来了解 Splunk 的工作原理，追踪数据从收集到分析的整个过程：

Splunk 的工作原理：数据流从转发器到索引器再到搜索头。
Splunk 的工作原理

货代

转发器从远程机器收集数据，并近乎实时地将其转发到索引器。

索引

索引器实时处理传入的数据，并将数据存储在磁盘上并建立索引。

搜索头

最终用户通过搜索头与 Splunk 进行交互，从而可以搜索、分析和可视化索引数据。

Splunk 的应用

要了解 Splunk 的实际应用，请看一个真实案例。问题陈述：麦当劳无法清楚地了解哪些促销活动效果最佳。涉及的因素包括：

  • 优惠类型（例如，八折）
  • 区域层面的文化差异
  • 购买时间
  • 客户使用的设备
  • Rev每个订单生成

公司需要深入了解消费者行为和客户反馈。

整个过程使用了三种类型的数据源：

  1. 在麦当劳门店下的订单
  2. 通过移动应用程序下的订单
  3. 通过网络应用程序下的订单

然后，数据从一个阶段流向下一个阶段，如下图所示。

Splunk如何处理来自不同来源的麦当劳订单数据的示意图

输入

输入数据进入解析阶段。

解析

在解析阶段，相关数据被转换为事件：

  • 客户区域
  • Rev按订单执行
  • 订购时间（上午、下午、晚上、夜间）
  • 客户使用的设备（手机、电脑、平板电脑）
  • 已使用折扣券

索引阶段

在此阶段，将根据以下内容对事件进行排序和索引以进行存储：

  • 按地理位置划分的销售额
  • 订单收入
  • 订购时间（上午、下午、晚上、夜间）
  • 客户使用的设备
  • 已使用优惠券

搜索头

搜索头用于获取情报和生成报告。

麦当劳用它来回答以下问题：

  • 哪种销售优惠在哪个地理位置最有效？
  • 客户行为如何影响订单收入？
  • 什么时候最适合申请汉堡或套餐优惠？

Splunk 如何提供帮助？

  • 实时显示来自特定地区的所有订单。
  • 实时测定不同促销活动的效果。
  • 监控麦当劳内部销售点系统的性能。
  • 让员工监控客户反馈并了解客户期望。
  • 分析了不同支付方式的速度。
  • 已确定无误的支付方式。

相关文章

使用 Splunk 的最佳实践

  • 请先测试您的索引，以便您可以快速运行测试。
  • 在建立索引时确保关键字段正确；其他所有内容只能在建立索引之后才能创建或修改。
  • Splunk 会自动进行事件中断，因此请确认它能够正确检测到每个事件的开始和结束。
  • Splunk 可以自动检测时间戳，但如果您的日志格式使用不同的时间戳，则需要手动配置。

使用 Splunk 的知名公司

使用 Splunk 的一些知名公司包括：

  • Cisco
  • Bosch
  • IBM
  • 摩托罗拉
  • 百事公司
  • Adobe
  • 签证
  • Adidas
  • Facebook
  • Salesforce
  • Walmart

Splunk 的替代方案

1) Site24x7的日志管理

Site24x7 它为您的整个基础架构堆栈提供集中式、基于云的日志管理工具。它可以自动识别应用程序日志，并为超过 100 种应用程序提供开箱即用的支持。

Site24x7 日志管理

的主要特点 Site24x7的日志管理工具：

  • 支持超过 100 种日志类型，包括云平台日志。
  • 通过简单的自定义设置，即可轻松管理任何日志。
  • 提供用户友好的、基于查询语言的搜索功能。
  • 支持多种日志格式（JSON、多行、键值、XML 等）。
  • Cluster基于模式相似性的消息。
  • 提供用于自动修复事件的 IT 自动化功能。
  • 通过诸如以下工具发送第三方警报： Microsoft Teams、ServiceNow、PagerDuty、Opsgenie、Jira、Webhooks、 Zendesk以及 Zoho Cliq。

访问 Site24x7 >>

2) Sumo Logic

Sumo Logic 该工具可帮助您维护应用程序基础架构，并可轻松实时搜索和分析日志数据。它还允许您监控和可视化历史事件和实时事件。

下载链接： https://www.sumologic.com/

3) Fluentd

Fluentd 是一个免费的开源数据收集器。它会将日志保存到文件系统缓冲区，以便您可以随时检索它们，并且它还提供负载均衡和重试等功能，以增强稳定性。

下载链接： https://www.fluentd.org/

4) ELK Stack

此 麋鹿栈 它允许用户从任何来源、以任何格式获取数据，并进行搜索、分析和可视化。它提供集中式日志记录，这有助于识别服务器或应用程序的问题。

下载链接： https://www.elastic.co/elk-stack

5）LogFaces

LogFaces 是 Splunk 的另一个替代方案，它允许您通过电子邮件发送查询并将日志数据存储在您的本地。它以易于使用的桌面应用程序的形式提供。

下载链接： http://www.moonlit-software.com/

使用 Splunk 的缺点

尽管 Splunk 有诸多优点，但也存在一些值得注意的缺点：

  • 对于大数据量，Splunk 的成本可能会很高。
  • 它的仪表盘功能齐全，但并非总是像某些专用仪表盘那样有效。 监控工具.
  • 学习曲线很陡峭；因为它采用了多层架构，所以需要培训和时间才能掌握它。
  • 搜索操作可能难以理解，尤其是正则表达式和搜索语法。

常见问题

SPL，即搜索处理语言，是 Splunk 的内置查询语言。它结合了搜索词、命令、函数和子句，用于过滤、转换和报告已索引的事件。学习 SPL 至关重要，因为用户正是通过它从搜索头内部的数据中获取洞察。

Splunk 提供免费版本 Splunk Light，以及每日索引高达 500 MB 数据且永不过期的免费许可证。付费的 Splunk Enterprise 和 Splunk Cloud 套餐主要根据每日数据量或工作负载定价。

Splunk是一个数据分析平台，但通过企业安全应用，它也能作为一套完整的安全信息和事件管理（SIEM）系统使用。它可以收集和关联安全日志、检测威胁、发出警报并支持调查，因此许多安全运营中心都依赖它。

Splunk 是一个商业化的一体化平台，拥有完善的功能和支持，而 麋鹿栈 Splunk 是开源且高度可定制的。Splunk 使用 SPL 进行查询；ELK 使用查询 DSL。Splunk 部署速度更快，但 ELK 在规模化部署时通常成本更低。

Splunk 的学习曲线适中。安装和运行基本搜索都很简单，但要精通 SPL、正则表达式及其多层架构则需要练习。初学者可以先从免费版和示例数据入手，然后再逐步过渡到生产环境部署。

Splunk 提供基于角色的认证，包括核心认证用户、核心认证高级用户、认证管理员和高级管理员认证。 trac面向架构师、开发人员和企业安全人员的 Splunk 认证。这些认证能够验证您搜索、构建仪表板和管理 Splunk 部署的能力，并且对职业发展大有裨益。

Splunk 包含机器学习和人工智能功能，可以自动检测异常、预测趋势并对相似事件进行聚类。人工智能助手还可以将纯英语问题翻译成 Splunk 语言，并总结嘈杂的日志，提供帮助。ping 分析师能更快地找到根本原因，但工程师始终应该验证结果。

是的。 ChatGPT 能够解释 Splunk 概念并根据描述起草 SPL 查询， GitHub 副驾驶 建议您在编辑器内添加配置文件和脚本。务必测试生成的 SPL 和设置，因为 AI 可能会引用过时的命令或默认值。

总结一下这篇文章：