Pentaho 数据集成教程

⚡ 智能摘要

Pentaho 数据集成教程介绍了开源 ETL 平台,也称为 Kettle。 Less内容涵盖 Pentaho 的历史、应用、先决条件、组件、转换、作业、安装以及使用 Pentaho 的优缺点。

  • 🛠️ Pentaho是什么? Pentaho 是一款开源 BI 套件,包含 ETL、报表、OLAP 和数据挖掘工具。
  • 🔁 Kettle ETL: Pentaho 数据集成工具 Kettle 可以构建可视化 ETL 转换和作业。
  • 📋 转型与工作: 转换处理数据流行;作业协调更高级别的工作流控制。
  • 🌐 广泛的连接性: 可连接到关系数据库、大数据源、文件、云存储和 SaaS API。
  • 📊 报表套件: 嵌入式报表、仪表盘和 Mondrian OLAP 为业务用户提供分析服务。
  • 🤖 人工智能集成: 将 Pentaho ETL 与 AI 服务结合使用,实现预测评分和自动化数据质量控制。

Pentaho 数据集成教程

什么是 Pentaho BI?

Pentaho的 是一款商业智能工具,可为客户提供广泛的商业智能解决方案。它具有报告、数据分析、数据集成、数据挖掘等功能。Pentaho 还提供了一套全面的 BI 功能,可帮助您提高业务绩效和效率。

Pentaho 的功能

以下是 Pentaho 的重要特性:

  • 满足商业智能需求的 ETL 功能
  • 了解 Pentaho 报表设计器
  • 产品专长
  • 提供并排子报告
  • 解锁新功能
  • 专业支持
  • 查询和报告
  • 提供增强的功能
  • 来自数据源的完整运行时元数据支持

Pentaho BI 套件

现在,我们将在本 Pentaho 教程中学习 Pentaho BI 套件:

Pentaho BI 套件
Pentaho BI 套件

Pentaho BI Suite包括以下组件:

Pentaho 报告

Pentaho Reporting 依赖于 JFreeReport 项目。它可以帮助您满足业务报告需求。该组件还提供 XLS、PDF、TXT 和 HTML 等流行格式的计划和按需报告发布。

信号分析

它提供广泛的分析功能,包括数据透视表视图。该工具提供增强的 GUI 功能(使用 Flash 或 SVG)、集成的仪表板小部件、门户和工作流集成。

此外,Pentaho 电子表格服务允许用户在 MS Excel 中浏览、透视和使用图表。

仪表板

仪表板提供报告和分析功能,为 Pentaho 仪表板提供内容。自助式仪表板设计器包含大量内置仪表板模板和布局。它允许业务用户在很少的培训下构建个性化仪表板。

数据挖掘

数据挖掘工具 发现隐藏的模式和未来表现的指标。它提供了来自 Weka 项目的最全面的机器学习算法集,其中包括聚类、决策树、随机森林、主成分分析、神经网络。

它允许您以图形方式查看数据、以编程方式与数据交互,或使用多个数据源进行报告、进一步分析和其他流程。

Pentaho 数据集成

此组件用于集成任何存在的数据。

丰富的转换库,包含超过 150 种开箱即用的地图ping 对象。

它支持广泛的数据源,包括 30 多个开源和专有数据库平台、平面文件。它还有助于 大数据分析 与 Hadoop 数据的集成和管理。

谁在使用 Pentaho BI?

Pentaho BI 是许多软件专业人士广泛使用的工具,例如:

  • 开源软件程序
  • 商业分析师和研究员
  • 大学生
  • 商业智能顾问

如何在 AWS 中安装 Pentaho

以下是如何在 AWS 中安装 Pentaho 的分步过程。

步骤1) 点击继续订阅
在MyCAD中点击 软件更新 https://aws.amazon.com/marketplace/pp/prodview-mce2xdbgie4ro 并点击继续

在 AWS 中安装 Pentaho

步骤2) 接受条款和条件
在下一页上,接受许可协议

在 AWS 中安装 Pentaho

步骤3) 单击继续配置
继续配置

在 AWS 中安装 Pentaho

步骤4) 点击继续启动
保持设置默认,然后单击启动

在 AWS 中安装 Pentaho

步骤5) 等待 5 分钟以启动实例
查看使用说明并等待

在 AWS 中安装 Pentaho

步骤6) 获取公网 IP
复制实例的公网 IP。

在 AWS 中安装 Pentaho

步骤7) 使用公网IP登录
粘贴实例的公网 IP 以访问 Pentaho。

在 AWS 中安装 Pentaho

Pentaho 的先决条件

  • 硬件要求
  • 软件要求
  • 下载并安装 Bl 套件
  • 启动 Bl 套件
  • Bl 套房的管理

硬件要求

Pentaho Bl Suite 软件对计算机或网络硬件没有任何限制,只要您能满足最低软件要求即可。安装此商业智能工具非常简单。但是,建议使用一组系统规格:

内存 最低 2GB
硬盘空间 最低 1GB
处理器 双核 EM64T 或 AMD64

软件要求

  • 安装 Sun JRE 5.0
  • 环境可以是 32 位或 64 位
  • 支持 Opera系统:Linux, Solaris, Windows,Mac
  • 具有现代 Web 浏览器界面(例如 Chrome、Internet Explorer)的工作站 Firefox

启动 Bl-server

  • On Windows 从开始按钮单击启动 Bl 服务器图标。
  • 在 Linux 操作系统上,在 /biserver-ce/directory 上运行 start-pentaho 脚本

启动管理员服务器

  • On Windows 从开始按钮单击启动 Bl 企业服务器。
  • 对于 Linux:转到命令窗口并运行 /biserver-ce/administration-console/directory 中的启动脚本。

停止管理员服务器

  • 要在 Windows 中停止服务器,请单击停止双服务器图标。
  • 在 Linux 上。您需要转到终端并转到安装目录并运行 stop.bat

Pentaho 管理控制台

报表设计器

它是一款高级报告创建工具。如果您想构建完整的数据驱动报告,那么这款工具就是您的理想选择。与 Pentaho 用户控制台的临时报告功能相比,此工具提供了更多的灵活性和功能。

设计工作室

它是一个 Eclipse基于工具。它允许您手动编辑报告或分析。它广泛用于对现有报告添加无法使用报告设计器添加的修改。

聚合设计器

这个图形工具可以帮助您提高 Mondrian 立方体的效率。

元数据编辑器

它用于向任何现有数据源添加自定义元数据层。

Pentaho 数据集成

水壶trac转换、转换和加载 (ETL) 工具,它能够

Pentaho 工具与 BI 堆栈

Pentaho 工具 BI 堆栈
数据集成(PDI) ETL
它提供元数据编辑器 提供元数据管理
Pentaho BA 数据分析
报表设计器 Opera国家报告
西库 临时报告
CDE 仪表板
Pentaho 用户控制台(PUC) 治理/监控

Pentaho 的优势

现在,在本 Pentaho 数据集成教程中,我们将了解 Pentaho 商业智能工具的一些优点:

  • Pentaho BI 是一款非常直观的工具。只要掌握一些基本概念,就可以使用它。
  • 简单易用的商业智能工具
  • 提供广泛的 BI 功能,包括报告、仪表板、交互式分析、数据集成、数据挖掘等。
  • 具有用户友好的界面,并提供各种工具从多个数据源检索数据
  • 提供单一软件包来处理数据
  • 有一个拥有大量贡献者的社区版和企业版。
  • 在 Hadoop 集群上运行的能力
  • Java在步骤组件中编写的脚本代码可以在其他组件中重复使用。

Pentaho 的缺点

以下是使用 Pentaho BI 工具的缺点/缺点:

  • 接口设计可能比较弱,所有组件没有统一的接口。
  • 与其他 BI 工具相比,工具演变速度要慢得多。
  • Pentaho 商业分析提供有限数量的组件。
  • 社区支持不佳。因此,如果您没有获得可用的组件,则需要等到下一个版本发布。

常见问题

Kettle 是 Pentaho Data Integration(ETL 组件)的原名。Pentaho 是一个更全面的套件,它将 Kettle 与报表、OLAP、仪表盘和数据挖掘工具捆绑在一起。

是的。AI 助手可以生成转换步骤、建议连接并解释 Kettle 表达式。它们可以加快新数据工程师的上手速度,并为他们提供优化的作业编排方案。

AI 通过调用外部评分服务与 Pentaho 集成 Python 步骤包括:标记异常情况、预测模式漂移,并推荐在数据仓库加载之前捕获脏数据的规则。

是的。日立Vantara除了提供商业企业版之外,还维护着Pentaho社区版。社区版包含核心的ETL、报表和分析功能,适用于自托管部署。

转换操作同时处理经过多个步骤的数据行。作业则负责协调更高级别的流程控制,按顺序运行转换操作,并设置条件、重试机制和错误处理。

Pentaho 连接到 MySQL, PostgreSQL, OracleSQL Server、Hadoop、 Spark通过内置插件和 JDBC 驱动程序,支持 REST API、CSV、JSON、XML、云存储和许多 SaaS 应用程序。

是的,Pentaho可以部署在AWS上。 Azure, Google Cloud日立提供基于容器镜像的 Kubernetes 和云原生 ETL 部署的托管服务和参考架构。

初学者一周就能完成第一个转换。而要掌握作业编排、性能调优和集群执行,通常需要三到六个月的 ETL 项目实践经验。

总结一下这篇文章: