Talend教程：什么是Talend ETL工具？

什么是 Talend？

Talend 是一个开源软件平台，提供数据集成和数据管理解决方案。Talend 的专长在于 大数据 集成。该平台提供云、大数据、企业应用集成、数据质量和主数据管理等功能。它还提供统一的存储库，用于存储和重用元数据。

Talend 一直以来都提供开源版和付费版，并广泛用于云计算和大数据集成工作。

重要状态更新： Qlik 于 2023 年 5 月完成了对 Talend 的收购，并于 2024 年 1 月 31 日停止了免费版 Talend Open Studio 的服务——不再提供托管、补丁或更新。商业平台继续以 Qlik Talend Cloud 的形式运营。以下章节将介绍 Open Studio 在支持期间的运行方式，这仍然是理解其工作原理的最清晰方式。 ETL工具 组装在一起。

Talend 的历史

以下里程碑 trac从法国研发项目 Talend 到 Qlik 云平台内部的数据集成和质量引擎。

年份	里程碑
2002	研发与生产
2005	公司成立-第一轮融资 AGF 私募股权和 Galle Partners
2006	Open Studio V1.0-上线运营
2007	集成套件/第二轮融资已结束
2008	打开剖析器/数据质量
2009	集成套件 RTx/MPx/MDM 采集
2010	IDM 社区版/MDM 企业版
2011	开放工作室 V5
2014	OW2 最佳项目
2015	公认的引领潮流的产品
2016	100 倍
2017	Gartner 数据集成工具魔力象限
2021	Stitch 的原生集成 Amazon Redshift 控制台
2021	Thoma Bravo 将 Talend 私有化，交易估值约为 2.4 亿美元。
2023	Qlik（同样由Thoma Bravo支持）于5月完成了对Talend的收购。
2024	Talend Open Studio 已于 1 月 31 日停止更新；其免费桌面版将不再接收任何更新。
2024	作为Qlik Talend Cloud的继任平台，Qlik Talend Cloud将于7月正式发布，新增AI增强型数据管道、数据产品和数据市场。
2024	Talend MDM 服务器将于 12 月 31 日停止维护；Talend 7.3 将于 11 月停止标准支持。
2025	Qlik Talend Cloud 新增了知识库任务，这些任务可将数据向量化以用于 RAG 应用程序，此外，Qlik Cloud Catalog 中还增加了 Talend Studio 作业沿袭信息。
2025	11 月版本带来了针对受监管数据产品的一键式 API 端点、自动化字段文档、AI 建议的数据质量规则和数据管理功能。
2026	在四月份的 Qlik Connect 大会上，Qlik 发布了智能体数据工程：声明式管道、Talend Studio 的 AI 助手、实时路由和原生 Open Lakehouse Streaming。
2026	Talend 7.3 的付费扩展支持将于 12 月结束，届时 Talend 8 或 Qlik Talend Cloud 将成为唯一受支持的版本。

Talend 产品套件

Talend 产品套件包含 3 个主要产品，如下所述。

人才大数据

Talend 可以利用图形化工具和向导轻松实现大数据集成自动化。这使得组织能够构建一个与 Apache Hadoop 兼容的环境。 Spark 和 NoSQL数据库 适用于云或本地作业。

许多公司采用 Hadoop 是为了节省成本和提升性能，因为企业级解决方案通常会消耗大量的计算时间。借助 Hadoop，可以对数据进行转换、清洗、丰富和集成，从而应对更繁重的分析工作负载。

Talend Sandbox 包含四个用例：

1. 数据仓库优化
2. 点击流分析
3. 社交媒体情绪分析
4. Apache 网络日志分析

您还可以在此基础上创建您自己的、更复杂的用例。

Talen 在大数据和 Hadoop 方面的优势

• 通过在图形界面中排列和配置组件，提高大数据作业设计的效率
• 增加了数据质量、可扩展性和管理功能
• MapReduce 支持可实现更快的并行数据处理。
• 共享存储库和远程部署
• 数据质量和分析以及数据清洗
• 原生支持HBase， 高密度文件系统，蜂巢， 勺子 和猪
• 嵌入在 Hortonworks 数据平台中

数据集成

塔伦德 数据集成软件 它采用开放、可扩展的架构，能够更快地响应业务请求。该工具开发和部署数据集成作业的速度比手工编码更快。

它允许您将所有数据与其他数据仓库集成，或在系统之间同步数据。数据集成是指将存储在不同来源的数据合并，并为用户提供统一的数据视图。Talend 可帮助您管理 ETL 作业，并为用户提供简单易用的自助式数据准备功能。

Talen在数据集成方面的优势

敏捷集成： 使用超过 1000 个开箱即用的连接器，无需编写代码即可更快地响应业务请求。 Eclipse基于图形的工具和针对性能优化的代码生成器。

团队生产力： 利用版本控制、影响分析、测试和调试以及元数据管理进行协作。

易于管理： 该工具提供高级调度和监控功能。它提供实时数据集成，并可通过仪表盘和集中控制实现跨多个节点的快速部署。

保持竞争优势： 使用该平台意味着您无需等待最新的数据集成功能即可使用。

拥有成本低： Talend采用订阅定价模式。您只需为使用Talend Studio的开发人员数量付费，这比按服务器数量固定付费更划算。

集成云

您可以使用高度可扩展且安全的云集成平台即服务 (iPaaS) 来加速云端和本地数据集成项目。Talend Integration Cloud 提供连接性、内置数据质量控制和原生代码生成功能。

这是一个安全的云集成平台，允许 IT 和业务用户连接云端和本地系统。在云端设计的作业也可以在云端进行管理、监控和控制。

集成云优势

下表对比了 Talend Integration Cloud 和它旨在取代的手工编码替代方案。

Talend 集成云	其它工具
900 多个拖放组件	手工编码效率低下
生成优化代码	需要专业技能
协作与管理	难以维护
金牌支持 (SLA)	有限的支持

什么是 Talend Open Studio？

Talend Open Studio 是一个用于数据集成、数据分析、大数据、云集成等的开放式架构。

它提供了一个图形用户界面环境，其中包含 1000 多个预置连接器。这使得执行诸如文件转换、数据加载、文件移动和重命名等操作变得轻松便捷。每个组件都可以进行配置，以定义复杂的流程。

集成作业由配置而非编写代码的 Talend 组件创建而成。作业可以在开发环境内部运行，也可以导出并作为独立脚本执行。

使用 Talend Open Studio 的好处

• 它将集成开发时间从数周甚至数月缩短到数天甚至数小时。
• 它能够转换和更新存储在各种来源中的数据。
• 它能够轻松监控和管理复杂的部署。
• 与其他同类解决方案相比，它的拥有成本最低。
• 它继承了底层的力量 Java 编程平台。
• 丰富的源和目标连接器选择使其成为业内强有力的选择。
• 它具有强大的多模式日志文件功能，并在数据流或迁移后提供协调报告。

与传统的专有 ETL 引擎相比，区别如下：

旧版 ETL	拓蓝
专有引擎	可选
大数据难以扩展	生成本机代码
昂贵	低TCO

注意： 由于 Open Studio 已于 2024 年 1 月 31 日停止维护，免费版将不再接收安全补丁。仍在运行 Open Studio 的团队应计划迁移到 Qlik Talend Cloud 或其他受支持的平台。

Talend开放工作室 Archi质地

该架构分为三个关键模块——客户端、服务器和数据库——以及用于存放项目文件和元数据的工作区和存储库。下图展示了它们之间的连接方式。

客户

客户端模块包含一个或多个 Talend Studio 和 Web 浏览器，它们可以运行在同一台或不同的计算机上。无论数据量或流程复杂度如何，Talend Studio 都能帮助您构建数据集成流程。

Talend 服务器

Talend 服务器模块包含一个基于 Web 的应用服务器。它支持所有项目的管理和维护，并在管理数据库中保存用户帐户、访问权限和项目授权信息。

数据库

数据库模块涵盖管理、审计和监控数据库。管理数据库负责用户帐户、访问权限和项目授权。审计数据库有助于评估作业的各个方面，从而构建面向流程的决策支持系统。

工作区

在 Talend 中，工作区是用于存储所有项目文件夹的目录。每个存储库连接至少需要一个工作区目录。如果您不想使用默认的工作区目录，Talend 可以连接到多个工作区目录。

存储库

存储库是 Talend Open Studio 用于收集描述业务模型或设计作业的数据的存储区域。ping 存储库中的元数据使得连接或模式可以在不同作业中重复使用。

Talend Open Studio 扩展

Talend Open Studio 通过一系列产品进行了扩展，增加了治理、质量和服务功能：

• Talend 集成套件
• Talend On Demand
• Talend 数据质量
• Talend ESB
• Talend 大数据集成

这些名称可以追溯到 Open Studio 时代。在 Qlik 中，同等功能已集成到 Qlik Talend Cloud 中，无需单独下载。

常见问题