ETL 开发人员职位 Description – 角色、职责、技能
大卫卡特
谁是 ETL 开发人员？
ETL 开发人员执行提取、转换和加载过程。他们涉及从不同的源系统提取业务数据，然后转换数据（例如计算、组合、应用和确保质量），并将转换后的数据加载到安全环境中的数据仓库系统中。
- 萃取： 提取意味着从源系统获取数据并使其在所需的数据系统中随时可用（合并）。
- 转型： 此步骤接续提取阶段，提取阶段需要适当构造提取的原始数据，然后将其转换为质量形式。
- 加载： 这是 ETL 流程的最后阶段。在此阶段，ETL 开发人员负责监督将转换后的数据加载到所需的数据源（通常称为数据仓库系统）。
ETL 开发人员的技能和资格
ETL 开发人员需要掌握 数据分析、设计和编程技能，尤其是对编程语言的广泛了解，例如 XML, JavaScript及 SQL.
成为 ETL 开发人员所需的一般技能
- 出色的组织能力： 这对于确保手头的项目井然有序、结构合理是必要的。
- 较强的解决问题能力： ETL 开发伴随着许多意想不到的挑战和问题。ETL 开发人员必须能够及时提出问题的解决方案。
ETL 开发人员职位 Descript责任与义务
以下是 ETL 开发人员扮演的各种角色：
ETL流程规划管理： 在此阶段，ETL 设计人员/开发人员需要进行以下工作：
- 清晰地了解 ETL 过程并确定数据处理边界。
- 聚集并发展 ETL工具 并确保其实施。
- 测试运行所有需要的工具并确保它们运行良好。
定义业务需求：业务需求将决定从不同来源提取的数据量、数据模型、数据质量，以及确定所需数据仓库所需的最佳存储介质。
确定数据存储需求： 不同公司处理的数据量有所不同，因此 ETL 开发人员决定公司处理的数据量。
构建数据仓库： 对于每个企业来说，拥有一个强大且安全的数据仓库非常重要。ETL 开发人员的职责是设计一个安全的数据仓库，以便根据公司的需求和要求高效地加载数据。
确保数据质量： 在整个 ETL 过程中，保持数据质量非常重要。为此，ETL 开发人员确保在 ETL 转换阶段做好一切准备，以消除错误并修复在提取阶段从不同来源提取的非结构化和无组织数据。ETL 开发人员还确保将数据加载到仓库系统中并满足业务需求和标准。
ETL 开发人员薪水
ETL 开发人员的平均工资很可观。专家和经验丰富的 ETL 开发人员的高级职位提供的薪水比其他 IT 职位更高。
在美国，ETL 被认为是一个更有利可图的职位，因为各州的计算机科学领域非常庞大。平均 ETL 开发人员 工资在 美国 is $114,974 每年或 $55.28 每小时。初级职位起薪为 $99,000 每年，而该领域的经验丰富的专业人士 $306,500 每年。
ETL 学习资料
ETL 可以在多个平台上学习。虽然许多人喜欢参加实体课程的机会，但其他人更喜欢在线培训。存在不同的资源和培训材料，例如 ETL 认证课程和 ETL 测试课程视频。ETL 可以采用以下格式学习。
1) IBM 数据工程专业证书
本在线课程可帮助您入门数据工程领域，并获得以下机构的专业证书： IBM。完成本 ETL 课程后，您将学习设计、部署和管理结构化和非结构化数据等技能，并且还将通过实践项目获得关键工具的使用经验。此专业证书适合所有想要培养工作技能和入门级数据/ETL 工程师职位作品集的人。
特色：
- 由顶尖公司和大学授课。
- 您可以通过实践项目运用您的技能。
- 按照自己的时间表学习。
- 课程视频和阅读材料。
- 评分测验和作业。
- 完成后您将获得可共享的证书。
2) 初学者数据仓库基础知识
初学者数据仓库基础知识 是一门在线课程，可帮助您学习为组织构建数据仓库所需的技术。您将学习应用维度数据建模的关键设计原则。
通过学习本在线课程涵盖的所有最佳实践和技术，您将学习如何使用数据仓库架构和维度数据结构。
特色：
- 5小时的点播视频。
- 1年的文章。
- 完全终身访问。
- 您可以通过手机和电视访问它。
- 完成证书。
ETL 开发人员书籍： 这本书 旨在指导有抱负的数据仓库 (ETL) 开发人员获得构建和维护数据仓库的经验。
本书内容丰富，包含 ETL 开发人员所需的维度建模工具
ETL的应用
在商业中使用 ETL 的原因有几个，包括：
- 它支持数据转换验证以及所需的计算、规则和程序。
- 构建良好且组织良好的 ETL 系统对于任何数据仓库项目的执行都至关重要。
- ETL 流程提供了一个使用源仓库和目标仓库来比较和分析数据的平台。
- ETL 的采用有助于执行复杂的转换，并且需要存储数据介质。
- 通过 ETL，可以将数据移动到数据仓库，然后使用同一系统将其转换并转换为多种格式。
结语
- ETL 开发是指将数据从多源系统迁移到安全仓库的所有过程。
- ETL 开发人员的全称是（提取、转换和加载流程）开发人员。
- ETL 开发人员负责确定业务的存储需求和所涉及的数据量。
- ETL 开发人员的职位描述表明，他们负责数据流验证，创建和构建满足特定公司需求和标准的安全数据库仓库。
- ETL 开发人员必须能够加载数据，并精通 SQL 等有价值的技术技能， JAVA、XML、DOM 等等。