什么是数据协调？定义、流程、工具
大卫卡特
⚡ 智能摘要
数据核对是指在迁移过程中，通过将目标数据与源数据进行比较来验证信息。本页面定义了数据核对流程，解释了数据不匹配的原因，涵盖了核心术语、三种核对方法、最佳实践以及用于自动化核对工作的工具。
什么是数据协调？
数据协调 (DR) 是指在数据迁移过程中验证数据的过程。在此过程中，将目标数据与源数据进行比较，以确保迁移架构正在传输数据。数据验证和协调 (DVR) 是指使用数学模型处理信息的技术。
数据核对与数据验证
这两个术语经常一起出现，以至于人们常常把它们当作一个术语来看待，但它们回答的是不同的问题，而且发生在不同的时间。
数据验证 它会询问单个值本身是否可接受。它会根据规则检查记录：日期是否真实、电子邮件地址格式是否正确、国家/地区代码是否存在于参考列表中？验证只需要它前面的记录，因此通常会在数据输入或加载时运行。
数据核对 它会询问两个数据集是否一致。它会比较源系统和目标系统之间的计数、总和以及键关系，并且只有在源系统和目标系统都存在的情况下才能运行。即使一条记录通过了所有验证规则，仍然可能出现协调失败，因为它可能被写入了两次，或者根本没有被写入。
| 不同点 | 数据验证 | 数据核对 |
|---|---|---|
| 问题已解答 | 这个值形式是否正确？ | 源端和目标端的意见一致吗？ |
| 适用范围 | 单个记录或字段 | 两套完整的数据集 |
| 运行时 | 进入或装载过程中 | 装载完成后 |
| 典型的故障被发现 | 格式错误或超出范围的值 | 缺失、重复或不匹配的记录 |
因为它们捕获的是不同的错误，所以可靠的迁移会同时使用两者，而不是在两者之间进行选择。
为什么数据协调很重要？
在数据迁移过程中，地图可能会出现错误。ping 以及转换逻辑。诸如网络中断或事务损坏等运行时故障都可能导致数据损坏。
这类错误会导致数据处于无效状态，并可能引发一系列问题，例如：
- 缺失记录
- 缺少价值观
- 不正确的值
- 重复记录
- 格式错误的值
- 跨表或跨系统的关系破裂
以下是使用数据核对流程的重要原因：
- 数据核对的使用可以帮助您，例如trac从原始测量数据中获取有关工业过程状态的准确可靠的信息。
- 它还可以帮助您生成一组一致的数据，代表最可能的流程操作。
- 如果没有它，未被发现的错误会导致不准确的洞察和客户服务问题。
- 数据的协调对于企业控制集成也很重要。
除了上述优点之外，数据核对还有许多优势和好处。
与数据协调相关的术语
| 严重错误 | 测量中的严重误差。如果您仅使用短时间平均周期，它仅反映偏差误差、仪器故障或异常噪声尖峰。 |
| 可观察性 | 可观测性分析可以为您提供有关对于给定的一组约束和一组测量可以确定哪些变量的详细信息。 |
| Variance | 方差是衡量传感器变异性的指标。 |
| 冗余 | 它可以帮助您利用约束方程，根据其他变量来估计哪些测量值。 |
数据协调的历史
这里是数据协调历史上的重要里程碑。
- DVR（数据验证与核对）始于 1960 世纪 XNUMX 年代初。其目的是在生产过程中实现物料平衡，所有变量的原始测量结果均可用。
- 1960 世纪 XNUMX 年代后期，数据协调过程中考虑了所有未测量的变量。
- 1977 年，Stanley 和 Mah 提出了准稳态动力学，用于滤波和随时间推移的并行参数估计。
- 动态 DVR 是由 Liebman 于 1992 年提出的一种非线性优化模型
现代实践小组采用三种不同的和解方法。
数据协调流程
数据协调方法的类型包括：
主数据对帐
主数据协调是一种仅协调源和目标之间的主数据的技术。主数据本质上大多不变或变化缓慢，并且不对数据集进行任何聚合操作。
主数据协调的一些常见示例包括：
- 总行数
- 源客户和目标客户总数
- 源和目标中的项目总数
- 根据给定条件的总行数
- 活跃用户数
- 不活跃用户的数量等等。
交易数据协调
交易数据是 BI 报告的基础。因此，交易数据中的任何不匹配都会直接影响报告和整个 BI 系统的可靠性。
总额方面采用交易数据对账方法，防止因改变限定维度的粒度而导致的任何不匹配。
用于交易数据核对的措施示例应包括：
- 从来源和目标计算的总收入总和
- 所有售出商品的总和，根据货源和目标等因素计算得出。
自动数据核对
在大型数据仓库管理系统中，将数据协调过程作为数据加载的一个组成部分，可以方便地实现自动化。它允许您维护单独的加载元数据表。此外，自动协调将让所有利益相关者了解报告的有效性。
数据协调的最佳实践
- 数据核对过程应旨在纠正测量误差。
- 为了确保数据核对过程高效，重大误差应该为零。
- 数据核对的标准方法依赖于简单的记录计数来保持数据完整性。 track 表示目标数量的记录是否已迁移。
- 数据迁移解决方案提供类似的协调功能和数据原型ping 提供全容量数据核对测试的功能。
活动准确度
除了计数和总数之外，实际活动本身也必须经得起检验。
- 您需要确保交易有效且目的正确。
- 需要检查交易是否已获得适当授权。
数据协调工具
1) 开放式精炼
OpenRefine，之前被称为 Google Refine 是一个实用的数据库协调框架。它可以帮助您清理和传输杂乱的数据。
下载链接： https://openrefine.org/
2) TIBCO
这款数据核对工具以软件即服务 (SaaS) 的形式，通过网络提供按需软件服务。它允许用户验证数据并进行数据清洗，并提供完整的核对测试功能。该工具广泛应用于 ETL 流程。其功能最初以 TIBCO Clarity 的名义销售，现在已并入 TIBCO 数据管理产品组合。
下载链接： https://www.tibco.com/solutions/data-management
3) 温普尔
Winpure是一款价格实惠且精准的数据清洗软件。它能够清洗大量数据，去除重复项，进行校正和标准化处理，最终生成所需的数据集。
下载链接： https://winpure.com/
