データ調整とは何ですか? 定義、プロセス、ツール

データ調整とは何ですか?

データ調整 (DR) は、データ移行中にデータを検証するプロセスとして定義されます。このプロセスでは、ターゲットデータがソースデータと比較され、移行アーキテクチャがデータを転送していることを確認します。データ検証および調整 (DVR) は、数学モデルを使用して情報を処理するテクノロジを意味します。

データ移行プロセスでは、マッピングと変換ロジックで間違いが発生する可能性があります。ネットワークのドロップアウトやトランザクションの中断などの実行時エラーなどの問題により、データが破損する可能性があります。

この種のエラーにより、データが無効な状態のままになる可能性があります。これらにより、次のようなさまざまな問題が発生する可能性があります。

データ調整プロセスを使用する重要な理由は次のとおりです。

上記以外にも、データ調整には多くの利点があります。

重大なエラー	測定における重大な誤差。短時間の平均化期間のみを使用している場合は、バイアスエラー、機器の故障、または異常なノイズスパイクのみが反映されます。
可観測性	観測可能性分析により、特定の制約セットと測定値セットに対してどのような変数を決定できるかについての詳細が得られます。
分散	分散はセンサーの変動性の尺度です。
冗長化	これは、制約式を使用して他の変数からどの測定値を推定する必要があるかを決定するのに役立ちます。

ここでは、データ調整の歴史から重要なランドマークを示します。

DVR (データ検証と調整) は 1960 年代初頭に始まりました。これは、すべての変数について生の測定値が利用できる生産現場での物質収支を把握することを目的としていました。
1960 年代後半、データ調整プロセスではすべての未測定変数が考慮されました。
時間の経過に伴うフィルタリングと並列パラメータ推定のための準定常状態ダイナミクスは、1977 年に Stanley と Mah によって導入されました。
ダイナミック DVR は、1992 年に Liebman によって発行された非線形最適化モデルとして開発されました。

データ調整方法の種類は次のとおりです。

マスターデータの調整は、ソースとターゲットの間でマスターデータのみを調整する手法です。マスターデータはほとんど変更されないか、またはゆっくりと変更されるため、データセットに対して集計操作は実行されません。

マスターデータ調整の一般的な例は次のとおりです。

トランザクションデータは BI レポートのベースとなります。したがって、トランザクションデータの不一致は、レポートおよび BI システム全体の信頼性に直接影響を与える可能性があります。

トランザクションデータ調整方法は合計の観点から使用され、対象となるディメンションの粒度の変更によって生じる不一致を防ぎます。

トランザクションデータの調整に使用される尺度の例は次のとおりです。

大規模なデータウェアハウス管理システムでは、データ調整プロセスをデータロードの不可欠な部分として自動化すると便利です。これにより、個別のロードメタデータテーブルを維持できます。さらに、自動調整により、すべての関係者にレポートの有効性に関する情報が提供されます。