Qu'est-ce que la réconciliation des données ? Définition, processus, outils
David Carter
⚡ Résumé intelligent
La réconciliation des données vérifie les informations lors de la migration en comparant les données cibles aux données sources. Cette page décrit le processus, explique les causes des incohérences, présente la terminologie essentielle, les trois méthodes de réconciliation, les bonnes pratiques et les outils qui automatisent le travail.
Qu'est-ce que la réconciliation des données ?
La réconciliation des données (DR) est définie comme un processus de vérification des données lors de la migration des données. Dans ce processus, les données cibles sont comparées aux données sources pour garantir que l'architecture de migration transfère les données. La validation et le rapprochement des données (DVR) désignent une technologie qui utilise des modèles mathématiques pour traiter les informations.
Réconciliation des données vs Validation des données
Ces deux termes apparaissent si souvent ensemble qu'ils sont fréquemment traités comme un seul, mais ils répondent à des questions différentes et s'appliquent à des moments différents.
La validation des données Elle vérifie si une valeur est acceptable en soi. Elle compare un enregistrement à une règle : la date est-elle réelle, l’adresse e-mail est-elle valide, le code pays figure-t-il dans la liste de référence ? La validation ne nécessite que l’enregistrement présent ; elle s’exécute donc généralement lors de la saisie ou du chargement des données.
Réconciliation des données Cette fonction vérifie la concordance de deux ensembles de données. Elle compare les effectifs, les sommes et les relations clés entre un système source et un système cible, et ne peut s'exécuter que si les deux systèmes existent. Un enregistrement peut satisfaire à toutes les règles de validation et pourtant constituer un échec de réconciliation, car il a été écrit deux fois ou n'a jamais été reçu.
| Point de différence | Validation des données | Rapprochement des données |
|---|---|---|
| Réponse à la question | Cette valeur est-elle correcte sous cette forme ? | La source et la cible sont-elles cohérentes ? |
| Domaine | Un seul enregistrement ou champ | Deux ensembles de données complets |
| Quand il fonctionne | À l'entrée ou pendant le chargement | Une fois le chargement terminé |
| Échec typique constaté | Valeur mal formatée ou hors plage | Enregistrements manquants, dupliqués ou non appariés |
Puisqu'elles détectent des défauts différents, une migration fiable utilise les deux plutôt que de choisir entre elles.
Pourquoi la réconciliation des données est-elle importante ?
Lors du processus de migration de données, des erreurs peuvent se produire dans la cartographie.ping et la logique de transformation. Des problèmes tels que des défaillances d'exécution, comme des coupures réseau ou des transactions interrompues, peuvent corrompre les données.
Ce type d'erreur peut rendre les données invalides. Cela peut engendrer divers problèmes, tels que :
- Enregistrements manquants
- Valeurs manquantes
- Valeurs incorrectes
- Enregistrements dupliqués
- Valeurs mal formatées
- Relations rompues entre les tables ou les systèmes
Voici les principales raisons d'utiliser le processus de réconciliation des données :
- L'utilisation de la réconciliation des données vous aide par exemple à…tracFournir des informations précises et fiables sur l'état des processus industriels à partir de données de mesure brutes.
- Cela vous aide également à produire un ensemble de données unique et cohérent représentant le fonctionnement du processus le plus probable.
- Sans cela, les erreurs non détectées entraînent des analyses inexactes et des problèmes de service client.
- La réconciliation des données est également importante pour l'intégration du contrôle d'entreprise.
Outre ce qui précède, la réconciliation des données présente de nombreux avantages.
Terminologie associée à la réconciliation des données
| Erreur grossière | Erreurs grossières dans les mesures. Il reflète uniquement les erreurs de biais, les pannes d'instruments ou les pics de bruit anormaux si vous n'utilisez qu'une courte période de moyenne. |
| Observabilité | L'analyse d'observabilité peut vous donner des détails sur les variables qui peuvent être déterminées pour un ensemble donné de contraintes et un ensemble de mesures. |
| Variance | La variance est une mesure de la variabilité d'un capteur. |
| Redondance | Cela vous aide à déterminer quelles mesures doivent être estimées à partir d'autres variables en utilisant les équations de contrainte. |
Historique du rapprochement des données
Voici les jalons essentiels de l’histoire de la réconciliation des données.
- Le DVR (Validation et Réconciliation des Données) a débuté au début des années 1960. Il visait à clôturer les bilans matières dans la production où des mesures brutes étaient disponibles pour toutes les variables.
- À la fin des années 1960, toutes les variables non mesurées étaient prises en compte dans le processus de rapprochement des données.
- La dynamique quasi-stationnaire pour le filtrage et l'estimation des paramètres parallèles au fil du temps a été introduite en 1977 par Stanley et Mah.
- Le DVR dynamique a été développé en tant que modèle d'optimisation non linéaire publié par Liebman en 1992.
Des groupes de pratique modernes qui travaillent selon trois méthodes de réconciliation distinctes.
Processus de rapprochement des données
Les types de méthodes de rapprochement des données sont :
Rapprochement des données de base
Le rapprochement des données de référence est une technique permettant de rapprocher uniquement les données de référence entre la source et la cible. Les données de base sont pour la plupart inchangées ou évoluent lentement, et aucune opération d'agrégation n'est effectuée sur l'ensemble de données.
Voici quelques exemples courants de rapprochement des données de base :
- Nombre total de lignes
- Client total en source et cible
- Nombre total d'éléments dans la source et la cible
- Nombre total de lignes en fonction d'une condition donnée
- Nombre d'utilisateurs actifs
- Nombre d'utilisateurs inactifs, etc.
Rapprochement des données transactionnelles
Les données transactionnelles constituent la base des rapports BI. Par conséquent, toute inadéquation dans les données transactionnelles peut avoir un impact direct sur la fiabilité du rapport et de l'ensemble du système BI en général.
La méthode de rapprochement des données transactionnelles est utilisée en termes de somme totale, ce qui évite toute inadéquation causée par la modification de la granularité des dimensions de qualification.
Voici des exemples de mesures utilisées pour le rapprochement des données transactionnelles :
- Somme du revenu total calculée à partir de la source et de la cible
- Somme de tous les articles vendus, calculée à partir de la source et de la cible, etc.
Rapprochement automatisé des données
Dans un grand système de gestion d'entrepôt de données, il est pratique d'automatiser le processus de réconciliation des données en l'intégrant au chargement des données. Il vous permet de conserver des tables de métadonnées de chargement séparées. De plus, un rapprochement automatisé tiendra toutes les parties prenantes informées de la validité des rapports.
Meilleures pratiques d'utilisation de la réconciliation des données
- Le processus de rapprochement des données doit viser à corriger les erreurs de mesure.
- Les erreurs brutes doivent être nulles pour rendre le processus de rapprochement des données efficace.
- L'approche standard de la réconciliation des données s'appuie sur un simple décompte des enregistrements pour assurer la cohérence des données. track de savoir si le nombre ciblé d'enregistrements a migré ou non.
- La solution de migration de données offre des capacités de réconciliation et un prototype de données similaires.ping une fonctionnalité qui permet de réaliser des tests de réconciliation de données sur l'ensemble du volume.
Précision de l'activité
Au-delà des chiffres et des totaux, l'activité sous-jacente elle-même doit résister à un examen approfondi.
- Vous devez vous assurer que les transactions sont valides et que leur objectif est correct.
- Besoin de vérifier si les transactions ont été correctement autorisées.
Outils de réconciliation des données
1) OuvrirRefine
OpenRefine, anciennement connu sous le nom de Google Refine est un outil utile pour la réconciliation de bases de données. Il permet de nettoyer et de transférer des données désordonnées.
Lien de téléchargement: https://openrefine.org/
2) TIBCO
Cet outil de réconciliation de données propose des services logiciels à la demande via le web, sous forme de SaaS (Software as a Service). Il permet aux utilisateurs de valider et de nettoyer les données, et offre des fonctionnalités complètes de test de réconciliation. Largement utilisé dans les processus ETL, il était initialement commercialisé sous le nom de TIBCO Clarity et fait désormais partie de la suite logicielle de gestion de données TIBCO.
Lien de téléchargement: https://www.tibco.com/solutions/data-management
3) Winpure
Winpure est un logiciel de nettoyage de données abordable et précis. Il permet de nettoyer de grandes quantités de données, en supprimant les doublons, en les corrigeant et en les standardisant afin de constituer l'ensemble de données final.
Lien de téléchargement: https://winpure.com/
