Cos'è la riconciliazione dei dati? Definizione, processo, strumenti
David Carter
⚡ Riepilogo intelligente
La riconciliazione dei dati verifica le informazioni durante la migrazione confrontando i dati di destinazione con i dati di origine. Questa pagina definisce il processo, spiega perché si verificano delle discrepanze, illustra la terminologia principale, i tre metodi di riconciliazione, le best practice e gli strumenti che automatizzano il lavoro.
Cos'è la riconciliazione dei dati?
La riconciliazione dei dati (DR) è definita come un processo di verifica dei dati durante la migrazione dei dati. In questo processo i dati di destinazione vengono confrontati con i dati di origine per garantire che l'architettura di migrazione trasferisca i dati. La convalida e la riconciliazione dei dati (DVR) indicano una tecnologia che utilizza modelli matematici per elaborare le informazioni.
Riconciliazione dei dati vs. convalida dei dati
I due termini compaiono così spesso insieme che vengono frequentemente trattati come un'unica entità, ma rispondono a domande diverse e si applicano in momenti diversi.
Convalida dei dati Si chiede se un singolo valore sia accettabile di per sé. Verifica un record rispetto a una regola: la data è reale? L'indirizzo email è ben formato? Il prefisso internazionale è presente nell'elenco di riferimento? La validazione richiede solo il record che ha di fronte, quindi di solito viene eseguita durante l'inserimento o il caricamento dei dati.
Riconciliazione dei dati Questo processo verifica se due insiemi di dati corrispondono. Confronta conteggi, somme e relazioni chiave tra un sistema sorgente e un sistema di destinazione e può essere eseguito solo se entrambi i sistemi esistono. Un record può superare tutte le regole di validazione e risultare comunque un errore di riconciliazione, perché è stato scritto due volte o non è mai arrivato.
| Punto di differenza | Convalida dati | Riconciliazione dei dati |
|---|---|---|
| Domanda con risposta | Questo valore è formattato correttamente? | La fonte e il destinatario sono d'accordo? |
| Obbiettivo | Un singolo record o campo | Due set di dati completi |
| Quando funziona | All'ingresso o durante il carico | Dopo il completamento del caricamento |
| Errore tipico rilevato | Valore formattato in modo errato o fuori intervallo | Record mancanti, duplicati o non corrispondenti |
Poiché individuano errori diversi, una migrazione affidabile li utilizza entrambi anziché sceglierne uno solo.
Perché è importante la riconciliazione dei dati?
Nel processo di migrazione dei dati, è possibile che si verifichino errori nella mappa.ping e logica di trasformazione. Problemi come errori di runtime, ad esempio interruzioni di rete o transazioni interrotte, possono corrompere i dati.
Questo tipo di errori può comportare che i dati rimangano in uno stato non valido. Ciò può causare una serie di problemi, come ad esempio:
- Record mancanti
- Valori mancanti
- Valori errati
- Record duplicati
- Valori formattati in modo errato
- Relazioni interrotte tra tabelle o sistemi
Ecco alcuni importanti motivi per utilizzare il processo di riconciliazione dei dati:
- L'utilizzo della riconciliazione dei dati ti aiuta, ad esempiotracottenere informazioni accurate e affidabili sullo stato del processo industriale a partire dai dati di misurazione grezzi.
- Aiuta inoltre a produrre un unico set di dati coerente che rappresenti il funzionamento del processo più probabile.
- Senza di esso, gli errori non rilevati portano a informazioni imprecise e problemi con il servizio clienti.
- La riconciliazione dei dati è importante anche per l'integrazione del controllo aziendale.
Oltre a quanto sopra, la riconciliazione dei dati offre numerosi vantaggi e benefici.
Terminologia associata alla riconciliazione dei dati
| Errore grossolano | Errori grossolani nelle misurazioni. Riflette solo errori di polarizzazione, guasti dello strumento o picchi di rumore anomali se si utilizza solo un periodo di media temporale breve. |
| osservabilità | L'analisi di osservabilità può fornire dettagli sulle variabili che possono essere determinate per un dato insieme di vincoli e un insieme di misurazioni. |
| Varianza | La varianza è una misura della variabilità di un sensore. |
| Ridondanza | Consente di determinare quali misurazioni devono essere stimate a partire da altre variabili utilizzando le equazioni di vincolo. |
Storia della riconciliazione dei dati
Ecco i punti di riferimento essenziali della storia della riconciliazione dei dati.
- Il sistema DVR (Convalida e riconciliazione dei dati) è stato avviato all'inizio degli anni '1960. L'obiettivo era chiudere i bilanci materiali nella produzione in cui erano disponibili misurazioni grezze per tutte le variabili.
- Alla fine degli anni ’1960, tutte le variabili non misurate venivano considerate nel processo di riconciliazione dei dati.
- Le dinamiche di stato quasi-stazionario per il filtraggio e la stima parallela dei parametri nel tempo furono introdotte nel 1977 da Stanley e Mah.
- Dynamic DVR è stato sviluppato come modello di ottimizzazione non lineare rilasciato da Liebman nel 1992
Gruppi di professionisti moderni che operano secondo tre distinti metodi di riconciliazione.
Processo di riconciliazione dei dati
I tipi di metodi di riconciliazione dei dati sono:
Riconciliazione dei dati anagrafici
La riconciliazione dei dati anagrafici è una tecnica per riconciliare solo i dati anagrafici tra origine e destinazione. I dati master sono per lo più di natura immutabile o in lento cambiamento e sul set di dati non viene eseguita alcuna operazione di aggregazione.
Alcuni esempi comuni di riconciliazione dei dati anagrafici sono:
- Numero totale di righe
- Cliente totale nell'origine e nella destinazione
- Numero totale di elementi nell'origine e nella destinazione
- Conteggio totale delle righe in base a una determinata condizione
- Numero di utenti attivi
- Numero di utenti inattivi ecc.
Riconciliazione dei dati transazionali
I dati transazionali costituiscono la base dei report BI. Pertanto, qualsiasi discrepanza nei dati transazionali può avere un impatto diretto sull'affidabilità del report e dell'intero sistema BI in generale.
Il metodo di riconciliazione dei dati transazionali viene utilizzato in termini di somma totale che impedisce qualsiasi mancata corrispondenza causata dalla modifica della granularità delle dimensioni qualificanti.
Esempi di misure utilizzate per la riconciliazione dei dati transazionali dovrebbero essere:
- Somma del reddito totale calcolato dalla fonte e dall'obiettivo
- Somma di tutti gli articoli venduti, calcolata a partire dalla fonte e dalla destinazione, ecc.
Riconciliazione automatizzata dei dati
Nei grandi sistemi di gestione del data warehouse, è conveniente automatizzare il processo di riconciliazione dei dati rendendolo parte integrante del caricamento dei dati. Ti consente di mantenere tabelle di metadati di caricamento separate. Inoltre, la riconciliazione automatizzata manterrà tutte le parti interessate informate sulla validità dei report.
migliori pratiche di utilizzo della riconciliazione dei dati
- Il processo di riconciliazione dei dati dovrebbe mirare alla correzione degli errori di misurazione.
- Gli errori grossolani dovrebbero essere pari a zero per rendere efficiente il processo di riconciliazione dei dati.
- L'approccio standard della riconciliazione dei dati si è basato su semplici conteggi dei record per mantenere track indica se il numero di record previsto è stato migrato o meno.
- La soluzione di migrazione dei dati offre funzionalità di riconciliazione e prototipi di dati similiping funzionalità che offre test di riconciliazione dei dati su volume completo.
Precisione dell'attività
Oltre ai conteggi e ai totali, l'attività sottostante deve reggere a un'ispezione.
- È necessario assicurarsi che le transazioni siano valide e abbiano uno scopo corretto.
- È necessario verificare se le transazioni sono state correttamente autorizzate.
Strumenti di riconciliazione dei dati
1) ApriRefine
OpenRefine, precedentemente noto come Google Refine è un utile framework per la riconciliazione dei database. Consente di ripulire e trasferire dati disordinati.
Download link: https://openrefine.org/
2) TIBCO
Questo strumento di riconciliazione dati offre servizi software on-demand via web in modalità Software-as-a-Service (SaaS). Consente agli utenti di convalidare e ripulire i dati. Fornisce funzionalità complete di test di riconciliazione. È ampiamente utilizzato nei processi ETL. Originariamente commercializzato come TIBCO Clarity, ora fa parte del portfolio di gestione dati di TIBCO.
Link per il download: https://www.tibco.com/solutions/data-management
3) Winpure
Winpure è un software di pulizia dati economico e preciso. Consente di pulire grandi quantità di dati, rimuovendo i duplicati, correggendo e standardizzando le informazioni per definire il set di dati finale.
Link per il download: https://winpure.com/
