Ce este reconcilierea datelor? Definiție, Proces, Instrumente

Ce este reconcilierea datelor?

Reconcilierea datelor (DR) este definită ca un proces de verificare a datelor în timpul migrării datelor. În acest proces, datele țintă sunt comparate cu datele sursă pentru a se asigura că arhitectura de migrare transferă date. Validarea și reconcilierea datelor (DVR) înseamnă o tehnologie care utilizează modele matematice pentru a procesa informații.

De ce este importantă reconcilierea datelor?

În procesul de migrare a datelor, este posibil să se facă greșeli în logica de cartografiere și transformare. Probleme precum eșecurile timpului de execuție, cum ar fi întreruperile rețelei sau tranzacțiile întrerupte, pot deteriora datele.

Acest tip de erori poate duce la lăsarea datelor într-o stare nevalidă. Acestea pot crea o serie de probleme precum:

Înregistrări lipsă
Valori lipsă
Valori incorecte
Înregistrări duplicate
Valori prost formatate
Relații întrerupte între tabele sau sisteme

Iată motivele importante pentru utilizarea procesului de reconciliere a datelor:

Utilizarea reconcilierii datelor vă ajută să extrageți informații precise și fiabile despre starea procesului industrial din datele de măsurare brute.
De asemenea, vă ajută să produceți un singur set consistent de date reprezentând cea mai probabilă operațiune de proces.
De asemenea, duce la informații inexacte și la probleme cu serviciul clienți.
Reconcilierea datelor este, de asemenea, importantă pentru integrarea controlului întreprinderii.

În afară de mai sus, există multe avantaje/beneficii ale reconcilierii datelor.

Terminologie asociată cu reconcilierea datelor

Eroare grosolană	Erori grosolane în măsurători. Reflectă doar erori de polarizare, defecțiuni ale instrumentelor sau vârfuri anormale de zgomot dacă utilizați doar o perioadă scurtă de mediere.
observability	Analiza observabilității vă poate oferi detalii despre ce variabile pot fi determinate pentru un anumit set de constrângeri și un set de măsurători.
variație	Varianta este o măsură a variabilității unui senzor.
Redundanţă	Vă ajută să determinați ce măsurători ar trebui estimate din alte variabile folosind ecuațiile de constrângere.

Istoria reconcilierii datelor

Iată repere esențiale din istoria reconcilierii datelor.

DVR (Validarea și Reconcilierea datelor) a început la începutul anilor 1960. Acesta a avut ca scop închiderea bilanţurilor de materiale în producţie în care măsurătorile brute erau disponibile pentru toate variabilele.
La sfârșitul anilor 1960, toate variabilele nemăsurate au fost luate în considerare în procesul de reconciliere a datelor.
Dinamica în stare cvasi-staționară pentru filtrare și estimarea parametrilor paraleli în timp au fost introduse în 1977 de Stanley și Mah.
Dynamic DVR a fost dezvoltat ca model de optimizare neliniar, care este emis de Liebman în anul 1992.

Procesul de reconciliere a datelor

Tipurile de metode de reconciliere a datelor sunt:

Reconcilierea datelor de bază

Reconcilierea datelor de bază este o tehnică de reconciliere a datelor de bază între sursă și țintă. Datele de bază sunt în mare parte neschimbate sau se schimbă lent în natură și nu se efectuează nicio operațiune de agregare pe setul de date.

Câteva exemple comune de reconciliere a datelor de bază sunt:

Numărul total de rânduri
Total client în sursă și țintă
Numărul total de articole din sursă și țintă
Numărul total de rânduri bazat pe condiția dată
Numărul de utilizatori activi
Numărul de utilizatori inactivi etc.

Precizia activității

Trebuie să vă asigurați că tranzacțiile sunt valide și sunt corecte în scop.
Trebuie să verificați dacă tranzacțiile au fost autorizate corespunzător.

Reconcilierea datelor tranzacționale

Datele tranzacționale constituie baza rapoartelor BI. Prin urmare, orice nepotrivire a datelor tranzacționale poate afecta direct fiabilitatea raportului și a întregului sistem BI în general.

Metoda de reconciliere a datelor tranzacționale este utilizată în ceea ce privește suma totală, ceea ce previne orice nepotrivire cauzată de modificarea granularității dimensiunilor de calificare.

Exemple de măsuri utilizate pentru reconcilierea datelor tranzacționale ar trebui să fie:

Suma veniturilor totale calculate de la sursă și țintă
Suma întregului articol vândut, calculată din sursă și țintă etc.

Reconcilierea automată a datelor

În sistemul mare de gestionare a depozitelor de date, este convenabil să automatizați procesul de reconciliere a datelor făcându-l ca parte integrantă a încărcării datelor. Vă permite să mențineți tabele separate de metadate de încărcare. În plus, reconcilierea automată va informa toate părțile interesate cu privire la valabilitatea rapoartelor.

Cele mai bune practici de utilizare a reconcilierii datelor

Procesul de reconciliere a datelor ar trebui să vizeze erorile corecte de măsurare.
Erorile brute ar trebui să fie zero pentru a eficientiza procesul de reconciliere a datelor.
Abordarea standard a reconcilierii datelor s-a bazat pe numărări simple de înregistrări pentru a urmări dacă numărul vizat de înregistrări a migrat sau nu.
Soluția de migrare a datelor oferă capabilități similare de reconciliere și funcționalitate de prototipare a datelor, care oferă testare de reconciliere a datelor cu volum complet.

Instrumente de reconciliere a datelor

1) OpenRefine

OpenRefine, care mai devreme este cunoscut ca Google Refine, este un cadru util de reconciliere a bazelor de date. Vă permite să curățați și să transferați date dezordonate.

Download link: https://openrefine.org/

2) TIBCO Claritate

Acest instrument de reconciliere a datelor oferă servicii software la cerere de pe web sub formă de Software-as-a-service. Permite utilizatorilor să valideze datele și să curețe datele. Oferă funcții complete de testare a reconcilierii. Utilizat pe scară largă în procesul ETL.

Download link: https://www.tibco.com/

3) Winpure

Winpure este un software de curățare a datelor accesibil și precis. Vă permite să curățați o cantitate mare de date, eliminând duplicatele, corectând și standardizând pentru a proiecta setul de date final.

Download link: https://winpure.com/

Rezumat

Validarea și reconcilierea datelor (DVR) este o tehnologie care utilizează modele matematice pentru a procesa informații.
Utilizarea reconcilierii datelor vă ajută să extrageți informații precise și fiabile despre starea procesului industrial din datele de măsurare brute.
Eroare brută, observabilitate, varianță, redundanță sunt termeni importanți utilizați în procesul de reconciliere a datelor
Validarea datelor și reconcilierea au început la începutul anilor 1960.
Trei tipuri de metode de reconciliere a datelor sunt: 1) Reconcilierea datelor de bază 2) Reconcilierea datelor tranzacționale 3) Reconcilierea automată a datelor
Erorile brute ar trebui să fie zero pentru a eficientiza procesul de reconciliere a datelor.
Câteva instrumente importante de reconciliere a datelor sunt: 1)OpenRefine 2)TIBCO 3) Winpure
Această metodă este utilizată pe scară largă în monitorizarea performanței și proceselor în industria de rafinare a petrolului/nuclear/chimică