Hva er dataavstemming? Definisjon, prosess, verktøy
David Carter
⚡ Smart oppsummering
Dataavstemming verifiserer informasjon under migrering ved å sammenligne måldata med kildedata. Denne siden definerer prosessen, forklarer hvorfor avvik oppstår, dekker kjerneterminologien, de tre avstemmingsmetodene, beste praksis og verktøyene som automatiserer arbeidet.
Hva er dataavstemming?
Dataavstemming (DR) er definert som en prosess for verifisering av data under datamigrering. I denne prosessen sammenlignes måldata med kildedata for å sikre at migrasjonsarkitekturen overfører data. Datavalidering og avstemming (DVR) betyr en teknologi som bruker matematiske modeller for å behandle informasjon.
Dataavstemming vs. datavalidering
De to begrepene forekommer så ofte sammen at de ofte behandles som ett, men de svarer på forskjellige spørsmål og brukes på forskjellige tidspunkter.
Datavalidering spør om en enkelt verdi er akseptabel i seg selv. Den sjekker en post mot en regel: er datoen ekte, er e-postadressen riktig utformet, finnes landskoden i referanselisten? Validering trenger bare posten foran, så den kjører vanligvis etter hvert som data legges inn eller lastes inn.
Dataavstemming spør om to datasett stemmer overens. Den sammenligner antall, summer og nøkkelrelasjoner mellom et kildesystem og et målsystem, og den kan bare kjøres når begge sider eksisterer. En post kan bestå alle valideringsregler og fortsatt være en avstemmingsfeil, fordi den ble skrevet to ganger eller aldri ankom i det hele tatt.
| Forskjellens poeng | Datavalidering | Dataavstemming |
|---|---|---|
| Spørsmål besvart | Er denne verdien korrekt i form? | Stemmer kilde og mål overens? |
| Omfang | En enkelt post eller et enkelt felt | To komplette datasett |
| Når den kjører | Ved innkjøring eller under lasting | Etter at lastingen er fullført |
| Typisk feil fanget | Feil formatert eller verdi utenfor rekkevidde | Manglende, dupliserte eller ikke-matchede poster |
Fordi de fanger opp forskjellige feil, bruker en pålitelig migrasjon begge i stedet for å velge mellom dem.
Hvorfor er dataavstemming viktig?
I datamigreringsprosessen er det mulig at det kan bli gjort feil i kartet.ping og transformasjonslogikk. Problemer som kjøretidsfeil, som nettverksavbrudd eller ødelagte transaksjoner, kan ødelegge data.
Denne typen feil kan føre til at data blir værende i en ugyldig tilstand. Dette kan skape en rekke problemer, som:
- Manglende poster
- Mangler verdier
- Feil verdier
- Dupliserte poster
- Dårlig formaterte verdier
- Ødelagte relasjoner på tvers av tabeller eller systemer
Her er viktige grunner til å bruke dataavstemmingsprosessen:
- Bruk av dataavstemming hjelper deg for eksempeltracfå nøyaktig og pålitelig informasjon om tilstanden til industriprosesser fra rådata til målinger.
- Det hjelper deg også med å produsere et enkelt, konsistent datasett som representerer den mest sannsynlige prosessoperasjonen.
- Uten det fører uoppdagede feil til unøyaktig innsikt og problemer med kundeservicen.
- Avstemming av data er også viktig for integrering av virksomhetskontroll.
Bortsett fra det ovennevnte er det mange fordeler og fordeler med dataavstemming.
Terminologi knyttet til dataavstemming
| Grov feil | Grove feil i målinger. Den gjenspeiler bare skjevhetsfeil, instrumentfeil eller unormale støyspiker hvis du bruker kun kort tidsgjennomsnittsperiode. |
| observerbarhet | Observerbarhetsanalyse kan gi deg detaljer om hvilke variabler som kan bestemmes for et gitt sett med begrensninger og et sett med målinger. |
| Avviks | Varians er et mål på variasjonen til en sensor. |
| Overflødighet | Det hjelper deg å bestemme hvilke målinger som bør estimeres fra andre variabler ved å bruke begrensningsligningene. |
Historie om dataavstemming
Her er viktige landemerker fra historien til dataavstemming.
- DVR (Datavalidering og Reconciliation) startet tidlig på 1960-tallet. Det var rettet mot å lukke materialbalanser i produksjonen der råmålinger var tilgjengelige for alle variabler.
- På slutten av 1960-tallet ble alle de umålte variablene vurdert i dataavstemmingsprosessen.
- Quasi-steady state dynamikk for filtrering og parallell parameterestimering over tid ble introdusert i 1977 av Stanley og Mah.
- Dynamic DVR ble utviklet som en ikke-lineær optimaliseringsmodell som ble utgitt av Liebman i år 1992
Moderne praksisgrupper som jobber med tre forskjellige forsoningsmetoder.
Dataavstemmingsprosess
Typer dataavstemmingsmetoder er:
Hoveddataavstemming
Masterdataavstemming er en teknikk for å avstemme kun masterdata mellom kilde og mål. Masterdata er for det meste uforandret eller sakte i endring, og ingen aggregeringsoperasjon utføres på datasettet.
Noen vanlige eksempler på hoveddataavstemming er:
- Totalt antall rader
- Total kunde i kilde og mål
- Totalt antall elementer i kilde og mål
- Totalt antall rader basert på gitt tilstand
- Antall aktive brukere
- Antall inaktive brukere etc.
Transaksjonsdataavstemming
Transaksjonsdata utgjør grunnlaget for BI-rapporter. Derfor kan ethvert misforhold i transaksjonsdata direkte påvirke påliteligheten til rapporten og hele BI-systemet generelt.
Transaksjonsdataavstemmingsmetoden brukes i form av den totale summen som forhindrer mismatch forårsaket av endring av granulariteten til kvalifiserende dimensjoner.
Eksempler på tiltak som brukes for transaksjonsdataavstemming bør være:
- Summen av samlet inntekt beregnet fra kilde og mål
- Summen av alle solgte varer, beregnet fra kilde og mål, osv.
Automatisert dataavstemming
I store datavarehusstyringssystem er det praktisk å automatisere dataavstemmingsprosessen ved å gjøre dette til en integrert del av datainnlastingen. Den lar deg opprettholde separate lastemetadatatabeller. Dessuten vil automatisert avstemming holde alle interessenter informert om gyldigheten av rapportene.
Beste praksis for bruk av dataavstemming
- Dataavstemmingsprosessen bør ha som mål å korrigere målefeil.
- Grove feil bør være null for å gjøre dataavstemmingsprosessen effektiv.
- Standardtilnærmingen for dataavstemming har vært basert på enkle opptellinger av poster for å holde track av om det målrettede antallet poster har migrert eller ikke.
- Datamigreringsløsningen leverer lignende avstemmingsmuligheter og dataprototypeping funksjonalitet som tilbyr testing av fullvolumsdataavstemming.
Nøyaktighet av aktivitet
Ved siden av tellingene og totalene må selve den underliggende aktiviteten tåle inspeksjon.
- Du må sørge for at transaksjoner er gyldige og har riktig formål.
- Må sjekke om transaksjonene er riktig godkjent.
Verktøy for dataavstemming
1) OpenRefine
OpenRefine, som tidligere var kjent som Google Refine er et nyttig rammeverk for databaseavstemming. Det lar deg rense og overføre rotete data.
Last ned link: https://openrefine.org/
2) TIBCO
Dette dataavstemmingsverktøyet tilbyr programvaretjenester på forespørsel fra nettet i form av programvare som en tjeneste. Det lar brukere validere dataene og rense dataene. Det tilbyr komplette funksjoner for avstemmingstesting. Mye brukt i ETL-prosesser. Funksjonen ble opprinnelig solgt som TIBCO Clarity og er nå en del av TIBCOs datahåndteringsportefølje.
Last ned Link: https://www.tibco.com/solutions/data-management
3) Winpure
Winpure er en rimelig og nøyaktig programvare for datarensing. Den lar deg rense store mengder data, fjerne duplikater, korrigere og standardisere for å designe det endelige datasettet.
Last ned Link: https://winpure.com/
