Co je odsouhlasení dat? Definice, proces, nástroje
David Carter
⚡ Chytré shrnutí
Odsouhlasení dat ověřuje informace během migrace porovnáním cílových dat se zdrojovými daty. Tato stránka definuje proces, vysvětluje, proč dochází k neshodám, zahrnuje základní terminologii, tři metody odsouhlasení, osvědčené postupy a nástroje, které práci automatizují.
Co je odsouhlasení dat?
Srovnání dat (DR) je definováno jako proces ověřování dat během migrace dat. V tomto procesu se cílová data porovnávají se zdrojovými daty, aby se zajistilo, že architektura migrace přenáší data. Validace a odsouhlasení dat (DVR) znamená technologii, která ke zpracování informací využívá matematické modely.
Odsouhlasení dat vs. validace dat
Tyto dva termíny se objevují společně tak často, že jsou často považovány za jeden, ale odpovídají na různé otázky a používají se v různých okamžicích.
Ověření dat ptá se, zda je jedna hodnota sama o sobě přijatelná. Kontroluje záznam podle pravidla: je datum skutečné, je e-mailová adresa správně napsaná, existuje kód země v seznamu referencí? Ověření potřebuje pouze záznam před ním, takže obvykle probíhá při zadávání nebo načítání dat.
Odsouhlasení dat ptá se, zda se dva datové soubory shodují. Porovnává počty, součty a klíčové vztahy mezi zdrojovým a cílovým systémem a lze jej spustit pouze tehdy, pokud existují obě strany. Záznam může projít všemi ověřovacími pravidly a přesto selhat při odsouhlasení, protože byl zapsán dvakrát nebo vůbec nedorazil.
| Rozdíl | Ověření dat | Odsouhlasení dat |
|---|---|---|
| Odpověď na otázku | Je tato hodnota ve správné formě? | Shodují se zdroj a cíl? |
| Rozsah | Jeden záznam nebo pole | Dvě kompletní datové sady |
| Když to běží | Při vstupu nebo během nakládky | Po dokončení načítání |
| Typická zachycená chyba | Špatně naformátovaná nebo hodnota mimo rozsah | Chybějící, duplicitní nebo neshodující se záznamy |
Protože zachycují různé chyby, spolehlivá migrace používá oba, místo aby si mezi nimi vybírala.
Proč je odsouhlasení dat důležité?
Během procesu migrace dat je možné, že v mapě dojde k chybám.ping a transformační logiku. Problémy, jako jsou selhání za běhu, jako jsou výpadky sítě nebo přerušené transakce, mohou poškodit data.
Tyto druhy chyb mohou vést k tomu, že data zůstanou v neplatném stavu. Mohou způsobit řadu problémů, jako například:
- Chybějící záznamy
- Chybějící hodnoty
- Nesprávné hodnoty
- Duplicitní záznamy
- Špatně naformátované hodnoty
- Přerušené vztahy mezi tabulkami nebo systémy
Zde jsou důležité důvody pro použití procesu odsouhlasení dat:
- Použití odsouhlasování dat vám pomůže napříkladtraczískávání přesných a spolehlivých informací o stavu průmyslových procesů z nezpracovaných naměřených dat.
- Také vám to pomůže vytvořit jednu konzistentní sadu dat představující nejpravděpodobnější procesní operaci.
- Bez něj vedou nezjištěné chyby k nepřesným poznatkům a problémům se zákaznickým servisem.
- Odsouhlasení dat je také důležité pro integraci podnikového řízení.
Kromě výše uvedeného existuje mnoho výhod a přínosů sladění dat.
Terminologie spojená se sladěním dat
| Hrubá chyba | Hrubé chyby v měření. Odráží pouze chyby zkreslení, selhání přístroje nebo abnormální špičky hluku, pokud používáte pouze krátké časové období průměrování. |
| Pozorovatelnost | Analýza pozorovatelnosti vám může poskytnout podrobnosti o tom, jaké proměnné lze určit pro danou sadu omezení a sadu měření. |
| odchylka | Rozptyl je mírou variability senzoru. |
| Nadbytek | Pomáhá vám určit, která měření by měla být odhadnuta z jiných proměnných, a to pomocí omezujících rovnic. |
Historie srovnávání dat
Zde jsou základní orientační body z historie srovnávání dat.
- DVR (Data validation and Reconciliation) začalo na počátku 1960. let. Bylo zaměřeno na uzavření materiálových bilancí ve výrobě, kde byla k dispozici surová měření pro všechny proměnné.
- Na konci 1960. let byly všechny neměřené proměnné zohledněny v procesu sesouhlasení dat.
- Dynamiku kvazi-ustáleného stavu pro filtrování a paralelní odhad parametrů v průběhu času zavedli v roce 1977 Stanley a Mah.
- Dynamic DVR byl vyvinut jako nelineární optimalizační model, který vydal Liebman v roce 1992
Moderní skupiny praktik, které pracují se třemi odlišnými metodami usmíření.
Proces odsouhlasení dat
Typy metod srovnávání dat jsou:
Odsouhlasení kmenových dat
Odsouhlasení kmenových dat je technika odsouhlasení pouze kmenových dat mezi zdrojem a cílem. Hlavní data se většinou nemění nebo se pomalu mění a na datové sadě se neprovádí žádná operace agregace.
Několik běžných příkladů odsouhlasení kmenových dat:
- Celkový počet řádků
- Celkový počet zákazníků ve zdroji a cíli
- Celkový počet položek ve zdroji a cíli
- Celkový počet řádků na základě dané podmínky
- Počet aktivních uživatelů
- Počet neaktivních uživatelů atd.
Odsouhlasení transakčních dat
Transakční data tvoří základ BI reportů. Jakýkoli nesoulad v transakčních datech tedy může přímo ovlivnit spolehlivost sestavy a celého systému BI obecně.
Metoda odsouhlasení transakčních dat se používá z hlediska celkového součtu, což zabraňuje jakémukoli nesouladu způsobenému změnou granularity kvalifikačních dimenzí.
Příklady opatření používaných pro odsouhlasení transakčních údajů by měly být:
- Součet celkových příjmů vypočtený ze zdroje a cíle
- Součet všech prodaných položek, vypočítaný ze zdroje a cíle atd.
Automatizované odsouhlasení dat
Ve velkém systému pro správu datového skladu je vhodné automatizovat proces porovnávání dat tím, že se stane nedílnou součástí načítání dat. Umožňuje vám udržovat samostatné tabulky metadat načítání. Kromě toho bude automatické odsouhlasení informovat všechny zúčastněné strany o platnosti zpráv.
Nejlepší postupy pro používání odsouhlasování dat
- Proces sladění dat by měl mít za cíl opravu chyb měření.
- Hrubé chyby by měly být nulové, aby byl proces sesouhlasení dat efektivní.
- Standardní přístup k odsouhlasování dat se spoléhal na jednoduché počítání záznamů, aby se udržela track, zda byl migrován cílový počet záznamů, či nikoli.
- Řešení pro migraci dat nabízí podobné funkce pro sladění a datové protokoly.ping funkcionalita, která nabízí testování sladění dat v plném objemu.
Přesnost aktivity
Spolu s počty a součty musí i samotná podkladová aktivita obstát při kontrole.
- Musíte se ujistit, že transakce jsou platné a mají správný účel.
- Je třeba zkontrolovat, zda byly transakce řádně autorizovány.
Nástroje pro odsouhlasení dat
1) OpenRefine
OpenRefine, dříve známý jako Google Refine je užitečný framework pro odsouhlasení databází. Umožňuje vám čistit a přenášet neuspořádaná data.
Download link: https://openrefine.org/
2) TIBCO
Tento nástroj pro odsouhlasení dat nabízí softwarové služby na vyžádání z webu ve formě softwaru jako služby (SAS). Umožňuje uživatelům ověřovat data a čistit je. Poskytuje kompletní funkce pro odsouhlasení. Široce se používá v procesech ETL. Tato funkce byla původně prodávána jako TIBCO Clarity a nyní je součástí portfolia pro správu dat TIBCO.
Odkaz ke stažení: https://www.tibco.com/solutions/data-management
3) Winpure
Winpure je cenově dostupný a přesný software pro čištění dat. Umožňuje vám čistit velké množství dat, odstraňovat duplikáty, opravovat a standardizovat je pro návrh finální datové sady.
Odkaz ke stažení: https://winpure.com/
