Какво е съгласуване на данни? Дефиниция, процес, инструменти
Дейвид Картър
⚡ Умно обобщение
Съгласуването на данни проверява информацията по време на миграция, като сравнява целевите данни с изходните данни. Тази страница дефинира процеса, обяснява защо възникват несъответствия, обхваща основната терминология, трите метода за съгласуване, най-добрите практики и инструментите, които автоматизират работата.
Какво е съгласуване на данни?
Съгласуването на данни (DR) се дефинира като процес на проверка на данните по време на миграцията на данни. В този процес целевите данни се сравняват с изходните данни, за да се гарантира, че миграционната архитектура прехвърля данни. Валидиране и съпоставяне на данни (DVR) означава технология, която използва математически модели за обработка на информация.
Съгласуване на данни срещу валидиране на данни
Двата термина се появяват заедно толкова често, че често се третират като един, но те отговарят на различни въпроси и се използват в различни моменти.
Потвърждаване на данни пита дали дадена стойност е приемлива сама по себе си. Проверява записа спрямо правило: реална ли е датата, правилно ли е оформен имейл адресът, съществува ли кодът на държавата в списъка с референции? Валидацията се нуждае само от записа пред нея, така че обикновено се изпълнява при въвеждане или зареждане на данни.
Съгласуване на данни пита дали два набора от данни съвпадат. Сравнява броячи, суми и ключови връзки между изходна система и целева система и може да се изпълни само след като и двете страни съществуват. Запис може да премине всяко правило за валидиране и все пак да е неуспешен при съгласуване, защото е бил записан два пъти или изобщо не е пристигнал.
| Точка на разликата | Потвърждаване на данните | Съпоставяне на данни |
|---|---|---|
| Отговор на въпроса | Тази стойност правилна ли е по форма? | Източникът и целта съвпадат ли? |
| Обхват | Единичен запис или поле | Два пълни набора от данни |
| Когато работи | При влизане или по време на товарене | След като зареждането приключи |
| Типична засечена повреда | Неправилно форматирана или стойност извън диапазона | Липсващи, дублирани или несъответстващи записи |
Тъй като те отчитат различни грешки, надеждната миграция използва и двете, вместо да избира между тях.
Защо съгласуването на данни е важно?
В процеса на мигриране на данни е възможно да се допуснат грешки в картатаping и логика на трансформация. Проблеми като повреди по време на изпълнение, като прекъсвания на мрежата или прекъснати транзакции, могат да повредят данните.
Тези видове грешки могат да доведат до това данните да останат в невалидно състояние. Те могат да създадат редица проблеми, като например:
- Липсващи записи
- Липсващи стойности
- Неправилни стойности
- Дублирани записи
- Лошо форматирани стойности
- Прекъснати връзки между таблици или системи
Ето важни причини за използване на процеса на съгласуване на данни:
- Използването на съгласуване на данни ви помага напримерtracполучаване на точна и надеждна информация за състоянието на индустриалния процес от сурови данни от измервания.
- Това ви помага също така да създадете единен последователен набор от данни, представляващи най-вероятната операция на процеса.
- Без него, неоткритите грешки водят до неточна информация и проблеми с обслужването на клиентите.
- Съпоставянето на данните също е важно за интеграцията на корпоративния контрол.
Освен гореизброеното, има много предимства и ползи от съгласуването на данни.
Терминология, свързана със съгласуването на данни
| Груба грешка | Груби грешки в измерванията. Той отразява само грешки от отклонение, повреди на инструмента или необичайни пикове на шума, ако използвате само кратък период на осредняване. |
| наблюдаване | Анализът на наблюдаемостта може да ви даде подробности за това какви променливи могат да бъдат определени за даден набор от ограничения и набор от измервания. |
| вариране | Дисперсията е мярка за променливостта на даден сензор. |
| Съкращаване | Това ви помага да определите кои измервания трябва да бъдат оценени от други променливи, като използвате уравненията на ограниченията. |
История на съгласуването на данни
Тук са основните забележителности от историята на съгласуването на данни.
- DVR (валидиране и съгласуване на данни) стартира в началото на 1960-те години. Той беше насочен към приключване на материалните баланси в производството, където бяха налични сурови измервания за всички променливи.
- В края на 1960-те години всички неизмерени променливи бяха взети предвид в процеса на съгласуване на данните.
- Динамиката на квазистационарното състояние за филтриране и паралелна оценка на параметрите във времето беше въведена през 1977 г. от Stanley и Mah.
- Dynamic DVR е разработен като нелинеен оптимизационен модел, който е издаден от Liebman през 1992 г.
Съвременни групи за практика, които работят по три различни метода за помирение.
Процес на съгласуване на данни
Видовете методи за съгласуване на данни са:
Съгласуване на основните данни
Съвместяването на основните данни е техника за съгласуване само на основните данни между източника и целта. Основните данни са предимно непроменливи или бавно променящи се по природа и не се извършва операция по агрегиране на набора от данни.
Няколко общи примера за съгласуване на основни данни са:
- Общ брой редове
- Общ клиент в източника и целта
- Общ брой елементи в източника и целта
- Общ брой редове въз основа на дадено условие
- Брой активни потребители
- Брой неактивни потребители и др.
Съгласуване на транзакционни данни
Транзакционните данни съставляват основата на BI отчетите. Следователно всяко несъответствие в транзакционните данни може пряко да повлияе на надеждността на отчета и на цялата BI система като цяло.
Методът за съгласуване на транзакционни данни се използва по отношение на общата сума, което предотвратява всяко несъответствие, причинено от промяна на детайлността на квалифициращите измерения.
Примери за мерки, използвани за съгласуване на транзакционни данни, трябва да бъдат:
- Сума от общия доход, изчислен от източника и целта
- Сумата на всички продадени артикули, изчислена от източника и целевия пазар и др.
Автоматизирано съгласуване на данни
В голямата система за управление на складове за данни е удобно да се автоматизира процесът на съгласуване на данни, като това стане неразделна част от зареждането на данни. Позволява ви да поддържате отделни таблици с метаданни за зареждане. Освен това автоматизираното съгласуване ще държи всички заинтересовани страни информирани за валидността на отчетите.
Най-добри практики за използване на съгласуване на данни
- Процесът на съгласуване на данни следва да е насочен към коригиране на грешки в измерванията.
- Грубите грешки трябва да са нулеви, за да бъде процесът на съпоставяне на данни ефективен.
- Стандартният подход за съгласуване на данни се основава на просто преброяване на записи, за да се поддържа track дали целевият брой записи са мигрирали или не.
- Решението за миграция на данни предоставя подобни възможности за съгласуване и протоколи за данниping функционалност, която предлага тестване за съгласуване на пълен обем данни.
Точност на дейността
Наред с преброяванията и общите суми, самата основна дейност трябва да издържи проверката.
- Трябва да се уверите, че транзакциите са валидни и имат правилна цел.
- Трябва да проверите дали транзакциите са правилно разрешени.
Инструменти за съпоставяне на данни
1) OpenRefine
OpenRefine, който по-рано беше известен като Google Refine е полезна рамка за съгласуване на бази данни. Тя ви позволява да почиствате и прехвърляте объркани данни.
Изтегляне на връзката: https://openrefine.org/
2) TIBCO
Този инструмент за съгласуване на данни предлага софтуерни услуги по заявка от интернет под формата на софтуер като услуга. Той позволява на потребителите да валидират данните и да ги почистват. Предоставя пълни функции за тестване на съгласуване. Широко използван в ETL процесите. Възможността първоначално се продаваше като TIBCO Clarity и сега е част от портфолиото за управление на данни на TIBCO.
Връзка за изтегляне: https://www.tibco.com/solutions/data-management
3) Winpure
Winpure е достъпен и точен софтуер за почистване на данни. Той ви позволява да почиствате голямо количество данни, като премахвате дубликати, коригирате и стандартизирате, за да проектирате крайния набор от данни.
Връзка за изтегляне: https://winpure.com/
