Що таке узгодження даних? Визначення, процес, інструменти
Редакційна колегія
⚡ Розумний підсумок
Узгодження даних перевіряє інформацію під час міграції шляхом порівняння цільових даних з вихідними. На цій сторінці визначено процес, пояснено причини виникнення невідповідностей, розглянуто основну термінологію, три методи узгодження, найкращі практики та інструменти, що автоматизують роботу.
Що таке узгодження даних?
Узгодження даних (DR) визначається як процес перевірки даних під час міграції даних. У цьому процесі цільові дані порівнюються з вихідними, щоб переконатися, що архітектура міграції передає дані. Підтвердження та узгодження даних (DVR) означає технологію, яка використовує математичні моделі для обробки інформації.
Узгодження даних проти перевірки даних
Ці два терміни зустрічаються разом так часто, що їх часто трактують як один, але вони відповідають на різні питання та вживаються в різні моменти.
Перевірка даних запитує, чи є окреме значення прийнятним саме по собі. Він перевіряє запис на відповідність правилу: чи справжня дата, чи правильно сформована адреса електронної пошти, чи існує код країни у списку посилань? Для перевірки потрібен лише запис перед ним, тому вона зазвичай виконується під час введення або завантаження даних.
Узгодження даних запитує, чи узгоджуються два набори даних. Він порівнює кількість, суми та ключові зв'язки між вихідною системою та цільовою системою, і може виконуватися лише тоді, коли обидві сторони існують. Запис може пройти кожне правило перевірки та все одно не вдатися до узгодження, оскільки його було записано двічі або він взагалі не надійшов.
| Точка різниці | Перевірка достовірності даних | Узгодження даних |
|---|---|---|
| Відповідь на запитання | Чи це значення має правильну форму? | Чи узгоджуються джерело та ціль? |
| Сфера | Один запис або поле | Два повні набори даних |
| Коли воно працює | При в'їзді або під час завантаження | Після завершення завантаження |
| Типова виявлена несправність | Неправильно відформатоване або позадіапазонне значення | Відсутні, дубліковані або незбігаючі записи |
Оскільки вони виявляють різні помилки, надійна міграція використовує обидва варіанти, а не вибирає між ними.
Чому звірка даних важлива?
У процесі міграції даних на карті можливі помилки.ping і логіка перетворення. Такі проблеми, як збої під час виконання, наприклад, випадки в мережі або перервані транзакції, можуть пошкодити дані.
Такі помилки можуть призвести до того, що дані залишаться в недійсному стані. Це може створити низку проблем, таких як:
- Відсутні записи
- Відсутні значення
- Неправильні значення
- Дубльовані записи
- Неправильно відформатовані значення
- Порушені зв’язки між таблицями чи системами
Ось важливі причини для використання процесу узгодження даних:
- Використання звірки даних допомагає вам, наприклад,tracотримання точної та достовірної інформації про стан промислового процесу на основі даних вимірювань.
- Це також допомагає вам створити єдиний узгоджений набір даних, що представляє найімовірнішу операцію процесу.
- Без цього невиявлені помилки призводять до неточної аналітики та проблем з обслуговуванням клієнтів.
- Узгодження даних також важливе для інтеграції корпоративного контролю.
Окрім вищезазначеного, існує багато переваг та вигод узгодження даних.
Термінологія, пов’язана з узгодженням даних
| Груба помилка | Грубі похибки вимірювань. Він відображає лише помилки зміщення, несправності приладів або аномальні стрибки шуму, якщо ви використовуєте лише короткий період усереднення. |
| Спостережливість | Аналіз спостережуваності може дати вам детальну інформацію про те, які змінні можна визначити для певного набору обмежень і набору вимірювань. |
| дисперсія | Дисперсія – це міра мінливості датчика. |
| надмірність | Це допомагає вам визначити, які вимірювання слід оцінити з інших змінних, використовуючи рівняння обмежень. |
Історія узгодження даних
Ось важливі віхи з історії узгодження даних.
- DVR (Перевірка та узгодження даних) почали працювати на початку 1960-х років. Це було спрямовано на закриття матеріальних балансів у виробництві, де були доступні вихідні вимірювання для всіх змінних.
- Наприкінці 1960-х усі невиміряні змінні враховувалися в процесі узгодження даних.
- Динаміка квазістаціонарного стану для фільтрації та паралельної оцінки параметрів у часі була введена в 1977 році Стенлі та Махом.
- Динамічний DVR був розроблений як модель нелінійної оптимізації, яка була випущена Лібманом у 1992 році.
Сучасні групи практики, які працюють за трьома різними методами примирення.
Процес узгодження даних
Типи методів узгодження даних:
Узгодження основних даних
Узгодження основних даних — це техніка узгодження лише основних даних між джерелом і цільовим. Основні дані здебільшого не змінюються або змінюються повільно, і над набором даних не виконується операція агрегації.
Кілька типових прикладів узгодження основних даних:
- Загальна кількість рядків
- Загальний Клієнт у джерелі та цільовому сегменті
- Загальна кількість елементів у джерелі та цільовому файлі
- Загальна кількість рядків на основі заданої умови
- Кількість активних користувачів
- Кількість неактивних користувачів тощо.
Узгодження транзакційних даних
Транзакційні дані складають базу звітів BI. Таким чином, будь-яка невідповідність у транзакційних даних може безпосередньо вплинути на надійність звіту та всієї системи BI загалом.
Метод узгодження даних транзакцій використовується в термінах загальної суми, що запобігає будь-якій невідповідності, спричиненій зміною деталізації кваліфікованих параметрів.
Прикладами заходів, які використовуються для узгодження даних транзакцій, є:
- Сума загального доходу, розрахованого з джерела та призначення
- Сума всіх проданих товарів, розрахована на основі джерела та цільового показника тощо.
Автоматизоване узгодження даних
У великій системі керування сховищами даних зручно автоматизувати процес узгодження даних, зробивши це невід’ємною частиною завантаження даних. Це дозволяє підтримувати окремі таблиці метаданих завантаження. Крім того, автоматизована звірка інформуватиме всіх зацікавлених сторін про достовірність звітів.
Найкращі практики використання звірки даних
- Процес узгодження даних має бути спрямований на виправлення помилок вимірювання.
- Грубі помилки повинні бути нульовими, щоб зробити процес узгодження даних ефективним.
- Стандартний підхід до узгодження даних спирався на просту кількість записів для зберігання track, що показує, чи було перенесено цільову кількість записів.
- Рішення для міграції даних забезпечує аналогічні можливості узгодження та протоколювання данихping функціональність, яка пропонує повномасштабне тестування узгодження даних.
Точність діяльності
Поряд з підрахунками та загальними сумами, сама діяльність, що лежить в їх основі, повинна витримувати перевірку.
- Ви повинні переконатися, що транзакції дійсні та мають правильну мету.
- Необхідно перевірити, чи транзакції були належним чином авторизовані.
Інструменти узгодження даних
1) OpenRefine
OpenRefine, раніше відомий як Google Refine — це корисна платформа для узгодження баз даних. Вона дозволяє очищувати та передавати невпорядковані дані.
Посилання для скачування: https://openrefine.org/
2) TIBCO
Цей інструмент узгодження даних пропонує програмні послуги на вимогу з Інтернету у формі програмного забезпечення як послуги. Він дозволяє користувачам перевіряти та очищувати дані. Він надає повні функції тестування узгодження. Широко використовується в процесах ETL. Ця функція спочатку продавалася як TIBCO Clarity, а тепер входить до портфоліо TIBCO для управління даними.
Посилання для скачування: https://www.tibco.com/solutions/data-management
3) Winpure
Winpure — це доступне та точне програмне забезпечення для очищення даних. Воно дозволяє очищати великі обсяги даних, видаляючи дублікати, виправляючи та стандартизуючи їх для створення кінцевого набору даних.
Посилання для скачування: https://winpure.com/
