Що таке Data Mart у Data Warehouse? Типи та приклад

Що таке Data Mart?

A Data Mart зосереджено на одній функціональній області організації та містить підмножину даних, що зберігаються в сховищі даних. Data Mart — це скорочена версія Data Warehouse, призначена для використання певним відділом, підрозділом або групою користувачів в організації. Наприклад, маркетинг, продажі, кадри чи фінанси. Це часто контролюється одним відділом організації.

Data Mart зазвичай отримує дані лише з кількох джерел порівняно зі сховищем даних. Вітрини даних невеликі за розміром і більш гнучкі порівняно зі сховищем даних.

Навіщо нам Data Mart?

• Data Mart допомагає збільшити час реакції користувача завдяки зменшенню обсягу даних
• Він забезпечує легкий доступ до часто запитуваних даних.
• Data mart простіше впровадити порівняно з корпоративним Datawarehouse. У той же час вартість впровадження Data Mart, безумовно, нижча порівняно з впровадженням повного сховища даних.
• Порівняно зі сховищем даних, ринок даних є гнучким. У разі зміни моделі Datamart може бути побудований швидше завдяки меншому розміру.
• Datamart визначається одним фахівцем із предмета. Навпаки, сховище даних визначається міждисциплінарним МСП із різних областей. Отже, Data mart є більш відкритим для змін порівняно з Datawarehouse.
• Дані розділені та дозволяють дуже детально контролювати доступ.
• Дані можна сегментувати та зберігати на різних апаратних/програмних платформах.

Типи Data Mart

Існує три основних типи вітрин даних:

1. Залежний: Залежні вітрини даних створюються шляхом отримання даних безпосередньо з операційних, зовнішніх джерел або обох.
2. Незалежний: незалежна вітрина даних створюється без використання центрального сховища даних.
3. гібрид: Цей тип вітрин даних може отримувати дані зі сховищ даних або операційних систем.

Залежна база даних

Залежна вітрина даних дозволяє отримувати дані організації з єдиного сховища даних. Це один із прикладів кіоску даних, який пропонує переваги централізації. Якщо вам потрібно розробити одну або кілька фізичних вітрин даних, їх потрібно налаштувати як залежні вітрини даних.

Залежну базу даних у сховищі даних можна створити двома різними способами. Або там, де користувач може отримати доступ як до вітрини даних, так і до сховища даних, залежно від потреби, або де доступ обмежений лише до вітрини даних. Другий підхід не є оптимальним, оскільки він створює дані, які іноді називають звалищем даних. На смітнику даних усі дані починаються із загального джерела, але вони викидаються та здебільшого сміття.

Незалежний ринок даних

Незалежний вітрин даних створюється без використання центрального сховища даних. Цей вид Data Mart є ідеальним варіантом для невеликих груп всередині організації.

Незалежна вітрина даних не пов’язана ні з корпоративним сховищем даних, ні з будь-якою іншою вітриною даних. У незалежній вітрині даних дані вводяться окремо, а їх аналіз також виконується автономно.

Впровадження незалежних вітрин даних суперечить мотивації створення сховища даних. Перш за все, вам потрібне узгоджене централізоване сховище корпоративних даних, які можуть аналізувати кілька користувачів із різними інтересами, яким потрібна різноманітна інформація.

Hybrid Data Mart

Гібридна вітрина даних поєднує вхідні дані з джерел, окрім сховища даних. Це може бути корисним, якщо вам потрібна спеціальна інтеграція, наприклад після додавання нової групи або продукту в організацію.

Це найкращий приклад вітрини даних, який підходить для багатьох середовищ баз даних і швидкого впровадження для будь-якої організації. Це також вимагає найменших зусиль для очищення даних. Hybrid Data mart також підтримує великі структури зберігання даних і найкраще підходить для гнучкості менших програм, орієнтованих на дані.

Етапи впровадження Datamart

Впровадження Data Mart — це корисна, але складна процедура. Нижче наведено докладні кроки для впровадження Data Mart:

Проектування

Проектування є першим етапом реалізації Data Mart. Він охоплює всі завдання від ініціювання запиту на вітрину даних до збору інформації про вимоги. Нарешті, ми створюємо логічний і фізичний дизайн Data Mart.

Етап проектування включає наступні завдання:

• Збір бізнес-технічних вимог і визначення джерел даних.
• Вибір відповідної підмножини даних.
• Проектування логічної та фізичної структури вітрини даних.

Дані можуть бути розділені на основі таких критеріїв:

• Дата
• Бізнес або функціональний підрозділ
• Географія
• Будь-яка комбінація вищезазначеного

Дані можуть бути розділені на рівні програми або СУБД. Хоча рекомендується розділити на рівні додатків, оскільки це дозволяє щороку використовувати різні моделі даних зі зміною бізнес-середовища.

Які продукти та технології вам потрібні?

Досить простої ручки та паперу. Хоча інструменти, які допомагають створювати UML або ER діаграма також додасть метадані у ваші логічні та фізичні конструкції.

Будівництво

Це другий етап реалізації. Це передбачає створення фізична база даних і логічні структури.

Цей крок передбачає виконання таких завдань:

• Реалізація фізичної бази даних, розробленої на попередній фазі. Наприклад, створюються об’єкти схеми бази даних, такі як таблиця, індекси, представлення тощо.

Які продукти та технології вам потрібні?

Вам потрібно а система управління реляційною базою даних побудувати вітрину даних. RDBMS має кілька функцій, необхідних для успішної роботи Data Mart.

• Керування сховищем: RDBMS зберігає та керує даними для створення, додавання та видалення даних.
• Швидкий доступ до даних: За допомогою SQL-запиту ви можете легко отримати доступ до даних на основі певних умов/фільтрів.
• Захист даних: Система RDBMS також пропонує спосіб відновлення після системних збоїв, таких як збої живлення. Це також дозволяє відновити дані з цих резервних копій у разі збою диска.
• Багатокористувацька підтримка: Система керування даними пропонує одночасний доступ, можливість для кількох користувачів отримувати доступ до даних і змінювати їх без втручання чи перезапису змін, внесених іншим користувачем.
• Безпека: Система RDMS також надає спосіб регулювання доступу користувачів до об’єктів і певних типів операцій.

Заселення

На третьому етапі дані заповнюються в вітрині даних.

Етап заповнення включає наступні завдання:

• Відображення вихідних даних і цільових даних
• Вилучення вихідних даних
• Операції очищення та перетворення даних
• Завантаження даних у вітрину даних
• Створення та зберігання метаданих

Які продукти та технології вам потрібні?

Ви виконуєте ці завдання населення за допомогою Інструмент ETL (Extract Transform Load).. Цей інструмент дозволяє переглядати джерела даних, виконувати зіставлення джерела з цільовими, витягувати дані, перетворювати, очищати їх і завантажувати назад у вітрину даних.

Під час цього інструмент також створює деякі метадані, що стосуються таких речей, як джерело надходження даних, їх актуальність, тип змін, внесених у дані та рівень узагальнення.

Доступ до

Доступ є четвертим кроком, який передбачає використання даних: запит даних, створення звітів, діаграм і їх публікацію. Кінцевий користувач надсилає запити до бази даних і відображає результати запитів

На етапі доступу необхідно виконати такі завдання:

• Налаштуйте метарівень, який перекладає структури бази даних і назви об’єктів у бізнес-терміни. Це допомагає нетехнічним користувачам легко отримати доступ до вітрини даних.
• Налаштування та підтримка структур бази даних.
• Налаштуйте API та інтерфейси, якщо потрібно

Які продукти та технології вам потрібні?

Ви можете отримати доступ до вітрини даних за допомогою командного рядка або графічного інтерфейсу користувача. GUI є кращим, оскільки він може легко генерувати графіки та є зручним для користувача порівняно з командним рядком.

управління

Це останній крок процесу впровадження Data Mart. Цей крок охоплює такі завдання управління, як-

• Постійне керування доступом користувачів.
• Оптимізація та тонке налаштування системи для досягнення підвищеної продуктивності.
• Додавання свіжих даних у вітрину даних і керування ними.
• Планування сценаріїв відновлення та забезпечення доступності системи на випадок її збою.

Які продукти та технології вам потрібні?

Ви можете використовувати графічний інтерфейс або командний рядок для керування вітриною даних.

Найкращі практики для впровадження вітрин даних

Нижче наведено найкращі практики, яких потрібно дотримуватися під час впровадження Data Mart.

• Джерело бази даних має бути структуровано за відділами
• Цикл реалізації Data Mart повинен вимірюватися короткими періодами часу, тобто тижнями замість місяців або років.
• Важливо залучити всіх зацікавлених сторін до етапу планування та проектування, оскільки впровадження вітрини даних може бути складним.
• Витрати на апаратне/програмне забезпечення Data Mart, мережі та впровадження мають бути точно визначені у вашому плані
• Навіть якщо вітрину даних створено на тому самому обладнанні, для обробки запитів користувачів може знадобитися інше програмне забезпечення. Для швидкої реакції користувача слід оцінити додаткові вимоги до обчислювальної потужності та дискової пам’яті
• Вітрина даних може перебувати в іншому місці, ніж сховище даних. Ось чому важливо переконатися, що вони мають достатню мережеву потужність для обробки обсягів даних, необхідних для передачі даних на вітрину даних..
• Вартість впровадження має включати час, необхідний для процесу завантаження Datamart. Час завантаження збільшується зі збільшенням складності перетворень.

Переваги та недоліки Data Mart

Переваги

• Вітрини даних містять підмножину даних усієї організації. Ці дані є цінними для певної групи людей в організації.
• Це економічно ефективні альтернативи a сховище даних, будівництво якого може потребувати великих витрат.
• Data Mart забезпечує швидший доступ до даних.
• Data Mart простий у використанні, оскільки він спеціально розроблений для потреб своїх користувачів. Таким чином, вітрина даних може прискорити бізнес-процеси.
• Data Marts вимагає менше часу на впровадження порівняно з системами Data Warehouse. Це швидше запровадити Data Mart, оскільки вам потрібно лише зосередити єдину підмножину даних.
• Він містить історичні дані, які дозволяють аналітику визначити тенденції даних.

Недоліки

• Часто підприємства створюють надто багато розрізнених і непов’язаних вітрин даних без особливої ​​користі. Це може стати великою перешкодою для підтримки.
• Data Mart не може надати дані для всієї компанії аналіз даних оскільки їхній набір даних обмежений.

Підсумки

• Визначення Data Mart: Data Mart визначається як підмножина Data Warehouse, яка зосереджена на одній функціональній області організації.
• Data Mart допомагає збільшити час реакції користувача за рахунок зменшення обсягу даних.
• Три типи вітрин даних: 1) залежні 2) незалежні 3) гібридні
• Важливими етапами реалізації Data Mart є: 1) Проектування 2) Створення 3 Заповнення 4) Доступ і 5) Керування
• Цикл реалізації Data Mart повинен вимірюватися короткими періодами часу, тобто тижнями замість місяців або років.
• Вітрина даних є економічно ефективною альтернативою сховищу даних, створення якого може потребувати великих витрат.
• Data Mart не може забезпечити аналіз даних усієї компанії, оскільки набір даних обмежений.