Какво е Data Mart в Data Warehouse? Типове и пример

Какво е Data Mart?

A Data Mart е фокусиран върху една функционална област на организация и съдържа подмножество от данни, съхранявани в Data Warehouse. Data Mart е съкратена версия на Data Warehouse и е предназначена за използване от конкретен отдел, звено или набор от потребители в организация. Например маркетинг, продажби, човешки ресурси или финанси. Често се контролира от един отдел в организацията.

Data Mart обикновено черпи данни само от няколко източника в сравнение с Data warehouse. Витрините за данни са малки по размер и са по-гъвкави в сравнение с Datawarehouse.

Защо се нуждаем от Data Mart?

Data Mart помага да се подобри времето за реакция на потребителя поради намаляване на обема на данните
Осигурява лесен достъп до често търсени данни.
Data mart е по-лесен за внедряване в сравнение с корпоративния Datawarehouse. В същото време разходите за внедряване на Data Mart със сигурност са по-ниски в сравнение с внедряването на пълно хранилище на данни.
В сравнение с Data Warehouse, datamart е гъвкав. В случай на промяна на модела, Datamart може да бъде изграден по-бързо поради по-малък размер.
Datamart се определя от един експерт по предмета. Напротив, хранилището за данни се определя от интердисциплинарни МСП от различни области. Следователно Data mart е по-отворен за промяна в сравнение с Datawarehouse.
Данните са разделени и позволяват много подробни привилегии за контрол на достъпа.
Данните могат да бъдат сегментирани и съхранявани на различни хардуерни/софтуерни платформи.

Видове Data Mart

Има три основни типа витрини за данни:

Зависим: Зависимите витрини с данни се създават чрез изтегляне на данни директно от оперативни, външни или и двата източника.
Независим: Независимият витрина за данни се създава без използването на централен склад за данни.
Хибрид: Този тип витрини за данни могат да вземат данни от хранилища на данни или операционни системи.

Зависим Data Mart

Зависимата витрина за данни позволява извличане на данни на организацията от едно хранилище на данни. Това е един от примерите за търговия с данни, който предлага предимството на централизацията. Ако трябва да разработите една или повече физически витрини с данни, тогава трябва да ги конфигурирате като зависими витрини с данни.

Зависимият Data Mart в хранилището на данни може да бъде изграден по два различни начина. Или където потребителят има достъп както до витрината за данни, така и до хранилището на данни, в зависимост от нуждата, или където достъпът е ограничен само до витрината за данни. Вторият подход не е оптимален, тъй като произвежда, понякога наричан склад за отпадъци. В сметището за боклук всички данни започват с общ източник, но те се бракуват и най-вече се събират за боклук.

Независим Data Mart

Създава се независима витрина за данни без използването на централен склад за данни. Този вид Data Mart е идеален вариант за по-малки групи в организацията.

Независимата витрина за данни няма връзка нито с корпоративното хранилище на данни, нито с която и да е друга витрина с данни. В Independent data mart данните се въвеждат отделно и техните анализи също се извършват автономно.

Внедряването на независими витрини за данни е противоположно на мотивацията за изграждане на склад за данни. На първо място, имате нужда от последователно, централизирано хранилище на корпоративни данни, които могат да бъдат анализирани от множество потребители с различни интереси, които искат много различна информация.

Hybrid Data Mart

Хибридната витрина за данни комбинира вход от източници, различни от Data warehouse. Това може да бъде полезно, когато искате ad hoc интеграция, например след добавяне на нова група или продукт към организацията.

Това е най-добрият пример за витрина за данни, подходящ за среди с множество бази данни и бързо внедряване за всяка организация. Освен това изисква най-малко усилия за почистване на данни. Hybrid Data mart също поддържа големи структури за съхранение и е най-подходящ за гъвкави за по-малки приложения, ориентирани към данни.

Стъпки за внедряване на Datamart

Внедряването на Data Mart е възнаграждаваща, но сложна процедура. Ето подробните стъпки за внедряване на Data Mart:

Проектиране

Проектирането е първата фаза от внедряването на Data Mart. Той обхваща всички задачи от инициирането на заявка за витрина с данни до събирането на информация за изискванията. Накрая създаваме логическия и физически дизайн на Data Mart.

Етапът на проектиране включва следните задачи:

Събиране на бизнес и технически изисквания и идентифициране на източници на данни.
Избор на подходящо подмножество от данни.
Проектиране на логическата и физическа структура на витрината за данни.

Данните могат да бъдат разделени въз основа на следните критерии:

Дата
Бизнес или функционална единица
география
Всяка комбинация от горните

Данните могат да бъдат разделени на ниво приложение или СУБД. Въпреки че се препоръчва да се разделя на ниво приложение, тъй като позволява различни модели на данни всяка година с промяната в бизнес средата.

От какви продукти и технологии се нуждаете?

Един обикновен химикал и хартия биха били достатъчни. Въпреки че инструментите, които ви помагат да създавате UML или ER диаграма също така ще добави метаданни към вашите логически и физически проекти.

Изграждане

Това е вторият етап от изпълнението. Това включва създаване на физическата база данни и логическите структури.

Тази стъпка включва следните задачи:

Внедряване на физическата база данни, проектирана в по-ранната фаза. Например, създават се обекти на схема на база данни като таблица, индекси, изгледи и т.н.

От какви продукти и технологии се нуждаете?

Трябва ти система за управление на релационна база данни за изграждане на витрина за данни. RDBMS имат няколко функции, които са необходими за успеха на Data Mart.

Управление на съхранението: RDBMS съхранява и управлява данните за създаване, добавяне и изтриване на данни.
Бърз достъп до данни: С SQL заявка можете лесно да получите достъп до данни въз основа на определени условия/филтри.
Защита на данни: Системата RDBMS също така предлага начин за възстановяване от системни повреди, като прекъсване на захранването. Той също така позволява възстановяване на данни от тези архиви в случай на повреда на диска.
Многопотребителска поддръжка: Системата за управление на данни предлага едновременен достъп, възможност за множество потребители да осъществяват достъп и да променят данни, без да се намесват или презаписват промените, направени от друг потребител.
Сигурност: Системата RDMS също така предоставя начин за регулиране на достъпа на потребителите до обекти и определени видове операции.

Попълване

В третата фаза данните се попълват в базата с данни.

Стъпката на попълване включва следните задачи:

Изходни данни за целеви данни Картографиране
Извличане на изходни данни
Операции за почистване и преобразуване на данните
Зареждане на данни в витрината за данни
Създаване и съхраняване на метаданни

От какви продукти и технологии се нуждаете?

Изпълнявате тези задачи за населението с помощта на Инструмент ETL (Extract Transform Load).. Този инструмент ви позволява да разглеждате източниците на данни, да извършвате картографиране от източник към цел, да извличате данните, да ги трансформирате, почиствате и да ги зареждате обратно в базата с данни.

В процеса инструментът също така създава някои метаданни, свързани с неща като откъде идват данните, колко скорошни са, какъв тип промени са направени в данните и какво ниво на обобщаване е направено.

Достъп

Достъпът е четвърта стъпка, която включва използването на данните: запитване към данните, създаване на отчети, диаграми и публикуването им. Крайният потребител изпраща заявки към базата данни и показва резултатите от заявките

Стъпката за достъп трябва да изпълни следните задачи:

Настройте мета слой, който превежда структурите на бази данни и имената на обекти в бизнес термини. Това помага на нетехническите потребители да имат лесен достъп до Data mart.
Настройте и поддържайте структури от бази данни.
Настройте API и интерфейси, ако е необходимо

От какви продукти и технологии се нуждаете?

Можете да получите достъп до витрината с данни, като използвате командния ред или GUI. GUI е за предпочитане, тъй като може лесно да генерира графики и е лесен за използване в сравнение с командния ред.

Управляващ

Това е последната стъпка от процеса на внедряване на Data Mart. Тази стъпка обхваща задачи за управление като-

Текущо управление на потребителския достъп.
Системни оптимизации и фини настройки за постигане на подобрена производителност.
Добавяне и управление на нови данни в витрината за данни.
Планиране на сценарии за възстановяване и осигуряване на наличност на системата в случай на повреда на системата.

От какви продукти и технологии се нуждаете?

Можете да използвате GUI или командния ред за управление на витрина с данни.

Най-добри практики за внедряване на Data Marts

Следват най-добрите практики, които трябва да следвате, докато сте в процеса на внедряване на Data Mart:

Източникът на Data Mart трябва да бъде структуриран по отдели
Цикълът на внедряване на Data Mart трябва да се измерва в кратки периоди от време, т.е. в седмици вместо в месеци или години.
Важно е да се включат всички заинтересовани страни във фазата на планиране и проектиране, тъй като внедряването на базата за данни може да бъде сложно.
Разходите за хардуер/софтуер, мрежи и внедряване на Data Mart трябва да бъдат точно предвидени във вашия план
Въпреки че ако Data mart е създаден на същия хардуер, може да се нуждае от различен софтуер за обработка на потребителски заявки. За бърза реакция на потребителя трябва да се оценят допълнителни изисквания за процесорна мощност и дисково съхранение
Витрината за данни може да е на различно място от хранилището на данни. Ето защо е важно да се гарантира, че те имат достатъчен мрежов капацитет, за да се справят с обемите от данни, необходими за прехвърляне на данни към базата за данни.
Разходите за внедряване трябва да включват времето, необходимо за процеса на зареждане на Datamart. Времето за зареждане се увеличава с увеличаване на сложността на трансформациите.

Предимства и недостатъци на Data Mart

Предимства

Витрините за данни съдържат подмножество от данни за цялата организация. Тези данни са ценни за определена група хора в организацията.
Това е рентабилна алтернатива на a склад за данни, чието изграждане може да изисква високи разходи.
Data Mart позволява по-бърз достъп до данни.
Data Mart е лесен за използване, тъй като е специално проектиран за нуждите на своите потребители. По този начин витрината за данни може да ускори бизнес процесите.
Data Marts се нуждае от по-малко време за внедряване в сравнение със системите Data Warehouse. По-бързо е да внедрите Data Mart, тъй като трябва само да концентрирате единственото подмножество от данни.
Той съдържа исторически данни, които позволяват на анализатора да определи тенденциите в данните.

Недостатъци

Много пъти предприятията създават твърде много различни и несвързани бордове за данни без голяма полза. Може да се превърне в голяма пречка за поддържане.
Data Mart не може да предостави за цялата компания Анализ на данни тъй като техният набор от данни е ограничен.

Oбобщение

Дефиниране на Data Mart : Data Mart се дефинира като подмножество от Data Warehouse, което е фокусирано върху една функционална област на организация.
Data Mart помага да се подобри времето за реакция на потребителя поради намаляване на обема на данните.
Три вида витрини за данни са 1) зависими 2) независими 3) хибридни
Важни стъпки за внедряване на Data Mart са 1) Проектиране 2) Конструиране 3 Попълване 4) Достъп и 5) Управление
Цикълът на внедряване на Data Mart трябва да се измерва в кратки периоди от време, т.е. в седмици вместо в месеци или години.
Data mart е рентабилна алтернатива на склад за данни, чието изграждане може да изисква високи разходи.
Data Mart не може да предостави анализ на данни за цялата компания, тъй като наборът от данни е ограничен.