Какво е хранилище за данни? Видове

Какво е съхранение на данни?

Съхранение на данни (DW) е процес на събиране и управление на данни от различни източници, за да се предоставят смислени бизнес прозрения. Data Warehouse обикновено се използва за свързване и анализ на бизнес данни от разнородни източници и е ядрото на всяка система за бизнес разузнаване (BI), изградена за анализ и отчитане на данни.

Съхранението на данни е комбинация от технологии и компоненти, които поддържат стратегическото използване на данни. Това е електронно съхранение на големи количества бизнес информация, предназначена за заявки и анализ, а не за обработка на транзакции. Складът на данни трансформира суровите данни в използваема информация и я доставя на потребителите навреме, за да вземат важни решения.

Базата данни за подпомагане на вземането на решения (Data Warehouse) се поддържа отделно от оперативната база данни на организацията. Data Warehouse не е продукт, а среда - архитектурна конструкция на информационна система, която предоставя на потребителите текуща и историческа информация за подпомагане на вземането на решения, до която е трудно да се получи достъп или да се представи в традиционно оперативно хранилище за данни.

Може би знаете, че база данни, проектирана с 3NF, за система за инвентаризация обикновено има много таблици, свързани помежду си. Например, отчет за текущата инвентаризация може да изисква повече от 12 условия за свързване, което забавя времето за отговор на заявките и отчетите. Хранилището за данни предоставя денормализиран дизайн, който намалява времето за отговор и подобрява производителността при отчитане и анализ.

Системата за хранилище на данни е известна още със следните имена:

• Система за подпомагане на вземането на решения (DSS)
• Изпълнителна информационна система
• Информационна система за управление
• Решение за бизнес разузнаване
• Аналитично приложение
• Склад за данни

История на хранилището за данни

Хранилището за данни помага на потребителите да разберат и подобрят производителността на своята организация. Необходимостта от съхранение на данни се е развила с нарастването на сложността на компютърните системи и обработката на все по-големи обеми информация. Хранилището за данни не е нова концепция – то има дълга еволюционна история.

Ето някои от ключовите събития в еволюцията на хранилището за данни:

• 1960 — Дартмут и Дженерал Милс, в съвместен изследователски проект, разработват термините „измерения“ и „факти“.
• 1970 — AC Nielsen и IRI въвеждат триизмерни витрини за данни за продажби на дребно.
• 1983 — Teradata Corporation въвежда система за управление на бази данни, специално разработена за подпомагане на вземането на решения.
• В края на 1980-те - IBM изследователите Пол Мърфи и Бари Девлин разработват концепцията за хранилище за бизнес данни.
• Съвременната визия за хранилището на данни се дължи на Bill Инмон, често наричан „бащата на хранилището за данни“. Той е автор на основополагащи трудове за изграждането, използването и поддръжката на хранилището и Фабриката за корпоративна информация.

Как работи хранилището за данни?

Хранилището за данни работи като централно хранилище, където информацията постъпва от един или повече източника на данни. Данните постъпват в хранилището от транзакционни системи и други релационни бази данни.

Входящите данни могат да бъдат:

1. Структуриран
2. Полуструктуриран
3. Неструктуриран

Данните се обработват, трансформират и приемат, така че потребителите да имат достъп до подбрания набор от данни чрез инструменти за бизнес разузнаване, SQL клиенти и електронни таблици. Складът за данни обединява информация от различни източници в една цялостна база данни.

Чрез консолидиране на цялата тази информация на едно място, организацията може да анализира своите клиенти цялостно и да потвърди, че е взела предвид всяка налична точка от данни. Складирането на данни прави възможно извличането на данни — извличането на данни търси модели в данните, които водят до по-високи продажби, по-ниски разходи и по-добри прогнози.

Видове Data Warehouse

Трите основни вида хранилища за данни (DWH) са:

1. Enterprise Data Warehouse (EDW):

Корпоративното хранилище за данни е централизирано хранилище, което предоставя услуги за подпомагане на вземането на решения в цялата организация. То предлага унифициран подход за организиране и представяне на данни и дава възможност за класифициране на данните по теми и предоставяне на достъп според тези раздели.

2. Operaнационално хранилище за данни (ODS):

An Operaционалното хранилище за данни е хранилище за данни, използвано, когато нито хранилището за данни, нито OLTP системите могат да обслужват нуждите на организацията от отчети. В ODS данните се обновяват в реално време, което го прави идеално за рутинни дейности, като например съхраняване на текущи записи на служителите.

3. Data Mart:

A Data Mart е подмножество на хранилището за данни, предназначено за специфична бизнес линия, като например продажби, финанси или маркетинг. В независим хранилище за данни данните могат да се събират директно от изходните системи.

Общи етапи на хранилище за данни

Първоначално организациите възприеха сравнително прости начини за използване на хранилища за данни. С течение на времето се появиха по-сложни модели. По-долу са изброени общите етапи на използване на хранилища за данни (DWH):

Извън линия Operaнационална база данни:

Данните се копират от операционна система на друг сървър. Зареждането, обработката и отчитането спрямо копието не влияят на производителността на операционната система.

Офлайн хранилище за данни:

Данните в хранилището за данни се актуализират редовно от оперативната база данни. Данните се картографират и трансформират, за да отговарят на целите на хранилището за данни.

Хранилище за данни в реално време:

Хранилищата за данни се актуализират всеки път, когато се извърши транзакция в оперативната база данни. Системите за резервации на авиокомпании и железопътни линии са класически примери.

Интегрирано хранилище на данни:

Хранилищата за данни се актуализират непрекъснато, когато операционните системи извършват транзакции. След това хранилището за данни генерира транзакции, които се предават обратно на операционната система.

Компоненти на хранилище за данни

Четирите компонента на хранилището за данни са:

Мениджър на зареждане: Наричан още преден компонент, Load Manager обработва всички операции, свързани с extracобработка и зареждане на данни в хранилището. Тези операции включват трансформациите, които подготвят данните за въвеждане в хранилището за данни.

Началник склад: Мениджърът на склада извършва операции, свързани с управлението на данни в склада. Той анализира данните, за да осигури съгласуваност, създава индекси и изгледи, генерира денормализация и агрегация, трансформира и обединява изходни данни и архивира или архивира данни.

Мениджър на заявки: Известен още като backend компонент, Query Manager обработва операции, свързани с потребителски заявки. Той насочва заявките към съответните таблици и планира тяхното изпълнение.

Инструменти за достъп на крайния потребител:

Тези инструменти се разделят на пет групи: 1) Отчитане на данни, 2) Инструменти за заявки, 3) Инструменти за разработване на приложения, 4) EIS инструменти и 5) OLAP инструменти Инструменти за извличане на данни.

Кой се нуждае от хранилище за данни?

Хранилище за данни (DWH) е необходимо за всички видове потребители, включително:

• Вземащи решения, които разчитат на големи обеми от данни.
• Потребители, които изпълняват персонализирани, сложни процеси за комбиниране на информация от множество източници.
• Хора, които искат проста, безпроблемна технология за достъп до данни.
• Екипи, които искат систематичен, повтаряем подход при вземане на решения.
• Потребители, които се нуждаят от бърза работа с огромни набори от данни за отчети, табла за управление, таблици или диаграми.
• Анализатори, които търсят да открият скрити модели в потоците от данни и групитеpings.

За какво се използва Data Warehouse?

По-долу са изброени най-често срещаните сектори, където се използват хранилища за данни:

Авиокомпания:

В авиоиндустрията, хранилищата за данни поддържат разпределението на екипажа, анализа на рентабилността на маршрутите, промоциите по програми за често летящи и подобни оперативни решения.

банков:

Складовете за данни се използват широко в банковото дело за ефективно управление на ресурсите на бюрото. Няколко банки ги използват и за пазарни проучвания, анализ на ефективността на продуктите и планиране на операциите.

Здравеопазване:

Здравният сектор използва хранилища за данни, за да стратегизира и прогнозира резултатите, да генерира отчети за лечението на пациенти и да споделя данни със застрахователни партньори и медицински служби.

Публичния сектор:

В публичния сектор, хранилищата за данни поддържат събирането на разузнавателна информация и помагат на правителствените агенции да поддържат и анализират данъчни записи и записи за здравните политики за всеки отделен човек.

Инвестиции и застраховки:

В този сектор складовете се използват за анализ на модели на данни, тенденции при клиентите и движения на пазара.

Търговски вериги:

Търговските вериги използват хранилища за данни за дистрибуция и маркетинг, за да track артикули и модели на покупка от страна на клиентите, планиране на промоции и определяне на ценовата политика.

Телекомуникации:

Телекомуникационните компании използват хранилища за данни за промоции на продукти, решения за продажби и решения за дистрибуция.

Хотелиерска индустрия:

Хотелиерската индустрия използва хранилища за данни, за да проектира и оцени рекламни и промоционални кампании, насочени към клиенти, въз основа на обратна връзка и модели на пътуване.

Стъпки за внедряване на хранилище за данни

Най-добрият начин за управление на бизнес риска, свързан с внедряването на хранилище за данни, е да се следва триетапна стратегия:

1. Стратегия на предприятието: Идентифицирайте текущата техническа архитектура и инструменти, както и фактите, измеренията и атрибутите, които складът трябва да поддържа. Карта на даннитеping и трансформацията са част от този етап.
2. Поетапна доставка: Внедрявайте хранилището за данни на етапи, базирани на предметните области. Свързани бизнес обекти, като например резервации и фактуриране, трябва да бъдат доставени първо и след това интегрирани.
3. Итеративен прототипping: Вместо мащабно внедряване, хранилището за данни трябва да бъде разработено, тествано и усъвършенствано итеративно.

Ето ключовите стъпки при внедряването на хранилище за данни, заедно с техните резултати:

Стъпка	Задачи	Deliverables
1	Дефиниране на обхвата на проекта	Определение на обхвата
2	Определете бизнес нуждите	Логически модел на данни
3	Определяне OperaИзисквания за национално хранилище на данни	Operaционален модел за съхранение на данни
4	Придобиване или развитие на бившиtracинструменти за ция	ExtracИнструменти и софтуер
5	Дефиниране на изискванията за данни в хранилището за данни	Преходен модел на данни
6	В документа липсват данни	Списък с проекти със задачи
7	Карта Operaционно хранилище на данни към хранилище на данни	Карта за интеграция на данни от DW
8	Разработване на дизайн на база данни за хранилище на данни	Дизайн на база данни DW
9	Extract данни от Operaнационално хранилище на данни	Интегриран DW Data Extracts
10	Зареждане на хранилището за данни	Първоначално зареждане на данни
11	Поддържане на хранилището за данни	Текущ достъп до данни и последващи зареждания

Най-добри практики за внедряване на хранилище за данни

• Определете план за тестване на съгласуваността, точността и целостта на данните.
• Хранилището за данни трябва да бъде добре интегрирано, добре дефинирано и с времеви печат.
• Когато проектирате хранилището за данни, използвайте правилния инструмент, следвайте жизнения цикъл, адресирайте конфликтите на данни рано и се учете от грешките.
• Никога не замествайте оперативните системи и оперативните отчети със склада.
• Не прекарвайте прекалено много време с бившия/бившата си.tracобработка, почистване и зареждане на данни — автоматизирайте, където е възможно.
• Включете всички заинтересовани страни, включително бизнес екипите, в внедряването на хранилището за данни. Третирайте хранилището като съвместен проект, за да остане полезно за крайните потребители.
• Подгответе план за обучение на крайните потребители.

Предимства и недостатъци на хранилището за данни

Предимства на хранилището за данни (DWH):

• Бизнес потребителите могат бързо да имат достъп до критични данни от много източници на едно място.
• Предоставя последователна информация в междуфункционалните дейности и поддържа ad-hoc отчети и заявки.
• Интегрира множество източници на данни, което намалява натоварването на производствените системи.
• Намалява общото време за обработка на анализ и отчети.
• Преструктурирането и интеграцията улесняват отчитането и анализа за крайния потребител.
• Спестява време на потребителя, като премахва необходимостта от извличане на данни от множество източници.
• Съхранява големи обеми исторически данни, което позволява анализ на тенденциите и бъдещи прогнози.

Недостатъци на хранилището за данни:

• Не е идеален вариант за неструктурирани данни.
• Създаването и внедряването отнемат време.
• Хранилищата за данни могат да остареят сравнително бързо без активна поддръжка.
• Промените в типовете данни, диапазоните, схемите на източниците, индексите или заявките са трудни.
• Хранилището за данни може да изглежда лесно на пръв поглед, но е сложно за обикновения потребител.
• Въпреки всички усилия, обхватът на проекта има тенденция да се разширява по време на изпълнението.
• Различните бизнес звена понякога разработват противоречиви бизнес правила.
• Организациите трябва да отделят значителни ресурси за обучение и внедряване.

Бъдещето на съхранението на данни

• Регулаторни ограничения може да ограничи възможността за комбиниране на източници на различни данни, включително неструктурирани данни, които са по-трудни за съхранение и управление.
• Тъй като размер С нарастването на базите данни, това, което се счита за много голяма база данни, продължава да се измества нагоре, а изграждането и експлоатацията на хранилища в такъв мащаб става все по-сложно.
• Мултимедийни данни не може да се манипулира толкова лесно, колкото текстът. Релационният софтуер обработва добре текстова информация, но богатите медии остават активна област на изследване.

Инструменти за съхранение на данни

На пазара се предлагат много инструменти за съхранение на данни. Ето някои от най-известните:

1. MarkLogic:

MarkLogic е решение за складиране на данни, което опростява и ускорява интеграцията на данни с богат набор от корпоративни функции. То извършва сложни операции за търсене и може да прави заявки към документи, взаимоотношения и метаданни.

2. Oracle:

Oracle е водещата база данни в индустрията. Тя предлага широка гама от решения за хранилища на данни както за локални, така и за облачни внедрявания и помага за оптимизиране на клиентското изживяване чрез подобряване на оперативната ефективност.

3. Amazon Червено отместване:

Amazon Redshift е услуга за хранилище на данни, която е проста и рентабилна за анализ на данни със стандартни SQL и съществуващи инструменти за бизнес разузнаване. Той изпълнява сложни заявки към петабайти структурирани данни, използвайки техники за оптимизация на заявки.

Ето пълен списък с полезни Инструменти за съхранение на данни.

Въпроси и Отговори