Що таке сховище даних? Типи
Девід Картер
⚡ Розумний підсумок
Сховище даних – це централізоване сховище, яке об'єднує інформацію з багатьох джерел для аналізу, звітності та підтримки рішень. У цьому посібнику пояснюється історія, робоча модель, типи, етапи, компоненти, кроки впровадження, переваги, недоліки та основні інструменти, які роблять сховища даних основою сучасної бізнес-аналітики.
Що таке сховище даних?
Сховище даних (СД) – це процес збору та управління даними з різних джерел для отримання змістовної бізнес-аналитики. Сховище даних зазвичай використовується для об’єднання та аналізу бізнес-даних з різнорідних джерел, і воно є основою будь-якої системи бізнес-аналітики (BI), побудованої для аналізу даних та звітності.
Сховище даних – це поєднання технологій та компонентів, що підтримує стратегічне використання даних. Це електронне зберігання великих обсягів бізнес-інформації, призначене для запитів та аналізу, а не для обробки транзакцій. Сховище даних перетворює необроблені дані на корисну інформацію та вчасно доставляє її користувачам для прийняття важливих рішень.
База даних для підтримки прийняття рішень (сховище даних) підтримується окремо від операційної бази даних організації. Сховище даних – це не продукт, а середовище – архітектурна конструкція інформаційної системи, яка надає користувачам поточну та історичну інформацію для підтримки прийняття рішень, до якої важко отримати доступ або яку важко представити в традиційному операційному сховищі даних.
Ви можете знати, що база даних, розроблена за допомогою 3NF для системи управління запасами, зазвичай містить багато таблиць, пов'язаних одна з одною. Наприклад, звіт про поточні запаси може вимагати більше 12 умов об'єднання, що уповільнює час відповіді на запити та звіти. Сховище даних забезпечує денормалізовану структуру, яка зменшує час відповіді та покращує продуктивність звітності та аналітики.
Система сховища даних також відома під такими назвами:
- Система підтримки прийняття рішень (DSS)
- Виконавча інформаційна система
- Інформаційна система управління
- Рішення бізнес-аналітики
- Аналітичний додаток
- Інформаційне сховище
Історія сховища даних
Сховище даних допомагає користувачам зрозуміти та покращити ефективність своєї організації. Потреба у зберіганні даних розвивалася, оскільки комп'ютерні системи ставали складнішими та обробляли постійно зростаючі обсяги інформації. Сховище даних не є новою концепцією — воно має довгу історію еволюції.
Ось деякі ключові події в еволюції сховища даних:
- 1960 — Дартмут і Генерал Міллс у спільному дослідницькому проєкті розробляють терміни «виміри» та «факти».
- 1970 — AC Nielsen та IRI запроваджують багатовимірні вітрини даних для роздрібних продажів.
- 1983 — Корпорація Teradata представляє систему управління базами даних, спеціально розроблену для підтримки прийняття рішень.
- Кінець 1980-х - IBM Дослідники Пол Мерфі та Баррі Девлін розробили концепцію сховища бізнес-даних.
- Сучасне бачення сховища даних належить Bill Інмон, якого часто називають «батьком сховища даних». Він є автором основоположних праць зі створення, використання та підтримки сховища та фабрики корпоративної інформації.
Як працює сховище даних?
Сховище даних працює як центральне сховище, куди інформація надходить з одного або кількох джерел даних. Дані надходять до сховища з транзакційних систем та інших реляційних баз даних.
Вхідні дані можуть бути:
- Структурований
- Напівструктурований
- Неструктурований
Дані обробляються, трансформуються та завантажуються, щоб користувачі могли отримати доступ до курованого набору даних через інструменти бізнес-аналітики, SQL-клієнти та електронні таблиці. Сховище даних об'єднує інформацію з різних джерел в одну комплексну базу даних.
Консолідуючи всю цю інформацію в одному місці, організація може цілісно аналізувати своїх клієнтів і підтверджувати, що вона врахувала кожну доступну точку даних. Сховища даних роблять можливим інтелектуальний аналіз даних — інтелектуальний аналіз даних шукає закономірності в даних, які призводять до збільшення продажів, зниження витрат і кращих прогнозів.
Типи сховищ даних
Три основні типи сховищ даних (СДД):
1. Enterprise Data Warehouse (EDW):
Корпоративне сховище даних – це централізоване сховище, яке надає послуги підтримки рішень для всієї організації. Воно пропонує єдиний підхід до організації та представлення даних, а також дає можливість класифікувати дані за темами та надавати доступ відповідно до цих підрозділів.
2. Operaнаціональне сховище даних (ODS):
An OperaСховище даних (ODS) – це сховище даних, яке використовується, коли ні сховище даних, ні OLTP-системи не можуть задовольнити потреби організації у звітності. В ODS дані оновлюються в режимі реального часу, що робить його ідеальним для рутинних дій, таких як зберігання поточних записів про співробітників.
3. Data Mart:
A Data Mart — це підмножина сховища даних, розроблена для певного напрямку бізнесу, такого як продажі, фінанси або маркетинг. У незалежному сховищі даних дані можуть збиратися безпосередньо з вихідних систем.
Загальні етапи створення сховища даних
Спочатку організації застосовували відносно прості методи використання сховищ даних. З часом з'явилися більш складні моделі. Нижче наведено загальні етапи використання сховищ даних (СД):
Offline Operaнаціональна база даних:
Дані копіюються з операційної системи на інший сервер. Завантаження, обробка та звітування щодо копії не впливають на продуктивність операційної системи.
Офлайн-сховище даних:
Дані у сховищі даних регулярно оновлюються з операційної бази даних. Дані зіставляються та трансформуються для досягнення цілей сховища даних.
Сховище даних реального часу:
Сховища даних оновлюються щоразу, коли в операційній базі даних відбувається транзакція. Класичними прикладами є системи бронювання авіакомпаній та залізниць.
Інтегроване сховище даних:
Сховища даних постійно оновлюються, коли операційні системи виконують транзакції. Потім сховище даних генерує транзакції, які передаються назад до операційної системи.
Компоненти сховища даних
Чотири компоненти сховища даних:
Менеджер завантаження: Також званий фронтальним компонентом, менеджер завантаження обробляє всі операції, пов'язані з extracування та завантаження даних до сховища. Ці операції включають перетворення, які готують дані для введення до сховища даних.
Завідуючий складом: Менеджер сховища виконує операції, пов'язані з керуванням даними всередині сховища. Він аналізує дані для забезпечення узгодженості, створює індекси та представлення, генерує денормалізації та агрегації, перетворює та об'єднує вихідні дані, а також архівує або створює резервні копії даних.
Менеджер запитів: Також відомий як бекенд-компонент, менеджер запитів обробляє операції, пов'язані із запитами користувачів. Він направляє запити до відповідних таблиць і планує їх виконання.
Інструменти доступу кінцевого користувача:
Ці інструменти поділяються на п'ять груп: 1) Звітність даних, 2) Інструменти запитів, 3) Інструменти розробки додатків, 4) Інструменти EIS та 5) Інструменти OLAP. Інструменти для аналізу даних.
Кому потрібне сховище даних?
Сховище даних (DWH) потрібне для всіх типів користувачів, зокрема:
- Особи, що приймають рішення та працюють з великими обсягами даних.
- Користувачі, які виконують налаштовані, складні процеси для об'єднання інформації з кількох джерел.
- Люди, які хочуть використовувати просту технологію з низьким тертям для доступу до даних.
- Команди, які прагнуть систематичного, повторюваного підходу до прийняття рішень.
- Користувачі, яким потрібна висока продуктивність з величезними наборами даних для звітів, інформаційних панелей, сіток або діаграм.
- Аналітики, які прагнуть виявити приховані закономірності в потоках даних та групахpings.
Для чого використовується сховище даних?
Нижче наведено найпоширеніші сектори, де використовуються сховища даних:
Авіакомпанія:
В авіаційній галузі сховища даних підтримують розподіл екіпажів, аналіз прибутковості маршрутів, просування за програмою для часто літаючих пасажирів та аналогічні операційні рішення.
Банківські послуги:
Сховища даних широко використовуються в банківській справі для ефективного управління ресурсами. Кілька банків також використовують їх для дослідження ринку, аналізу ефективності продуктів та планування операцій.
Охорона здоров'я:
Сектор охорони здоров'я використовує сховища даних для розробки стратегій та прогнозування результатів, створення звітів про лікування пацієнтів та обміну даними зі страховими партнерами та службами медичної допомоги.
Державний сектор:
У державному секторі сховища даних підтримують збір розвідувальних даних та допомагають державним установам вести та аналізувати податкові записи та записи про політику охорони здоров'я для кожної людини.
Інвестиції та страхування:
У цьому секторі склади використовуються для аналізу закономірностей даних, тенденцій клієнтів та рухів ринку.
Роздрібні мережі:
Роздрібні мережі використовують сховища даних для дистрибуції та маркетингу, щоб track товарів та моделей купівлі клієнтів, планувати акції та визначати цінову політику.
Телекомунікації:
Телекомунікаційні компанії використовують сховища даних для просування продуктів, прийняття рішень щодо продажу та розподілу.
Індустрія гостинності:
Готельна індустрія використовує сховища даних для розробки та оцінки рекламних і рекламних кампаній, орієнтованих на клієнтів, на основі відгуків та моделей подорожей.
Кроки для впровадження сховища даних
Найкращий спосіб управління бізнес-ризиками, пов'язаними з впровадженням сховища даних, – це дотримуватися триетапної стратегії:
- Стратегія підприємства: Визначте поточну технічну архітектуру та інструменти, а також факти, виміри та атрибути, які має підтримувати сховище. Карта данихping і трансформація є частиною цього етапу.
- Поетапна доставка: Впроваджуйте сховище даних поетапно, залежно від предметних областей. Спочатку слід створити пов'язані бізнес-структури, такі як бронювання та виставлення рахунків, а потім інтегрувати їх.
- Ітеративний прототипping: Замість масштабного впровадження, сховище даних слід розробляти, тестувати та вдосконалювати ітеративно.
Ось ключові кроки впровадження сховища даних разом з їхніми результатами:
| Крок | Завдання | Очікувані результати |
|---|---|---|
| 1 | Визначте обсяг проекту | Визначення сфери застосування |
| 2 | Визначте потреби бізнесу | Логічна модель даних |
| 3 | Визначте OperaВимоги до сховища даних | Operaнаціональна модель сховища даних |
| 4 | Придбати або розвинути колишньогоtracінструменти | ExtracІнструменти та програмне забезпечення |
| 5 | Визначення вимог до даних сховища даних | Перехідна модель даних |
| 6 | У документі відсутні дані | Список проектів |
| 7 | карта Operational Data Store до Data Warehouse | Карта інтеграції даних DW |
| 8 | Розробка дизайну бази даних сховища даних | Проектування бази даних DW |
| 9 | Extracдані з Operaнаціональне сховище даних | Інтегрований DW Data Extracts |
| 10 | Завантаження сховища даних | Початкове завантаження даних |
| 11 | Підтримуйте сховище даних | Поточний доступ до даних та наступні завантаження |
Найкращі практики впровадження сховища даних
- Визначте план перевірки узгодженості, точності та цілісності даних.
- Сховище даних має бути добре інтегрованим, чітко визначеним та мати часові позначки.
- Під час проектування сховища даних використовуйте правильний інструмент, дотримуйтесь життєвого циклу, вирішуйте конфлікти даних на ранній стадії та вчіться на помилках.
- Ніколи не замінюйте операційні системи та операційні звіти складом.
- Не витрачайте забагато часу на колишніхtracобробка, очищення та завантаження даних — автоматизуйте, де це можливо.
- Залучайте всіх зацікавлених сторін, включаючи бізнес-команди, до впровадження сховища даних. Ставтеся до сховища як до спільного проєкту, щоб воно залишалося корисним для кінцевих користувачів.
- Підготуйте план навчання для кінцевих користувачів.
Переваги та недоліки сховища даних
Переваги сховища даних (DWH):
- Бізнес-користувачі можуть швидко отримати доступ до важливих даних з багатьох джерел в одному місці.
- Надає узгоджену інформацію для різних видів діяльності та підтримує спеціальні звіти та запити.
- Інтегрує кілька джерел даних, що зменшує навантаження на виробничі системи.
- Зменшує загальний час обробки аналізу та звітності.
- Реструктуризація та інтеграція спрощують звітність та аналіз для кінцевого користувача.
- Заощаджує час користувача, усуваючи необхідність отримувати дані з кількох джерел.
- Зберігає великі обсяги історичних даних, що дозволяє аналізувати тенденції та робити прогнози на майбутнє.
Недоліки сховища даних:
- Не ідеальний варіант для неструктурованих даних.
- Створення та впровадження займає багато часу.
- Сховища даних можуть відносно швидко застарівати без активного обслуговування.
- Зміни до типів даних, діапазонів, вихідних схем, індексів або запитів є складними.
- Сховище даних може здаватися простим на перший погляд, але для пересічного користувача воно є складним.
- Незважаючи на всі зусилля, обсяг проекту має тенденцію до розширення під час його реалізації.
- Різні бізнес-одиниці іноді розробляють суперечливі бізнес-правила.
- Організації повинні виділяти значні ресурси на навчання та впровадження.
Майбутнє сховищ даних
- Нормативні обмеження може обмежувати можливості поєднання джерел різнорідних даних, включаючи неструктуровані дані, які важче зберігати та керувати.
- Як розмір Зі зростанням кількості баз даних те, що вважається дуже великою базою даних, постійно зміщується вгору, а створення та експлуатація сховищ такого масштабу стає дедалі складнішою.
- Мультимедійні дані не можна маніпулювати так само легко, як текст. Реляційне програмне забезпечення добре обробляє текстову інформацію, але мультимедіа залишається активною сферою досліджень.
Інструменти сховища даних
На ринку доступно багато інструментів для сховищ даних. Ось деякі з найвідоміших:
1. MarkLogic:
MarkLogic – це рішення для сховища даних, яке спрощує та пришвидшує інтеграцію даних за допомогою багатого набору корпоративних функцій. Воно виконує складні пошукові операції та може запитувати документи, зв’язки та метадані.
2. Oracle:
Oracle є провідною базою даних у галузі. Вона пропонує широкий спектр рішень для сховищ даних як для локальних, так і для хмарних розгортань і допомагає оптимізувати взаємодію з клієнтами, підвищуючи операційну ефективність.
3. Amazon Червоне зміщення:
Amazon Червоне зміщення це простий та економічно ефективний сервіс сховища даних для аналізу даних за допомогою стандартних SQL та існуючі інструменти бізнес-аналітики. Він виконує складні запити до петабайтів структурованих даних, використовуючи методи оптимізації запитів.
Ось повний список корисного Інструменти сховища даних.
