Что такое хранилище данных? Типы.

Что такое хранилище данных?

Хранилище данных (DW) Хранилище данных — это процесс сбора и управления данными из различных источников для получения ценной бизнес-информации. Обычно хранилище данных используется для объединения и анализа бизнес-данных из разнородных источников и является ядром любой системы бизнес-аналитики (BI), созданной для анализа данных и составления отчетов.

Хранилище данных — это сочетание технологий и компонентов, поддерживающих стратегическое использование данных. Это электронное хранение больших объемов деловой информации, предназначенное для запросов и анализа, а не для обработки транзакций. Хранилище данных преобразует необработанные данные в полезную информацию и предоставляет ее пользователям в нужное время для принятия важных решений.

База данных для поддержки принятия решений (хранилище данных) поддерживается отдельно от операционной базы данных организации. Хранилище данных — это не продукт, а среда — архитектурная конструкция информационной системы, которая предоставляет пользователям актуальную и историческую информацию для поддержки принятия решений, к которой трудно получить доступ или которую сложно представить в традиционном операционном хранилище данных.

Возможно, вам известно, что база данных, построенная в 3НФ для системы учета запасов, обычно содержит множество связанных между собой таблиц. Например, для отчета о текущих запасах может потребоваться более 12 условий объединения, что замедляет время ответа на запросы и отчеты. Хранилище данных обеспечивает денормализованную структуру, которая сокращает время ответа и повышает производительность для отчетности и аналитики.

Система хранилища данных также известна под следующими названиями:

• Система поддержки принятия решений (СППР)
• Исполнительная информационная система
• Информационная система управления
• Решение для бизнес-аналитики
• Аналитическое приложение
• Хранилище данных

История хранилища данных

Хранилище данных помогает пользователям понимать и улучшать показатели работы своей организации. Необходимость в хранении данных возникла по мере усложнения компьютерных систем и обработки постоянно растущих объемов информации. Хранилища данных — это не новая концепция, у нее долгая история развития.

Вот некоторые из ключевых событий в эволюции хранилища данных:

• 1960 — В рамках совместного исследовательского проекта Дартмутский колледж и компания General Mills разработали термины «измерения» и «факты».
• 1970 — Компании AC Nielsen и IRI представляют многомерные хранилища данных для розничной торговли.
• 1983 — Компания Teradata Corporation представляет систему управления базами данных, специально разработанную для поддержки принятия решений.
• Конец 1980-х - IBM Исследователи Пол Мерфи и Барри Девлин разработали концепцию хранилища бизнес-данных.
• Современное представление о хранилище данных возникло благодаря Bill ИнмонЕго часто называют «отцом хранилища данных». Он является автором основополагающих работ по созданию, использованию и поддержке хранилища данных и корпоративной информационной фабрики.

Как работает хранилище данных?

Хранилище данных функционирует как центральное хранилище, куда информация поступает из одного или нескольких источников. Данные поступают в хранилище из транзакционных систем и других реляционных баз данных.

Входящие данные могут быть следующими:

1. Структурированный
2. Полуструктурированный
3. Неструктурированные

Данные обрабатываются, преобразуются и загружаются, чтобы пользователи могли получить доступ к подготовленному набору данных через инструменты бизнес-аналитики, SQL-клиенты и электронные таблицы. Хранилище данных объединяет информацию из различных источников в единую комплексную базу данных.

Объединив всю эту информацию в одном месте, организация может провести целостный анализ своих клиентов и убедиться, что учла все доступные данные. Хранилища данных делают возможным интеллектуальный анализ данных — интеллектуальный анализ данных ищет закономерности в данных, которые приводят к увеличению продаж, снижению затрат и улучшению прогнозов.

Типы хранилищ данных

Существует три основных типа хранилищ данных (DWH):

1. Хранилище корпоративных данных (EDW):

Корпоративное хранилище данных — это централизованное хранилище, предоставляющее услуги поддержки принятия решений для всей организации. Оно предлагает единый подход к организации и представлению данных, а также позволяет классифицировать данные по темам и предоставлять доступ в соответствии с этими подразделениями.

2. OperaНациональное хранилище данных (ODS):

An OperaНациональное хранилище данных (ODS) — это хранилище данных, используемое в тех случаях, когда ни хранилище данных, ни системы OLTP не могут удовлетворить потребности организации в отчетности. В ODS данные обновляются в режиме реального времени, что делает его идеальным для рутинных задач, таких как хранение актуальных данных о сотрудниках.

3. Витрина данных:

A Магазин данных Это подмножество хранилища данных, предназначенное для конкретной сферы деятельности, например, продаж, финансов или маркетинга. В независимом хранилище данных данные могут собираться непосредственно из исходных систем.

Общие этапы создания хранилища данных

Первоначально организации использовали относительно простые способы работы с хранилищами данных. Со временем появились более сложные модели. Ниже описаны общие этапы использования хранилищ данных:

оффлайн OperaНациональная база данных:

Данные копируются из операционной системы на другой сервер. Загрузка, обработка и формирование отчетов по копии не влияют на производительность операционной системы.

Автономное хранилище данных:

Данные в хранилище данных регулярно обновляются из операционной базы данных. Данные сопоставляются и преобразуются в соответствии с целями хранилища данных.

Хранилище данных в реальном времени:

Хранилища данных обновляются всякий раз, когда в операционной базе данных происходит транзакция. Классическими примерами являются системы бронирования авиабилетов и железнодорожных билетов.

Интегрированное хранилище данных:

Хранилища данных постоянно обновляются, когда операционные системы выполняют транзакции. Затем хранилище данных генерирует транзакции, которые передаются обратно в операционную систему.

Компоненты хранилища данных

Четыре компонента хранилища данных:

Менеджер загрузки: Менеджер загрузки, также называемый фронтальным компонентом, обрабатывает все операции, связанные с эксплуатацией.tracЗагрузка и обработка данных в хранилище. Эти операции включают преобразования, подготавливающие данные к вводу в хранилище данных.

Заведующий складом: Менеджер склада выполняет операции, связанные с управлением данными внутри склада. Он анализирует данные для обеспечения их согласованности, создает индексы и представления, выполняет денормализацию и агрегирование, преобразует и объединяет исходные данные, а также архивирует или создает резервные копии данных.

Менеджер запросов: Менеджер запросов, также известный как бэкэнд-компонент, обрабатывает операции, связанные с пользовательскими запросами. Он направляет запросы в соответствующие таблицы и планирует их выполнение.

Инструменты доступа для конечных пользователей:

Эти инструменты делятся на пять групп: 1) инструменты для создания отчетов, 2) инструменты для выполнения запросов, 3) инструменты для разработки приложений, 4) инструменты EIS и 5) инструменты OLAP. Инструменты для интеллектуального анализа данных.

Кому нужно хранилище данных?

Хранилище данных (ХДН) необходимо для всех типов пользователей, включая:

• Лица, принимающие решения, которые полагаются на большие объемы данных.
• Пользователи, которые запускают сложные, индивидуально настроенные процессы для объединения информации из нескольких источников.
• Люди, которым нужна простая и удобная технология для доступа к данным.
• Команды, которые хотят использовать систематический, повторяемый подход к принятию решений.
• Пользователям, которым необходима высокая производительность при работе с большими массивами данных для отчетов, панелей мониторинга, таблиц или диаграмм.
• Аналитики стремятся выявить скрытые закономерности в потоках данных и группах.pings.

Для чего используется хранилище данных?

Ниже перечислены наиболее распространенные отрасли, в которых используются хранилища данных:

Авиакомпания:

В авиационной отрасли хранилища данных используются для распределения экипажей, анализа рентабельности маршрутов, проведения рекламных акций для часто летающих пассажиров и принятия аналогичных оперативных решений.

Банковское дело:

Хранилища данных широко используются в банковской сфере для эффективного управления ресурсами подразделений. Некоторые банки также применяют их для проведения маркетинговых исследований, анализа эффективности продуктов и планирования операционной деятельности.

Здравоохранение:

В секторе здравоохранения хранилища данных используются для разработки стратегий и прогнозирования результатов, составления отчетов о лечении пациентов, а также для обмена данными со страховыми компаниями и службами медицинского страхования.

Государственный сектор:

В государственном секторе хранилища данных поддерживают сбор разведывательной информации и помогают государственным учреждениям вести и анализировать налоговые записи и записи о политике в области здравоохранения по каждому отдельному человеку.

Инвестиции и страхование:

В этом секторе склады данных используются для анализа закономерностей в данных, тенденций поведения клиентов и рыночных движений.

Розничные сети:

Розничные сети используют хранилища данных для дистрибуции и маркетинга, чтобы tracАнализировать ассортимент товаров и покупательские привычки, планировать рекламные акции и определять ценовую политику.

Телекоммуникации:

Телекоммуникационные компании используют хранилища данных для продвижения продукции, принятия решений о продажах и дистрибуции.

Индустрия гостеприимства:

Индустрия гостеприимства использует хранилища данных для разработки и оценки рекламных и маркетинговых кампаний, ориентированных на клиентов на основе отзывов и моделей путешествий.

Этапы внедрения хранилища данных

Наилучший способ управления бизнес-рисками, связанными с внедрением хранилища данных, — это следование трехступенчатой ​​стратегии:

1. Стратегия предприятия: Определите существующую техническую архитектуру и инструменты, а также факты, параметры и атрибуты, которые должно поддерживать хранилище данных. Карта данных.ping и трансформация являются частью этого этапа.
2. Поэтапная реализация: Внедрение хранилища данных следует проводить поэтапно, в зависимости от предметной области. Сначала необходимо внедрить связанные бизнес-сущности, такие как бронирование и выставление счетов, а затем интегрировать их.
3. Итеративный прототипping: Вместо того чтобы внедрять систему «с размахом», хранилище данных следует разрабатывать, тестировать и совершенствовать итеративно.

Ниже представлены ключевые этапы внедрения хранилища данных, а также результаты их реализации:

Шаг	Задач	Результат
1	Определить масштаб проекта	Определение объема
2	Определить потребности бизнеса	Логическая модель данных
3	определять OperaТребования к хранилищу данных	OperaМодель хранилища данных
4	Приобретать или развивать бывшиеtracинструменты	ExtracИнструменты и программное обеспечение
5	Определите требования к данным хранилища данных.	Модель данных перехода
6	Документирование недостающих данных	Список дел, которые нужно выполнить
7	Карта Operaиз хранилища данных в хранилище данных	Карта интеграции данных хранилища данных
8	Разработка архитектуры базы данных хранилища данных.	Проектирование баз данных хранилища данных
9	Extracданные из OperaНациональное хранилище данных	Интегрированное хранилище данных DWtracts
10	Загрузите хранилище данных.	Начальная загрузка данных
11	Поддерживайте работу хранилища данных.	Постоянный доступ к данным и последующая загрузка.

Лучшие практики внедрения хранилища данных

• Разработайте план проверки согласованности, точности и целостности данных.
• Хранилище данных должно быть хорошо интегрировано, четко определено и снабжено временными метками.
• При проектировании хранилища данных используйте подходящий инструмент, следуйте жизненному циклу данных, устраняйте конфликты данных на ранних этапах и учитесь на ошибках.
• Никогда не заменяйте операционные системы и оперативные отчеты складом.
• Не тратьте слишком много времени на бывшихtracОбработка, очистка и загрузка данных — автоматизируйте там, где это возможно.
• Привлекайте к реализации хранилища данных всех заинтересованных сторон, включая бизнес-команды. Рассматривайте хранилище данных как совместный проект, чтобы оно оставалось полезным для конечных пользователей.
• Подготовьте план обучения для конечных пользователей.

Преимущества и недостатки хранилища данных

Преимущества хранилища данных (DWH):

• Корпоративные пользователи могут быстро получать доступ к важным данным из множества источников в одном месте.
• Обеспечивает согласованность информации в рамках межфункциональных мероприятий и поддерживает подготовку отчетов и обработку запросов по мере необходимости.
• Интегрирует множество источников данных, что снижает нагрузку на производственные системы.
• Сокращает общее время, необходимое для анализа и составления отчетов.
• Реструктуризация и интеграция упрощают составление отчетов и анализ для конечного пользователя.
• Экономит время пользователя, устраняя необходимость извлекать данные из нескольких источников.
• Хранит большие объемы исторических данных, что позволяет проводить анализ тенденций и делать прогнозы на будущее.

Недостатки хранилища данных:

• Не идеальный вариант для неструктурированных данных.
• Создание и внедрение — трудоемкий процесс.
• Без активного обслуживания хранилища данных могут довольно быстро устаревать.
• Внесение изменений в типы данных, диапазоны, исходные схемы, индексы или запросы затруднительно.
• На первый взгляд хранилище данных может показаться простым, но для обычного пользователя оно представляет собой сложную задачу.
• Несмотря на все усилия, в процессе реализации масштабы проекта, как правило, расширяются.
• В разных бизнес-подразделениях иногда разрабатываются противоречащие друг другу правила ведения бизнеса.
• Организации должны выделять значительные ресурсы на обучение и внедрение.

Будущее хранилищ данных

• Нормативные ограничения Это может ограничить возможности объединения источников разрозненных данных, включая неструктурированные данные, которые сложнее хранить и обрабатывать.
• Как размер По мере роста баз данных, понятие «очень большая база данных» постоянно увеличивается, а создание и эксплуатация хранилищ данных такого масштаба становится все более сложной задачей.
• Мультимедийные данные Текст не поддается обработке так же легко, как обычный текст. Реляционное программное обеспечение хорошо справляется с текстовой информацией, но мультимедийный контент остается активной областью исследований.

Инструменты хранилища данных

На рынке представлено множество инструментов для создания хранилищ данных. Вот некоторые из наиболее известных:

1. МаркЛогик:

МаркЛогик Это решение для хранилищ данных, которое упрощает и ускоряет интеграцию данных благодаря богатому набору корпоративных функций. Оно выполняет сложные операции поиска и может запрашивать документы, связи и метаданные.

2. Oracle:

Oracle Это ведущая в отрасли база данных. Она предлагает широкий спектр решений для хранилищ данных как для локального, так и для облачного развертывания и помогает оптимизировать взаимодействие с клиентами за счет повышения операционной эффективности.

3. Amazon Красное смещение:

Amazon Redshift Это сервис хранилища данных, простой и экономичный для анализа данных с использованием стандартных методов. SQL и существующих инструментов бизнес-аналитики. Он выполняет сложные запросы к петабайтам структурированных данных, используя методы оптимизации запросов.

Вот полный список полезных Инструменты хранилища данных.

Часто задаваемые вопросы (FAQ)