Что такое озеро данных? Определение. Archiтектура и лучшие практики

Что такое озеро данных?

Озеро данных — это хранилище данных, в котором можно хранить большие объемы структурированных, полуструктурированных и неструктурированных данных. Это место для хранения всех типов данных в их собственном формате без фиксированных ограничений на размер учетной записи или файла. Он предлагает большой объем данных для повышения аналитической производительности и встроенной интеграции.

Озеро данных похоже на большой контейнер, очень похожий на настоящие озеро и реки. Точно так же, как в озеро поступает несколько притоков, в озере данных есть структурированные и неструктурированные данные, передаваемые от машины к машине, журналы передаются в режиме реального времени.

Как показано на иллюстрации выше, множество отдельных потоков данных поступают в единый массив хранимых данных. Озеро данных демократизирует доступ к данным и является экономически эффективным способом хранения всех данных организации для последующей обработки. Аналитик-исследователь может сосредоточиться на поиске смысловых закономерностей в данных, а не на самих данных.

В отличие от иерархического Хранилище данных где данные хранятся в файлах и папках, озеро данных имеет плоскую архитектуру. Каждому элементу данных в озере данных присваивается уникальный идентификатор и помечается набором метаданных.

Почему озеро данных?

Основная цель создания озера данных — предоставить специалистам по данным неуточненное представление о данных.

Причины использования Data Lake:

• С появлением таких механизмов хранения данных, как Hadoop хранить разрозненную информацию стало проще. Нет необходимости моделировать данные в общекорпоративной схеме с помощью Data Lake.
• С увеличением объема данных, качества данных и метаданных также повышается качество анализа.
• Data Lake обеспечивает гибкость бизнеса
• Машинное обучение а искусственный интеллект можно использовать для составления прибыльных прогнозов.
• Это дает конкурентное преимущество реализующей организации.
• Нет структуры хранилища данных. Data Lake дает 360-градусное представление о клиентах и ​​делает анализ более надежным.

Озеро данных Archiтекстура

На рисунке показана архитектура Business Data Lake. Нижние уровни представляют данные, которые в основном находятся в состоянии покоя, а верхние уровни показывают транзакционные данные в реальном времени. Эти данные проходят через систему без или с небольшой задержкой. Ниже приведены важные уровни в Data Lake Archiтекстура:

1. Уровень приема: уровни слева отображают источники данных. Данные можно загружать в озеро данных пакетами или в режиме реального времени.
2. Уровень статистики: Уровни справа представляют исследовательскую сторону, где используются идеи системы. SQL, запросы NoSQL или даже Excel можно использовать для анализа данных.
3. HDFS это экономичное решение как для структурированных, так и для неструктурированных данных. Это зона приземления для всех данных, находящихся в системе.
4. Дистилляционный уровень Принимает данные из хранилища и преобразует их в структурированные данные для упрощения анализа.
5. Уровень обработки запускайте аналитические алгоритмы и запросы пользователей в различных режимах реального времени, в интерактивном режиме, в пакетном режиме, чтобы генерировать структурированные данные для упрощения анализа.
6. Уровень унифицированных операций управляет системой управления и мониторинга. Он включает в себя аудит и управление квалификацией, управление данными, управление рабочим процессом.

Озеро ключевых данных Concepts

Ниже приведены ключевые концепции Data Lake, которые необходимо понимать, чтобы полностью понять Data Lake. Archiтекстура

Попадание данных

Прием данных позволяет коннекторам получать данные из разных источников данных и загружать их в озеро данных.

Прием данных поддерживает:

• Все типы структурированных, полуструктурированных и неструктурированных данных.
• Множественные загрузки, такие как пакетная загрузка, в реальном времени, однократная загрузка.
• Многие типы источников данных, такие как базы данных, веб-серверы, электронная почта, IoTи FTP.

Хранение данных

Хранилище данных должно быть масштабируемым, предлагать экономичное хранение и обеспечивать быстрый доступ к исследованию данных. Он должен поддерживать различные форматы данных.

Управление данными

Управление данными — это процесс управления доступностью, удобством использования, безопасностью и целостностью данных, используемых в организации.

Безопасность.

Безопасность должна быть реализована на каждом уровне озера данных. Все начинается с хранения, раскопок и потребления. Основная потребность — прекратить доступ неавторизованных пользователей. Он должен поддерживать различные инструменты для доступа к данным с простым в навигации графическим интерфейсом и информационными панелями.

Аутентификация, учет, авторизация и защита данных — это некоторые важные функции безопасности озера данных.

Качество данных

Качество данных — важнейший компонент архитектуры озера данных. Данные используются для достижения точной бизнес-цели. Например:tracПолучение выводов из некачественных данных приведет к получению некачественных выводов.

Обнаружение данных

Обнаружение данных — еще один важный этап, прежде чем вы сможете приступить к подготовке данных или анализу. На этом этапе для выражения понимания данных используется техника тегирования путем организации и интерпретации данных, поступающих в озеро данных.

Аудит данных

Две основные задачи аудита данных: tracИзменения в ключевом наборе данных.

1. Tracking изменения важных элементов набора данных
2. Фиксирует, как/когда/и кто меняет эти элементы.

Аудит данных помогает оценить риски и соответствие требованиям.

Происхождение данных

Этот компонент занимается происхождением данных. В основном он отслеживает их перемещение во времени и дальнейшую судьбу. Он упрощает исправление ошибок в процессе анализа данных от источника до конечного пункта назначения.

Data Exploration

Это начальный этап анализа данных. Это помогает определить правильный набор данных, который жизненно важен перед началом исследования данных.

Все данные компоненты должны работать вместе, чтобы играть важную роль в построении озера данных, легко развиваться и исследовать окружающую среду.

Популярные платформы для создания озер данных

Описанные выше уровни обычно формируются из управляемых облачных сервисов, а не создаются с нуля. Приведенные ниже платформы охватывают уровни хранения и каталогизации, с которых начинается большинство внедрений.

• Amazon S3 с формированием озера AWS: Объектное хранилище в сочетании со службой, которая регистрирует источники, устанавливает права доступа и формирует каталог данных. См. Учебное пособие по AWS для всей экосистемы в целом.
• Azure Data Lake Storage Gen2: Добавляет иерархическое пространство имен поверх хранилища BLOB-объектов, что обеспечивает безопасность на уровне каталогов и более быстрый доступ к аналитике.
• Google Cloud Хранение данных с помощью BigLake: Объединяет объектное хранилище с уровнем запросов, который напрямую считывает данные из открытых табличных форматов.
• Apache Hadoop с HDFS: Первоначальный вариант, устанавливаемый на собственных серверах, по-прежнему используется в тех случаях, когда данные должны оставаться внутри частного центра обработки данных.
• Databricks и Snowflake: Платформы, которые используют многоуровневые форматы таблиц, такие как Delta Lake и Apache Iceberg поверх объектного хранилища для добавления транзакций и версионирования.

Выбор обычно происходит в зависимости от того, какого облачного провайдера организация уже использует, поскольку происходит прием и обработка данных. инструменты бизнес-аналитики Наиболее дешевая интеграция возможна в рамках единой экосистемы.

Этапы зрелости Data Lake

Определение этапов зрелости озера данных различается в разных учебниках. Хотя суть остается той же. После зрелости определение стадии происходит с точки зрения непрофессионала.

Этап 1. Обработка и прием данных в любом масштабе

Этот первый этап зрелости данных включает в себя улучшение способности преобразовывать и анализировать данные. Здесь владельцам бизнеса необходимо найти инструменты в соответствии со своим набором навыков для получения большего количества данных и создания аналитических приложений.

Этап 2. Наращивание аналитической мускулатуры

Это второй этап, который предполагает улучшение способности преобразовывать и анализировать данные. На этом этапе компании используют инструмент, который наиболее соответствует их набору навыков. Они начинают собирать больше данных и создавать приложения. Здесь совместно используются возможности корпоративного хранилища данных и озера данных.

Этап 3. EDW и Data Lake работают в унисон

Этот шаг предполагает передачу данных и аналитики в руки как можно большего числа людей. На этом этапе озеро данных и хранилище данных предприятия начинают работать совместно. Оба играют свою роль в аналитике

Этап 4: Возможности предприятия в озере

На этом этапе зрелости озера данных в озеро данных добавляются корпоративные возможности. Внедрение управления информацией, возможностей управления жизненным циклом информации и управления метаданными. Однако очень немногие организации могут достичь такого уровня зрелости, но в будущем этот показатель будет увеличиваться.

лучшие практики внедрения Data Lake

• Archiструктурные компоненты, их взаимодействие и идентифицированные продукты должны поддерживать собственные типы данных.
• При проектировании озера данных следует исходить из того, что доступно, а не из того, что требуется. Требования к схеме и данным не определены до тех пор, пока они не будут запрошены.
• При проектировании следует руководствоваться одноразовыми компонентами, интегрированными с сервисным API.
• Обнаружение, прием, хранение, администрирование, качество, преобразование и визуализация данных должны управляться независимо.
• Архитектура Data Lake должна быть адаптирована к конкретной отрасли. Он должен гарантировать, что возможности, необходимые для этой области, являются неотъемлемой частью проекта.
• Важно ускорить внедрение вновь обнаруженных источников данных.
• Озеро данных помогает оптимизировать управление с помощью индивидуальных решений.tracмаксимальное значение
• Озеро данных должно поддерживать существующие методы и методы управления корпоративными данными.

Проблемы построения озера данных:

• В Data Lake объем данных выше, поэтому процесс должен в большей степени зависеть от программного администрирования.
• Трудно иметь дело с разреженными, неполными и нестабильными данными.
• Более широкий объем набора данных и источников требует более тщательного управления и поддержки данных.

Разница между озерами данных и хранилищем данных

В приведенном ниже сравнении кратко изложено место каждого магазина в общей структуре. Более подробный анализ доступен в разделе... озеро данных против хранилища данных сравнение.

Параметры	Озера данных	Хранилище данных
Данные	Озера данных хранят все.	Хранилище данных фокусируется только на бизнес-процессах.
Переработка	Данные в основном необработаны	Высоко обработанные данные.
Тип данных	Он может быть неструктурированным, полуструктурированным и структурированным.	В основном это табличная форма и структура.
Сложность задачи	Совместное управление данными	Оптимизирован для поиска данных
проворство	Высокая гибкость, настройка и перенастройка по мере необходимости.	По сравнению с Data Lake оно менее гибкое и имеет фиксированную конфигурацию.
Пользователи	Data Lake в основном используется специалистами по анализу данных.	Профессионалы бизнеса широко используют Хранилища данных
Память	Проектирование озер данных для недорогого хранения.	Используется дорогое хранилище, обеспечивающее быстрое время отклика.
Безопасность.	Предлагает меньший контроль.	Позволяет лучше контролировать данные.
Замена ЭДВ	Озеро данных может быть источником для EDW	Дополнение к EDW (не замена)
Схема	Схема при чтении (без предопределенных схем)	Схема при записи (предопределенные схемы)
Обработка данных	Помогает быстро усваивать новые данные.	Требует много времени для внедрения нового контента.
Детализация данных	Данные с низким уровнем детализации или детализации.	Данные на сводном или агрегированном уровне детализации.
Инструменты	Можно использовать инструменты с открытым исходным кодом, такие как Hadoop/Map сокращения.	В основном коммерческие инструменты.

Что такое Data Lakehouse?

Приведенное выше сравнение предполагает наличие двух отдельных систем. Data Lakehouse объединяет их в одну, поэтому этот термин встречается в большинстве современных архитектурных дискуссий.

В хранилище данных, расположенном на берегу озера, необработанные файлы хранятся в недорогом объектном хранилище, а затем к ним добавляется слой транзакционных метаданных с помощью открытых табличных форматов, таких как... Delta Lake, Apache Iceberg или Apache Hudi. Этот слой обеспечивает гарантии, которые предоставляет хранилище данных, пока базовые файлы остаются открытыми.

Возможности	Озеро данных	Дата Лейкхаус
Сделки	Не поддерживается	ACID-транзакции на таблицах
Обработка схем	Схема доступна только для чтения.	Внедрение и развитие схем
Основные пользователи	Ученые данных	Аналитики и специалисты по обработке данных вместе
Скорость отчетности	Медленно работает без отдельного склада.	Прямые запросы с индексированием и кэшированием.

Для команд, уже использующих управляемое озеро, переход на табличный формат обычно является скорее постепенным улучшением, чем полной перестройкой.

Преимущества и риски использования Data Lake

Вот некоторые основные преимущества использования Data Lake:

• Оказывает всестороннюю помощь в внедрении в производство и расширенной аналитике.
• Предлагает экономичную масштабируемость и гибкость
• Предлагает ценность из неограниченного количества типов данных
• Снижает долгосрочную стоимость владения
• Позволяет экономно хранить файлы
• Быстро адаптируется к изменениям
• Основным преимуществом озера данных является централизация различных источников контента
• Пользователи из разных отделов могут быть разбросаны по всему миру. гибкий доступ к данным

Риск использования озера данных:

• Через некоторое время Data Lake может потерять актуальность и динамику.
• При разработке Data Lake существует больший риск.
• Неструктурированные данные могут привести к неконтролируемому хаосу, непригодным для использования данным, разрозненным и сложным инструментам, а также к слабому сотрудничеству в масштабах всего предприятия.
• Это также увеличивает затраты на хранение и вычисления.
• Невозможно получить информацию от других, которые работали с данными, потому что нет данных о происхождении результатов предыдущих аналитиков.
• Самый большой риск, связанный с озерами данных, — это безопасность и контроль доступа. Иногда данные могут быть помещены в озеро без какого-либо надзора, поскольку некоторые данные могут иметь конфиденциальность и требовать соблюдения нормативных требований.

Часто задаваемые вопросы (FAQ)