Czym jest jezioro danych? Definicja Archiarchitektura i najlepsze praktyki

Co to jest jezioro danych?

Data Lake to repozytorium magazynu, w którym można przechowywać duże ilości danych ustrukturyzowanych, częściowo ustrukturyzowanych i nieustrukturyzowanych. Jest to miejsce do przechowywania każdego rodzaju danych w ich natywnym formacie, bez ustalonych ograniczeń dotyczących rozmiaru konta lub pliku. Oferuje dużą ilość danych w celu zwiększenia wydajności analitycznej i natywnej integracji.

Data Lake jest jak duży kontener, który jest bardzo podobny do prawdziwego jeziora i rzeki. Podobnie jak w jeziorze masz wiele dopływów, tak w jeziorze danych są ustrukturyzowane dane, nieustrukturyzowane dane, maszyna do maszyny, logi przepływające w czasie rzeczywistym.

Jak pokazuje powyższa ilustracja, wiele oddzielnych strumieni zasila jeden zbiór przechowywanych danych. Jezioro danych demokratyzuje dane i stanowi ekonomiczny sposób przechowywania wszystkich danych organizacji do późniejszego przetwarzania. Analityk badawczy może skupić się na wyszukiwaniu wzorców znaczenia w danych, a nie na samych danych.

Inaczej o hierarchii Hurtownia danych gdzie dane są przechowywane w Plikach i Folderach, Data Lake ma płaską architekturę. Każdy element danych w Data Lake otrzymuje unikalny identyfikator i jest oznaczony zestawem informacji metadanych.

Dlaczego jezioro danych?

Głównym celem tworzenia jeziora danych jest zaoferowanie badaczom danych nierafinowanego widoku danych.

Powody korzystania z Data Lake są następujące:

• Wraz z pojawieniem się silników pamięci masowej, takich jak Hadoop przechowywanie różnych informacji stało się łatwe. Za pomocą Data Lake nie ma potrzeby modelowania danych w schemacie obejmującym całe przedsiębiorstwo.
• Wraz ze wzrostem ilości danych, ich jakości i metadanych wzrasta także jakość analiz.
• Data Lake oferuje elastyczność biznesową
• Nauczanie maszynowe i sztuczną inteligencję można wykorzystać do tworzenia zyskownych prognoz.
• Zapewnia przewagę konkurencyjną organizacji wdrażającej.
• Nie ma struktury silosu danych. Data Lake zapewnia 360-stopniowy widok klientów i sprawia, że ​​analizy są bardziej niezawodne.

Jezioro danych Architektura

Rysunek przedstawia architekturę Business Data Lake. Niższe poziomy reprezentują dane, które są w większości w spoczynku, podczas gdy wyższe poziomy pokazują dane transakcyjne w czasie rzeczywistym. Dane te przepływają przez system bez opóźnień lub z niewielkim opóźnieniem. Poniżej przedstawiono ważne poziomy w Data Lake Archistruktura:

1. Poziom przetwarzania: Poziomy po lewej stronie przedstawiają źródła danych. Dane można ładować do jeziora danych partiami lub w czasie rzeczywistym
2. Poziom statystyk: Poziomy po prawej stronie reprezentują stronę badawczą, w której wykorzystywane są wnioski z systemu. SQL, Do analizy danych można wykorzystać zapytania NoSQL, a nawet Excel.
3. HDFS to ekonomiczne rozwiązanie zarówno dla danych ustrukturyzowanych, jak i nieustrukturyzowanych. Jest to strefa docelowa dla wszystkich danych przechowywanych w systemie.
4. Poziom destylacji pobiera dane z warstwy pamięci masowej i konwertuje je na dane strukturalne w celu łatwiejszej analizy.
5. Poziom przetwarzania uruchamiaj algorytmy analityczne i zapytania użytkowników w czasie rzeczywistym, interaktywnie i w partiach, aby generować ustrukturyzowane dane ułatwiające analizę.
6. Poziom ujednoliconych operacji reguluje zarządzanie i monitorowanie systemu. Obejmuje audytowanie i zarządzanie biegłością, zarządzanie danymi, systemy zarządzania procesem pracy (workflow management).

Jezioro kluczowych danych Concepts

Poniżej przedstawiono kluczowe koncepcje dotyczące jeziora danych, które należy zrozumieć, aby w pełni zrozumieć jezioro danych. Architektura

Przetwarzanie danych

Pozyskiwanie danych umożliwia łącznikom pobieranie danych z różnych źródeł danych i ładowanie ich do jeziora danych.

Pozyskiwanie danych obsługuje:

• Wszystkie typy danych strukturalnych, półstrukturalnych i nieustrukturyzowanych.
• Wiele pobrań, takich jak wsadowe, w czasie rzeczywistym, jednorazowe ładowanie.
• Wiele typów źródeł danych, takich jak bazy danych, serwery WWW, e-maile, IoTi FTP.

Przechowywanie danych

Magazyn danych powinien być skalowalny, zapewniać ekonomiczne przechowywanie i umożliwiać szybki dostęp do eksploracji danych. Powinien obsługiwać różne formaty danych.

Zarządzanie danymi

Zarządzanie danymi to proces zarządzania dostępnością, użytecznością, bezpieczeństwem i integralnością danych wykorzystywanych w organizacji.

Ochrona

Należy wdrożyć zabezpieczenia w każdej warstwie jeziora danych. Zaczyna się od przechowywania, odkopywania i konsumpcji. Podstawową potrzebą jest zablokowanie dostępu nieupoważnionym użytkownikom. Powinien obsługiwać różne narzędzia dostępu do danych za pomocą łatwego w obsłudze interfejsu GUI i pulpitów nawigacyjnych.

Uwierzytelnianie, księgowanie, autoryzacja i ochrona danych to niektóre ważne funkcje bezpieczeństwa jeziora danych.

Jakość danych

Jakość danych jest kluczowym elementem architektury Data Lake. Dane służą do precyzyjnego określania wartości biznesowej.tracWyciąganie wniosków z danych o niskiej jakości doprowadzi do uzyskania wniosków o niskiej jakości.

Odkrywanie danych

Odkrywanie danych to kolejny ważny etap poprzedzający rozpoczęcie przygotowywania danych lub analiz. Na tym etapie stosowana jest technika tagowania, aby wyrazić zrozumienie danych poprzez organizowanie i interpretowanie danych pozyskanych w jeziorze danych.

Audyt danych

Dwa główne zadania audytu danych to: trackról wprowadza zmiany w kluczowym zestawie danych.

1. Tracking zmiany ważnych elementów zbioru danych
2. Przechwytuje, jak/kiedy/i kto zmienia te elementy.

Audyt danych pomaga ocenić ryzyko i zgodność.

Pochodzenie danych

Ten komponent zajmuje się pochodzeniem danych. Dotyczy on głównie tego, gdzie dane przemieszczają się w czasie i co się z nimi dzieje. Ułatwia on korygowanie błędów w procesie analizy danych od źródła do miejsca docelowego.

Eksploracja danych

Jest to początkowy etap analizy danych. Pomaga zidentyfikować właściwy zbiór danych, który jest niezbędny przed rozpoczęciem eksploracji danych.

Wszystkie podane komponenty muszą ze sobą współpracować, aby odgrywać ważną rolę w budowaniu jeziora danych, łatwo ewoluować i eksplorować środowisko.

Popularne platformy Data Lake

Opisane powyżej warstwy są zazwyczaj tworzone na podstawie zarządzanych usług w chmurze, a nie od podstaw. Poniższe platformy obejmują warstwy pamięci masowej i katalogowania, od których zaczyna się większość wdrożeń.

• Amazon S3 z formacją AWS Lake: Magazyn obiektów połączony z usługą, która rejestruje źródła, ustawia uprawnienia i tworzy katalog danych. Zobacz Samouczek AWS dla szerszego ekosystemu.
• Azure Magazyn danych Data Lake Gen2: Dodaje hierarchiczną przestrzeń nazw na poziomie Blob Storage, co zapewnia bezpieczeństwo na poziomie katalogu i szybszy dostęp do analiz.
• Google Cloud Przechowywanie z BigLake: Łączy przechowywanie obiektów z warstwą zapytań, która bezpośrednio odczytuje otwarte formaty tabel.
• Apache Hadoop z HDFS: Pierwotna opcja lokalna, nadal stosowana, gdy dane muszą pozostać w prywatnym centrum danych.
• Databricks i Snowflake: Platformy, które warstwują formaty tabel, takie jak Delta Lake i Apache Iceberg na pamięci masowej obiektów umożliwiają dodanie transakcji i kontroli wersji.

Wybór zazwyczaj następuje po dostawcy usług w chmurze, z którego korzysta już organizacja, ponieważ pobieranie i narzędzia do analizy biznesowej najtaniej zintegrować w ramach jednego ekosystemu.

Etapy dojrzałości Data Lake

Definicja etapów dojrzałości Data Lake różni się w zależności od podręcznika. Chociaż sedno pozostaje takie samo. Po dojrzałości definicja etapu jest z punktu widzenia laika.

Etap 1: Obsługa i pozyskiwanie danych na dużą skalę

Ten pierwszy etap dojrzałości danych obejmuje doskonalenie umiejętności przekształcania i analizowania danych. W tym przypadku właściciele firm muszą znaleźć narzędzia zgodne ze swoimi umiejętnościami, aby uzyskać więcej danych i zbudować aplikacje analityczne.

Etap 2: Budowa mięśnia analitycznego

To drugi etap polegający na doskonaleniu umiejętności przekształcania i analizowania danych. Na tym etapie firmy korzystają z narzędzia najbardziej odpowiedniego dla ich umiejętności. Zaczynają gromadzić więcej danych i tworzyć aplikacje. Tutaj wykorzystywane są wspólnie możliwości korporacyjnej hurtowni danych i jeziora danych.

Etap 3: Współpraca EDW i Data Lake

Ten krok polega na udostępnieniu danych i analiz możliwie największej liczbie osób. Na tym etapie jezioro danych i korporacyjna hurtownia danych zaczynają współpracować. Obydwa odgrywają swoją rolę w analityce

Etap 4: Możliwości przedsiębiorstwa w jeziorze

Na tym etapie dojrzałości jeziora danych do Data Lake dodawane są funkcje korporacyjne. Przyjęcie zarządzania informacjami, możliwości zarządzania cyklem życia informacji i zarządzania metadanymi. Jednak bardzo niewiele organizacji może osiągnąć ten poziom dojrzałości, ale liczba ta będzie się zwiększać w przyszłości.

Najlepsze praktyki dotyczące wdrażania Data Lake

• Archikomponenty technologiczne, ich interakcja i zidentyfikowane produkty powinny obsługiwać natywne typy danych
• Projekt Data Lake powinien opierać się na tym, co jest dostępne, a nie na tym, co jest wymagane. Schemat i wymagania dotyczące danych nie są zdefiniowane, dopóki nie zostanie odpytane
• Projekt powinien opierać się na jednorazowych komponentach zintegrowanych z API usługi.
• Odkrywanie danych, pozyskiwanie, przechowywanie, administracja, jakość, transformacja i wizualizacja powinny być zarządzane niezależnie.
• Architektura Data Lake powinna być dostosowana do konkretnej branży. Powinna zapewniać, że możliwości niezbędne dla tej domeny są nieodłączną częścią projektu
• Ważne jest szybsze wdrażanie nowo odkrytych źródeł danych
• Data Lake pomaga w dostosowanym zarządzaniutract maksymalna wartość
• Jezioro danych powinno wspierać istniejące techniki i metody zarządzania danymi przedsiębiorstwa

Wyzwania związane z budowaniem jeziora danych:

• W Data Lake ilość danych jest większa, więc proces musi w większym stopniu opierać się na administracji programistycznej
• Trudno jest radzić sobie z rzadkimi, niekompletnymi i niestabilnymi danymi
• Szerszy zakres zbioru danych i źródeł wymaga szerszego zarządzania danymi i wsparcia

Różnica między jeziorami danych a hurtownią danych

Poniższe porównanie podsumowuje, gdzie plasuje się każdy sklep. Bardziej szczegółowe zestawienie jest dostępne w jezioro danych kontra magazyn danych porównanie.

Parametry	Jeziora danych	Hurtownia danych
Dane	Jeziora danych przechowują wszystko.	Hurtownia danych koncentruje się wyłącznie na procesach biznesowych.
Przetwórstwo	Dane są w większości nieprzetworzone	Wysoko przetworzone dane.
Rodzaj danych	Może być nieustrukturyzowany, częściowo ustrukturyzowany i ustrukturyzowany.	Ma głównie formę tabelaryczną i strukturę.
Zadanie	Udostępnij zarządzanie danymi	Zoptymalizowany pod kątem pobierania danych
Zwinność	Wysoka elastyczność, konfiguruj i rekonfiguruj w razie potrzeby.	W porównaniu do Data Lake jest mniej elastyczny i ma stałą konfigurację.
użytkownicy	Data Lake jest najczęściej używany przez analityków danych	Profesjonaliści biznesowi powszechnie korzystają z hurtowni danych
Dyski	Projektowanie jezior danych pod kątem taniego przechowywania.	Stosowane są drogie pamięci masowe, które zapewniają krótki czas reakcji
Ochrona	Oferuje mniejszą kontrolę.	Umożliwia lepszą kontrolę danych.
Wymiana EDW	Jezioro danych może być źródłem EDW	Uzupełnienie EDW (nie zamiennik)
schemat	Schemat przy czytaniu (bez predefiniowanych schematów)	Schemat przy zapisie (predefiniowane schematy)
Przetwarzanie danych	Pomaga w szybkim przyjmowaniu nowych danych.	Wprowadzenie nowych treści jest czasochłonne.
Szczegółowość danych	Dane o niskim poziomie szczegółowości i ziarnistości.	Dane na poziomie podsumowania lub zagregowanego poziomu szczegółowości.
Narzędzia	Potrafi używać open source/narzędzi takich jak Hadoop/Map Redukuj	Głównie narzędzia komercyjne.

Czym jest Data Lakehouse?

Powyższe porównanie zakłada dwa oddzielne systemy. Data Lakehouse łączy je w jeden, dlatego termin ten pojawia się w większości współczesnych dyskusji na temat architektury.

Lakehouse przechowuje surowe pliki w niedrogiej pamięci masowej obiektów, a następnie dodaje warstwę metadanych transakcyjnych za pomocą otwartych formatów tabel, takich jak Delta Lake, Apache Iceberg lub Apache Hudi. Ta warstwa zapewnia gwarancje, jakie zapewnia magazyn, dopóki pliki bazowe pozostają otwarte.

Zdolność	Jezioro danych	Jezioro danych
Transakcje	Nie jest obsługiwany	Transakcje ACID na tabelach
Obsługa schematu	Schemat tylko do odczytu	Wymuszanie schematu i ewolucja
Główni użytkownicy	Badacze danych	Analitycy i naukowcy zajmujący się danymi razem
Prędkość raportowania	Wolno bez osobnego magazynu	Bezpośrednie zapytania z indeksowaniem i buforowaniem

W przypadku zespołów, które już korzystają z zarządzanego jeziora, przyjęcie formatu tabeli jest zwykle stopniowym ulepszeniem, a nie całkowitą przebudową.

Korzyści i ryzyko związane z korzystaniem z Data Lake

Oto kilka głównych korzyści wynikających z używania Data Lake:

• Pomaga w pełni w produkcji i zaawansowanej analityce
• Oferuje ekonomiczną skalowalność i elastyczność
• Oferuje wartość z nieograniczonej liczby typów danych
• Obniża długoterminowe koszty posiadania
• Umożliwia ekonomiczne przechowywanie plików
• Szybko dostosowujący się do zmian
• Główną zaletą jeziora danych jest centralizacja różnych źródeł treści
• Użytkownicy z różnych działów mogą być rozproszeni po całym świecie elastyczny dostęp do danych

Ryzyko związane z korzystaniem z Data Lake:

• Po pewnym czasie Data Lake może stracić na znaczeniu i dynamice
• Projektowanie Data Lake wiąże się z większym ryzykiem
• Nieustrukturyzowane dane mogą prowadzić do niekontrolowanego chaosu, bezużytecznych danych, rozbieżnych i złożonych narzędzi oraz słabej współpracy w całym przedsiębiorstwie
• Zwiększa także koszty przechowywania i obliczeń
• Nie ma możliwości uzyskania spostrzeżeń od innych osób, które pracowały z danymi, ponieważ nie ma opisu pochodzenia ustaleń dokonanych przez poprzednich analityków
• Największym ryzykiem związanym z jeziorami danych jest bezpieczeństwo i kontrola dostępu. Czasami dane można umieścić w jeziorze bez żadnego nadzoru, ponieważ niektóre dane mogą wymagać ochrony prywatności i przepisów

FAQ