Was ist Data Lake? Es ist ArchiTektur: Data Lake-Tutorial

Was ist Data Lake?

Ein Data Lake ist ein Speicher-Repository, das große Mengen strukturierter, halbstrukturierter und unstrukturierter Daten speichern kann. Es ist ein Ort, an dem jede Art von Daten in ihrem nativen Format gespeichert werden kann, ohne feste Beschränkungen hinsichtlich der Kontogröße oder der Datei. Es bietet eine hohe Datenmenge zur Steigerung der Analyseleistung und der nativen Integration.

Data Lake ist wie ein großer Container, der echten Seen und Flüssen sehr ähnlich ist. So wie in einen See mehrere Zuflüsse einfließen, gibt es in einem Datensee strukturierte Daten, unstrukturierte Daten, Maschinen-zu-Maschinen-Protokollewing in Echtzeit durch.

Datensee
Datensee

Der Data Lake demokratisiert Daten und ist eine kostengünstige Möglichkeit, alle Daten einer Organisation zu speichern later wird bearbeitet. Forschungsanalysten können sich auf die Suche nach Bedeutungsmustern in Daten und nicht auf die Daten selbst konzentrieren.

Im Gegensatz zu einem hierarchischen Data Warehousing Wo Daten in Dateien und Ordnern gespeichert werden, hat Data Lake eine Flat archiStruktur. Jedes Datenelement in einem Data Lake erhält eine eindeutige Kennung und ist mit einer Reihe von Metadateninformationen versehen.

Warum Data Lake?

Das Hauptziel beim Aufbau eines Data Lake besteht darin, Datenwissenschaftlern eine uneingeschränkte Sicht auf die Daten zu bieten.

Gründe für die Nutzung von Data Lake sind:

  • Mit dem Aufkommen von Speicher-Engines wie Hadoop Das Speichern unterschiedlicher Informationen ist einfacher geworden. Mit einem Data Lake besteht keine Notwendigkeit, Daten in einem unternehmensweiten Schema zu modellieren.
  • Mit der Zunahme des Datenvolumens, der Datenqualität und der Metadaten steigt auch die Qualität der Analysen.
  • Data Lake bietet geschäftliche Agilität
  • Maschinelles lernen und künstliche Intelligenz kann genutzt werden, um gewinnbringende Vorhersagen zu treffen.
  • Es bietet der durchführenden Organisation einen Wettbewerbsvorteil.
  • Es gibt keine Datensilostruktur. Data Lake bietet eine 360-Grad-Ansicht der Kunden und macht die Analyse robuster.

Datensee Architektur

Datensee Architektur
Datensee Architektur

Die Abbildung zeigt die archiStruktur eines Business Data Lake. Die unteren Ebenen stellen größtenteils ruhende Daten dar, während die oberen Ebenen Echtzeit-Transaktionsdaten zeigen. Diese Daten fließen ohne oder mit geringer Latenz durch das System. Following sind wichtige Ebenen in Data Lake ArchiStruktur:

  1. Aufnahmeebene: Die Ebenen auf der linken Seite stellen die Datenquellen dar. Die Daten können stapelweise oder in Echtzeit in den Data Lake geladen werden
  2. Insights-Stufe: Die Ebenen auf der rechten Seite stellen die Forschungsseite dar, auf der Erkenntnisse aus dem System genutzt werden. SQL, NoSQL-Abfragen oder sogar Excel könnten für die Datenanalyse verwendet werden.
  3. HDFS ist eine kostengünstige Lösung für strukturierte und unstrukturierte Daten. Es ist eine Zielzone für alle Daten, die im System ruhen.
  4. Destillationsstufe Entnimmt Daten vom Speicherreifen und wandelt sie zur einfacheren Analyse in strukturierte Daten um.
  5. Verarbeitungsstufe Führen Sie analytische Algorithmen und Benutzerabfragen mit unterschiedlichen interaktiven Echtzeit- und Batch-Funktionen aus, um strukturierte Daten für eine einfachere Analyse zu generieren.
  6. Einheitliche Betriebsebene regelt die Systemverwaltung und -überwachung. Es umfasst Prüfungs- und Leistungsmanagement, Datenmanagement, Workflow-Management.

Wichtige Data-Lake-Konzepte

Following sind wichtige Data-Lake-Konzepte, die man verstehen muss, um den Data Lake vollständig zu verstehen Architektur

Schlüsselkonzepte von Data Lake
Schlüsselkonzepte von Data Lake

Datenaufnahme

Durch die Datenaufnahme können Konnektoren Daten aus verschiedenen Datenquellen abrufen und in den Data Lake laden.

Die Datenaufnahme unterstützt:

  • Alle Arten von strukturierten, halbstrukturierten und unstrukturierten Daten.
  • Mehrere Aufnahmen wie Batch, Echtzeit, einmaliges Laden.
  • Viele Arten von Datenquellen wie Datenbanken, Webserver, Emails, IoT, und FTP.

Datenspeicher

Der Datenspeicher sollte skalierbar sein, eine kostengünstige Speicherung bieten und einen schnellen Zugriff auf die Datenexploration ermöglichen. Es sollte verschiedene Datenformate unterstützen.

Datenverwaltung

Data Governance ist ein Prozess zur Verwaltung der Verfügbarkeit, Benutzerfreundlichkeit, Sicherheit und Integrität der in einer Organisation verwendeten Daten.

Sicherheit

Sicherheit muss in jeder Ebene des Data Lake implementiert werden. Es beginnt mit Lagerung, Ausgrabung und Konsum. Das Grundbedürfnis besteht darin, den Zugriff für unbefugte Benutzer zu verhindern. Es sollte verschiedene Tools für den Datenzugriff mit einer einfach zu navigierenden Benutzeroberfläche und Dashboards unterstützen.

Authentifizierung, Buchhaltung, Autorisierung und Datenschutz sind einige wichtige Merkmale der Data Lake-Sicherheit.

Datenqualität

Datenqualität ist ein wesentlicher Bestandteil von Data Lake archiStruktur. Daten werden verwendet, um den Geschäftswert zu ermitteln. Das Extrahieren von Erkenntnissen aus Daten schlechter Qualität führt zu Erkenntnissen schlechter Qualität.

Datenerkennung

Die Datenermittlung ist ein weiterer wichtiger Schritt, bevor Sie mit der Vorbereitung von Daten oder Analysen beginnen können. In dieser Phase wird die Tagging-Technik verwendet, um das Datenverständnis auszudrücken, indem die im Data Lake erfassten Daten organisiert und interpretiert werden.

Datenprüfung

Zwei wichtige Datenprüfungsaufgaben sind die Verfolgung von Änderungen am Schlüsseldatensatz.

  1. Verfolgen Sie Änderungen an wichtigen Datensatzelementen
  2. Erfasst, wie/wann/wer an diesen Elementen Änderungen vornimmt.

Die Datenprüfung hilft bei der Bewertung von Risiken und Compliance.

Datenherkunft

Diese Komponente befasst sich mit der Herkunft der Daten. Es geht hauptsächlich darum, wohin es sich im Laufe der Zeit bewegt und was mit ihm passiert. Es erleichtert die Fehlerkorrektur in einem Datenanalyseprozess vom Ursprung bis zum Ziel.

Datenexploration

Es ist die Anfangsphase der Datenanalyse. Es ist von entscheidender Bedeutung, den richtigen Datensatz zu identifizieren, bevor mit der Datenexploration begonnen wird.

Alle gegebenen Komponenten müssen zusammenarbeiten, um eine wichtige Rolle bei der einfachen Entwicklung und Erkundung der Umgebung von Data Lakes zu spielen.

Reifestadien von Data Lake

Die Definition der Data-Lake-Reifestufen unterscheidet sich von Lehrbuch zu Lehrbuch. Obwohl der Kern derselbe bleibt. Following Reifegrad, Stufendefinition erfolgt aus der Sicht eines Laien.

Reifestadien von Data Lake
Reifestadien von Data Lake

Stufe 1: Daten im großen Maßstab verarbeiten und aufnehmen

Diese erste Phase der Datenreife beinhaltet die Verbesserung der Fähigkeit, Daten zu transformieren und zu analysieren. Hier müssen Geschäftsinhaber die Tools finden, die ihren Fähigkeiten entsprechen, um mehr Daten zu erhalten und analytische Anwendungen zu erstellen.

Stufe 2: Aufbau der analytischen Muskeln

Dies ist ein zweiter Schritt, bei dem es darum geht, die Fähigkeit zur Transformation und Analyse von Daten zu verbessern. In dieser Phase verwenden Unternehmen das Tool, das ihren Fähigkeiten am besten entspricht. Sie beginnen, mehr Daten zu erfassen und Anwendungen zu erstellen. Dabei werden die Fähigkeiten des Enterprise Data Warehouse und des Data Lake gemeinsam genutzt.

Stufe 3: EDW und Data Lake arbeiten im Einklang

Bei diesem Schritt geht es darum, Daten und Analysen möglichst vielen Menschen zugänglich zu machen. In dieser Phase beginnen der Data Lake und das Enterprise Data Warehouse in einer Einheit zu arbeiten. Beide tragen ihren Teil zur Analytik bei

Stufe 4: Unternehmensfähigkeit im See

In dieser Reifephase des Data Lake werden dem Data Lake Unternehmensfunktionen hinzugefügt. Einführung von Information Governance, Funktionen zur Verwaltung des Informationslebenszyklus und Metadatenverwaltung. Allerdings können nur sehr wenige Organisationen diesen Reifegrad erreichen, aber dieser Wert wird in Zukunft noch zunehmen.

Best Practices für die Data Lake-Implementierung

  • ArchiStrukturelle Komponenten, ihre Interaktion und identifizierte Produkte sollten native Datentypen unterstützen
  • Das Design von Data Lake sollte sich an dem orientieren, was verfügbar ist, und nicht an dem, was benötigt wird. Das Schema und die Datenanforderung werden erst definiert, wenn sie abgefragt werden
  • Das Design sollte sich an Einwegkomponenten orientieren, die in die Service-API integriert sind.
  • Datenerkennung, -aufnahme, -speicherung, -verwaltung, -qualität, -transformation und -visualisierung sollten unabhängig voneinander verwaltet werden.
  • Der Datensee archiDie Struktur sollte auf eine bestimmte Branche zugeschnitten sein. Es sollte sicherstellen, dass die für diesen Bereich erforderlichen Fähigkeiten ein fester Bestandteil des Designs sind
  • Ein schnelleres Onboarding neu entdeckter Datenquellen ist wichtig
  • Data Lake hilft einem maßgeschneiderten Management, den größtmöglichen Nutzen zu erzielen
  • Der Data Lake sollte bestehende Techniken und Methoden zur Unternehmensdatenverwaltung unterstützen

Herausforderungen beim Aufbau eines Data Lake:

  • In Data Lake ist das Datenvolumen höher, daher muss der Prozess stärker auf programmgesteuerte Verwaltung angewiesen sein
  • Es ist schwierig, mit spärlichen, unvollständigen und volatilen Daten umzugehen
  • Ein größerer Umfang an Datensätzen und Quellen erfordert eine umfassendere Datenverwaltung und -unterstützung

Unterschied zwischen Data Lakes und Data Warehouse

Parameter Datenseen Data Warehousing
Datum Data Lakes speichern alles. Data Warehouse konzentriert sich nur auf Geschäftsprozesse.
In Bearbeitung Die Daten liegen größtenteils unverarbeitet vor Hochverarbeitete Daten.
Art der Daten Es kann unstrukturiert, halbstrukturiert und strukturiert sein. Es ist größtenteils in tabellarischer Form und Struktur.
Aufgabe Teilen Sie die Datenverwaltung Optimiert für den Datenabruf
Agilität Äußerst agil, je nach Bedarf konfigurieren und neu konfigurieren. Im Vergleich zu Data Lake ist es weniger agil und hat eine feste Konfiguration.
Nutzer Data Lake wird hauptsächlich von Data Scientists verwendet Geschäftsleute nutzen häufig Data Warehouse
Lagerung Data Lakes-Design für kostengünstige Speicherung. Es werden teure Speicher verwendet, die schnelle Reaktionszeiten ermöglichen
Sicherheit Bietet weniger Kontrolle. Ermöglicht eine bessere Kontrolle der Daten.
Ersatz von EDW Data Lake kann eine Quelle für EDW sein Ergänzung zu EDW (kein Ersatz)
Schema Schema beim Lesen (keine vordefinierten Schemata) Schema beim Schreiben (vordefinierte Schemata)
Datenverarbeitung Hilft bei der schnellen Aufnahme neuer Daten. Zeitaufwändig, neue Inhalte einzuführen.
Datengranularität Daten mit einem geringen Detaillierungsgrad oder einer geringen Granularität. Daten auf zusammenfassender oder aggregierter Detailebene.
Tools Kann Open Source/Tools wie Hadoop/Map Reduce verwenden Meistens kommerzielle Werkzeuge.

Vorteile und Risiken der Verwendung von Data Lake

Hier sind einige große Vorteile bei der Verwendung eines Data Lake:

  • Hilft umfassend bei der Produktionisierung und erweiterten Analysen
  • Bietet kostengünstige Skalierbarkeit und Flexibilität
  • Bietet Mehrwert durch unbegrenzte Datentypen
  • Reduziert die langfristigen Betriebskosten
  • Ermöglicht eine kostengünstige Speicherung von Dateien
  • Schnelle Anpassung an Änderungen
  • Der Hauptvorteil von Data Lake ist Zentralisierung verschiedener Inhaltsquellen
  • Benutzer aus verschiedenen Abteilungen können über die ganze Welt verstreut sein flexibler Zugang zu den Daten

Risiko der Nutzung von Data Lake:

  • Nach einiger Zeit könnte Data Lake an Relevanz und Dynamik verlieren
  • Beim Entwurf von Data Lake besteht ein größeres Risiko
  • Unstrukturierte Daten können zu unkontrolliertem Chaos, unbrauchbaren Daten, Disparat und Com führenplex Tools, unternehmensweite Zusammenarbeit, einheitlich, konsistent und gemeinsam
  • Es erhöht auch die Speicher- und Rechenkosten
  • Es gibt keine Möglichkeit, Erkenntnisse von anderen zu erhalten, die mit den Daten gearbeitet haben, da es keinen Bericht über die Herkunft der Ergebnisse früherer Analysten gibt
  • Das größte Risiko von Data Lakes liegt in der Sicherheit und Zugriffskontrolle. Manchmal können Daten unbeaufsichtigt in einem See abgelegt werden, da für einige der Daten möglicherweise Datenschutz- und Regulierungsanforderungen bestehen

Zusammenfassung

  • Ein Data Lake ist ein Speicher-Repository, das große Mengen strukturierter, halbstrukturierter und unstrukturierter Daten speichern kann.
  • Das Hauptziel beim Aufbau eines Data Lake besteht darin, Datenwissenschaftlern eine uneingeschränkte Sicht auf die Daten zu bieten.
  • Unified Operations Tier, Processing Tier, Distillation Tier und HDFS sind wichtige Schichten von Data Lake Architektur
  • Datenaufnahme, Datenspeicherung, Datenqualität, Datenprüfung, Datenexploration und Datenerkennung sind einige wichtige Komponenten von Data Lake Architektur
  • Das Design von Data Lake sollte sich an dem orientieren, was verfügbar ist, und nicht an dem, was benötigt wird.
  • Data Lake reduziert die langfristigen Betriebskosten und ermöglicht eine wirtschaftliche Speicherung von Dateien
  • Das größte Risiko von Data Lakes liegt in der Sicherheit und Zugriffskontrolle. Manchmal können Daten unbeaufsichtigt in einem See abgelegt werden, da für einige der Daten möglicherweise Datenschutz- und Regulierungsanforderungen bestehen.