Che cos'è un Data Lake? Definizione, Archiarchitettura e migliori pratiche
David Carter
⚡ Riepilogo intelligente
L'architettura del Data Lake memorizza dati strutturati, semi-strutturati e non strutturati in formato nativo con un design piatto. Ogni elemento riceve un identificatore univoco e tag di metadati, consentendo l'analisi senza la necessità di uno schema aziendale predefinito.
Cos'è Data Lake?
Un Data Lake è un repository di archiviazione in grado di archiviare grandi quantità di dati strutturati, semistrutturati e non strutturati. È un luogo in cui archiviare ogni tipo di dati nel suo formato nativo senza limiti fissi sulla dimensione dell'account o del file. Offre un'elevata quantità di dati per aumentare le prestazioni analitiche e l'integrazione nativa.
Il Data Lake è come un grande contenitore che è molto simile a veri laghi e fiumi. Proprio come in un lago ci sono più affluenti in arrivo, un data lake ha dati strutturati, dati non strutturati, macchina a macchina, log che scorrono in tempo reale.
Come illustrato sopra, numerosi flussi separati alimentano un unico insieme di dati archiviati. Il Data Lake democratizza i dati ed è una soluzione economicamente vantaggiosa per archiviare tutti i dati di un'organizzazione per successive elaborazioni. L'analista di ricerca può concentrarsi sull'individuazione di modelli significativi nei dati, anziché sui dati stessi.
A differenza di un gerarchico magazzino dati dove i dati sono archiviati in File e Cartelle, Data Lake ha un'architettura piatta. A ogni elemento dati in un Data Lake viene assegnato un identificatore univoco e contrassegnato con un set di informazioni sui metadati.
Perché Data Lake?
L'obiettivo principale della creazione di un data Lake è offrire una visione non raffinata dei dati ai data scientist.
I motivi per utilizzare Data Lake sono:
- Con l'avvento dei motori di archiviazione come Hadoop memorizzare informazioni disparate è diventato facile. Non è necessario modellare i dati in uno schema a livello aziendale con un Data Lake.
- Con l’aumento del volume dei dati, della qualità dei dati e dei metadati, aumenta anche la qualità delle analisi.
- Data Lake offre agilità aziendale
- machine Learning e l’intelligenza artificiale può essere utilizzata per fare previsioni redditizie.
- Offre un vantaggio competitivo all’organizzazione che lo implementa.
- Non esiste una struttura di silo di dati. Data Lake offre una visione a 360 gradi dei clienti e rende l'analisi più solida.
Lago di dati Architectura
La figura mostra l'architettura di un Business Data Lake. I livelli inferiori rappresentano dati che sono per lo più a riposo mentre i livelli superiori mostrano dati transazionali in tempo reale. Questi dati scorrono attraverso il sistema con latenza nulla o minima. Di seguito sono riportati i livelli importanti in Data Lake Architecnologia:
- Livello di acquisizione: i livelli sul lato sinistro rappresentano le origini dati. I dati potrebbero essere caricati nel data Lake in batch o in tempo reale
- Livello di approfondimenti: I livelli a destra rappresentano il lato della ricerca in cui vengono utilizzati gli approfondimenti del sistema. SQL, query NoSQL o persino Excel potrebbero essere utilizzati per l'analisi dei dati.
- HDFS è una soluzione conveniente sia per i dati strutturati che per quelli non strutturati. È una zona di destinazione per tutti i dati inattivi nel sistema.
- Livello di distillazione Preleva i dati dal livello di archiviazione e li converte in dati strutturati per facilitarne l'analisi.
- Livello di elaborazione eseguire algoritmi analitici e query degli utenti con variabili batch in tempo reale, interattive, per generare dati strutturati per un'analisi più semplice.
- Livello operativo unificato regola la gestione e il monitoraggio del sistema. Comprende auditing e gestione delle competenze, gestione dei dati, gestione del flusso di lavoro.
Lago dati chiave Concepts
Di seguito sono riportati i concetti chiave del Data Lake che è necessario comprendere per comprendere appieno il Data Lake Architectura
Ingestione dei dati
L'inserimento dei dati consente ai connettori di ottenere dati da origini dati diverse e di caricarli nel Data Lake.
L'acquisizione dati supporta:
- Tutti i tipi di dati strutturati, semistrutturati e non strutturati.
- Acquisizioni multiple come batch, in tempo reale, caricamento una tantum.
- Molti tipi di fonti di dati come database, server Web, e-mail, IoTe FTP.
Archiviazione dei dati
L'archiviazione dei dati dovrebbe essere scalabile, offrire uno spazio di archiviazione conveniente e consentire un accesso rapido all'esplorazione dei dati. Dovrebbe supportare vari formati di dati.
Data Governance
La governance dei dati è un processo di gestione della disponibilità, usabilità, sicurezza e integrità dei dati utilizzati in un'organizzazione.
Sicurezza
La sicurezza deve essere implementata a ogni livello del Data Lake. Si inizia con l'immagazzinamento, il dissotterramento e il consumo. L'esigenza fondamentale è impedire l'accesso agli utenti non autorizzati. Dovrebbe supportare diversi strumenti per accedere ai dati con GUI e dashboard facili da navigare.
Autenticazione, contabilità, autorizzazione e protezione dei dati sono alcune caratteristiche importanti della sicurezza del data Lake.
Qualità dei dati
La qualità dei dati è una componente essenziale dell'architettura del Data Lake. I dati vengono utilizzati per estrarre valore aziendale. Esempio:tracRicavare informazioni da dati di scarsa qualità porterà a risultati di scarsa qualità.
Scoperta dei dati
Il Data Discovery è un'altra fase importante prima di poter iniziare a preparare i dati o l'analisi. In questa fase viene utilizzata la tecnica del tagging per esprimere la comprensione dei dati, organizzando e interpretando i dati inseriti nel Data Lake.
Controllo dei dati
Due compiti principali di verifica dei dati sono: tracmodifiche al set di dati chiave.
- Tracking modifiche agli elementi importanti del set di dati
- Cattura come/quando/e chi modifica questi elementi.
Il controllo dei dati aiuta a valutare il rischio e la conformità.
Data Lignaggio
Questo componente si occupa delle origini dei dati. In particolare, gestisce il loro percorso nel tempo e il loro destino. Facilita la correzione degli errori in un processo di analisi dei dati, dall'origine alla destinazione.
Esplorazione dei dati
È la fase iniziale dell’analisi dei dati. Aiuta a identificare il set di dati corretto è fondamentale prima di iniziare l'esplorazione dei dati.
Tutti i componenti indicati devono lavorare insieme per svolgere un ruolo importante nella creazione di Data Lake, che si evolvono facilmente ed esplorano l'ambiente.
Piattaforme Data Lake più diffuse
I livelli descritti sopra sono generalmente costituiti da servizi cloud gestiti, anziché essere creati da zero. Le piattaforme seguenti coprono i livelli di archiviazione e catalogazione da cui la maggior parte delle implementazioni prende avvio.
- Amazon S3 con AWS Lake Formation: Archiviazione di oggetti abbinata a un servizio che registra le sorgenti, imposta le autorizzazioni e crea il catalogo dei dati. Vedi il Tutorial AWS per l'ecosistema più ampio.
- Azure Archiviazione Data Lake di seconda generazione: Aggiunge uno spazio dei nomi gerarchico al di sopra di Blob Storage, che offre sicurezza a livello di directory e un accesso più rapido alle analisi.
- Google Cloud Spazio di archiviazione con BigLake: Combina l'archiviazione a oggetti con un livello di query che legge direttamente i formati di tabella aperti.
- Apache Hadoop con HDFS: L'opzione originale on-premise, tuttora utilizzata quando i dati devono rimanere all'interno di un data center privato.
- Databricks e Snowflake: Piattaforme che sovrappongono formati di tabella come Delta Lake e Apache Iceberg su storage a oggetti per aggiungere transazioni e versioning.
La selezione segue normalmente il fornitore di servizi cloud che un'organizzazione già utilizza, poiché l'ingestione e strumenti di business intelligence integrarsi al costo più basso all'interno di un singolo ecosistema.
Fasi di maturità di Data Lake
La definizione degli stadi di maturità del Data Lake varia da un libro di testo all'altro. Tuttavia, il nocciolo della questione rimane lo stesso. Dopo la maturità, la definizione dello stadio è da un punto di vista profano.
Fase 1: gestire e acquisire dati su larga scala
Questa prima fase della maturità dei dati prevede il miglioramento della capacità di trasformare e analizzare i dati. Qui, gli imprenditori devono trovare gli strumenti in base alle proprie competenze per ottenere più dati e creare applicazioni analitiche.
Fase 2: costruire la forza analitica
Questa è una seconda fase che prevede il miglioramento della capacità di trasformazione e analisi dei dati. In questa fase le aziende utilizzano lo strumento più adeguato alle proprie competenze. Iniziano ad acquisire più dati e a creare applicazioni. In questo caso, le funzionalità del data warehouse aziendale e del data Lake vengono utilizzate insieme.
Fase 3: EDW e Data Lake lavorano all'unisono
Questo passaggio implica mettere i dati e le analisi nelle mani di quante più persone possibile. In questa fase, il data Lake e il data warehouse aziendale iniziano a lavorare in unione. Entrambi fanno la loro parte nell'analisi
Fase 4: capacità aziendale nel lago
In questa fase di maturità del Data Lake, le funzionalità aziendali vengono aggiunte al Data Lake. Adozione di governance delle informazioni, funzionalità di gestione del ciclo di vita delle informazioni e gestione dei metadati. Tuttavia, pochissime organizzazioni possono raggiungere questo livello di maturità, ma questo numero aumenterà in futuro.
migliori pratiche per l'implementazione del Data Lake
- Archii componenti strutturali, la loro interazione e i prodotti identificati dovrebbero supportare i tipi di dati nativi
- La progettazione di Data Lake dovrebbe essere guidata da ciò che è disponibile anziché da ciò che è richiesto. Lo schema e i requisiti dei dati non vengono definiti finché non vengono interrogati
- La progettazione dovrebbe essere guidata da componenti monouso integrati con l'API del servizio.
- Il rilevamento, l'acquisizione, l'archiviazione, l'amministrazione, la qualità, la trasformazione e la visualizzazione dei dati dovrebbero essere gestiti in modo indipendente.
- L'architettura del Data Lake dovrebbe essere adattata a un settore specifico. Dovrebbe garantire che le capacità necessarie per quel dominio siano una parte intrinseca del design
- È importante un onboarding più rapido delle origini dati appena scoperte
- Data Lake aiuta la gestione personalizzata atracvalore massimo di t
- Il Data Lake dovrebbe supportare le tecniche e i metodi di gestione dei dati aziendali esistenti
Sfide legate alla costruzione di un data Lake:
- In Data Lake, il volume dei dati è maggiore, quindi il processo deve dipendere maggiormente dall'amministrazione programmatica
- È difficile gestire dati sparsi, incompleti e volatili
- Un ambito più ampio di set di dati e fonti richiede una governance e un supporto dei dati più ampi
⚠️ Attenzione: Un lago privo di metadati catalogati e di regole di accesso rigorose si trasforma in una palude di dati. I dati sono presenti, ma nessuno riesce a trovarli, a fidarsi di essi o a dimostrare chi li ha modificati. La governance è quindi un requisito fondamentale fin dall'inizio, non una fase successiva.
Differenza tra Data Lake e Data Warehouse
Il seguente confronto riassume la posizione di ciascun negozio. Un'analisi più approfondita è disponibile nel Data Lake e Data Warehouse confronto.
| Scheda Sintetica | Laghi di dati | magazzino dati |
|---|---|---|
| Dati | I data Lake memorizzano tutto. | Il Data Warehouse si concentra solo sui processi aziendali. |
| Lavorazione | I dati sono prevalentemente non trattati | Dati altamente elaborati. |
| Tipo di dati | Può essere Non strutturato, semistrutturato e strutturato. | È principalmente in forma e struttura tabellare. |
| Task | Condividi la gestione dei dati | Ottimizzato per il recupero dei dati |
| Agilità | Altamente agile, configura e riconfigura secondo necessità. | Rispetto a Data Lake è meno agile e ha una configurazione fissa. |
| Utenti | Data Lake è utilizzato principalmente da Data Scientist | I professionisti aziendali utilizzano ampiamente il data warehouse |
| Archiviazione | Progettazione di data lake per l'archiviazione a basso costo. | Viene utilizzato uno spazio di archiviazione costoso che offre tempi di risposta rapidi |
| Sicurezza | Offre un controllo minore. | Consente un migliore controllo dei dati. |
| Sostituzione dell'EDW | Il data Lake può essere fonte per EDW | Complementare a EDW (non sostitutivo) |
| Schema | Schema sulla lettura (nessuno schema predefinito) | Schema in scrittura (schemi predefiniti) |
| Elaborazione dati | Aiuta per l'acquisizione rapida di nuovi dati. | Richiede molto tempo per introdurre nuovi contenuti. |
| Granularità dei dati | Dati con un basso livello di dettaglio o granularità. | Dati a livello di dettaglio riepilogativo o aggregato. |
| Strumenti | Può utilizzare strumenti/open source come Hadoop/Map Reduce | Per lo più strumenti commerciali. |
Che cos'è una Data Lakehouse?
Il confronto di cui sopra presuppone due sistemi separati. Un Data Lakehouse li unisce in un unico sistema, ed è per questo che il termine compare nella maggior parte delle discussioni attuali sull'architettura dei dati.
Una lakehouse conserva i file raw in un archivio di oggetti a basso costo, quindi aggiunge un livello di metadati transazionali tramite formati di tabella aperti come Delta Lake, Apache Iceberg o Apache Hudi. Questo livello fornisce le garanzie offerte da un data warehouse, mentre i file sottostanti rimangono aperti.
| Capacità | Lago di dati | Data Lakehouse |
|---|---|---|
| Le transazioni | Non supportato | Transazioni ACID sulle tabelle |
| Gestione degli schemi | Schema in sola lettura | Applicazione e evoluzione dello schema |
| Utenti principali | Data scientist | Analisti e scienziati dei dati insieme |
| Velocità di segnalazione | Lento senza un magazzino separato | Interrogazione diretta con indicizzazione e caching |
Per i team che già gestiscono un lago governato, l'adozione di un formato a tabella rappresenta solitamente un aggiornamento incrementale piuttosto che una ricostruzione.
Vantaggi e rischi dell'utilizzo di Data Lake
Ecco alcuni dei principali vantaggi derivanti dall'utilizzo di un Data Lake:
- Fornisce pieno supporto per la messa in produzione e l'analisi avanzata
- Offre scalabilità e flessibilità convenienti
- Offre valore da un numero illimitato di tipi di dati
- Riduce il costo di proprietà a lungo termine
- Consente l'archiviazione economica dei file
- Adattabile rapidamente ai cambiamenti
- Il vantaggio principale del Data Lake è il centralizzazione di diverse fonti di contenuto
- Gli utenti, provenienti da vari dipartimenti, possono essere sparsi in tutto il mondo accesso flessibile ai dati
Rischio derivante dall'utilizzo di Data Lake:
- Dopo un po' di tempo, Data Lake potrebbe perdere rilevanza e slancio
- I rischi associati alla progettazione di Data Lake sono maggiori
- I dati non strutturati possono portare a caos incontrollato, dati inutilizzabili, strumenti eterogenei e complessi e una debole collaborazione a livello aziendale.
- Aumenta anche i costi di archiviazione ed elaborazione
- Non è possibile ottenere approfondimenti da altri che hanno lavorato con i dati perché non vi è alcun resoconto della discendenza dei risultati dei precedenti analisti
- Il rischio maggiore dei data Lake è la sicurezza e il controllo degli accessi. A volte i dati possono essere inseriti in un lago senza alcuna supervisione, poiché alcuni dati potrebbero avere esigenze di privacy e normative
