Qu'est-ce qu'un lac de données ? Définition, Archistructure et meilleures pratiques
David Carter
⚡ Résumé intelligent
L'architecture Data Lake stocke les données structurées, semi-structurées et non structurées dans leur format natif, selon une conception plate. Chaque élément reçoit un identifiant unique et des métadonnées, permettant ainsi l'analyse sans schéma d'entreprise prédéfini.
Qu'est-ce que le lac de données ?
Un Data Lake est un référentiel de stockage capable de stocker une grande quantité de données structurées, semi-structurées et non structurées. C'est un endroit où stocker tout type de données dans son format natif sans limite fixe de taille de compte ou de fichier. Il offre une grande quantité de données pour augmenter les performances analytiques et l'intégration native.
Data Lake est comme un grand conteneur qui ressemble beaucoup à de vrais lacs et rivières. Tout comme dans un lac, plusieurs affluents arrivent, un lac de données contient des données structurées, des données non structurées, de machine à machine, et des journaux circulant en temps réel.
Comme le montre l'illustration ci-dessus, de nombreux flux distincts alimentent un unique ensemble de données stockées. Le lac de données démocratise l'accès aux données et constitue une solution économique pour stocker l'ensemble des données d'une organisation en vue d'un traitement ultérieur. L'analyste de recherche peut ainsi se concentrer sur la recherche de tendances significatives dans les données plutôt que sur les données elles-mêmes.
Contrairement à une hiérarchie Entreposage De Données où les données sont stockées dans des fichiers et des dossiers, Data Lake a une architecture plate. Chaque élément de données d'un Data Lake reçoit un identifiant unique et est étiqueté avec un ensemble d'informations de métadonnées.
Pourquoi Data Lake ?
L’objectif principal de la construction d’un lac de données est d’offrir une vue brute des données aux data scientists.
Les raisons d’utiliser Data Lake sont :
- Avec l'arrivée des moteurs de stockage comme Hadoop stocker des informations disparates est devenu facile. Il n’est pas nécessaire de modéliser les données dans un schéma à l’échelle de l’entreprise avec un Data Lake.
- Avec l’augmentation du volume de données, de la qualité des données et des métadonnées, la qualité des analyses augmente également.
- Data Lake offre de l'agilité aux entreprises
- Machine Learning et l’intelligence artificielle peut être utilisée pour faire des prédictions rentables.
- Il offre un avantage concurrentiel à l’organisation chargée de la mise en œuvre.
- Il n’y a pas de structure de silos de données. Data Lake offre une vue à 360 degrés des clients et rend l'analyse plus robuste.
Data Lake Architecture
La figure montre l'architecture d'un lac de données d'entreprise. Les niveaux inférieurs représentent les données qui sont principalement au repos tandis que les niveaux supérieurs montrent les données transactionnelles en temps réel. Ces données circulent dans le système avec peu ou pas de latence. Voici les niveaux importants du lac de données Archistructure :
- Niveau d'ingestion: Les niveaux sur le côté gauche représentent les sources de données. Les données pourraient être chargées dans le lac de données par lots ou en temps réel
- Niveau d'informations : Les niveaux de droite représentent le côté recherche où les informations du système sont utilisées. SQL, des requêtes NoSQL ou même Excel pourraient être utilisées pour l'analyse des données.
- HDFS est une solution rentable pour les données structurées et non structurées. Il s’agit d’une zone d’atterrissage pour toutes les données au repos dans le système.
- Niveau de distillation Il extrait les données de la couche de stockage et les convertit en données structurées pour faciliter leur analyse.
- Niveau de traitement exécutez des algorithmes analytiques et des requêtes des utilisateurs avec différents lots interactifs en temps réel pour générer des données structurées pour une analyse plus facile.
- Niveau d’opérations unifiées régit la gestion et la surveillance du système. Il comprend l'audit et la gestion des compétences, la gestion des données, gestion du workflow.
Lac de données clés Concepts
Voici les principaux concepts du Data Lake qu'il faut comprendre pour comprendre complètement le Data Lake Architecture
Ingestion de données
L'ingestion de données permet aux connecteurs d'obtenir des données provenant de différentes sources de données et de les charger dans le lac de données.
L'ingestion de données prend en charge :
- Tous types de données structurées, semi-structurées et non structurées.
- Ingestions multiples comme par lots, en temps réel, chargement unique.
- De nombreux types de sources de données telles que les bases de données, les serveurs Web, les e-mails, IoTet FTP.
Stockage de données
Le stockage des données doit être évolutif, offrir un stockage rentable et permettre un accès rapide à l'exploration des données. Il doit prendre en charge différents formats de données.
Gouvernance des Données
La gouvernance des données est un processus de gestion de la disponibilité, de la convivialité, de la sécurité et de l'intégrité des données utilisées dans une organisation.
Sécurité
La sécurité doit être mise en œuvre dans chaque couche du Data Lake. Cela commence par le stockage, la découverte et la consommation. Le besoin fondamental est d’arrêter l’accès aux utilisateurs non autorisés. Il doit prendre en charge différents outils pour accéder aux données avec une interface graphique et des tableaux de bord faciles à naviguer.
L'authentification, la comptabilité, l'autorisation et la protection des données sont quelques fonctionnalités importantes de la sécurité des lacs de données.
Qualité des données
La qualité des données est un élément essentiel de l'architecture d'un lac de données. Les données servent à générer de la valeur ajoutée pour l'entreprise. Par exemple :tracTirer des enseignements de données de mauvaise qualité conduira à des enseignements de mauvaise qualité.
Découverte de données
La découverte de données est une autre étape importante avant de pouvoir commencer à préparer des données ou à les analyser. Dans cette étape, la technique de marquage est utilisée pour exprimer la compréhension des données, en organisant et en interprétant les données ingérées dans le Data Lake.
Audit des données
Deux tâches majeures d'audit des données sont tracLe roi modifie l'ensemble de données principal.
- Tracking modifications apportées aux éléments importants de l'ensemble de données
- Capture comment/quand/et qui modifie ces éléments.
L’audit des données permet d’évaluer les risques et la conformité.
Lignée de données
Ce composant traite de l'origine des données. Il s'intéresse principalement à leur parcours au fil du temps et aux modifications qu'elles subissent. Il facilite la correction des erreurs dans un processus d'analyse de données, de l'origine à la destination.
Exploration de données
C'est la première étape de l'analyse des données. Il est essentiel d’identifier le bon ensemble de données avant de commencer l’exploration des données.
Tous les composants donnés doivent fonctionner ensemble pour jouer un rôle important dans la création de lacs de données, évoluer et explorer facilement l'environnement.
Plateformes populaires de lacs de données
Les niveaux décrits ci-dessus sont généralement constitués de services cloud gérés plutôt que d'être développés sur mesure. Les plateformes ci-dessous couvrent les couches de stockage et de catalogage qui constituent le point de départ de la plupart des implémentations.
- Amazon S3 avec AWS Lake Formation : Le stockage d'objets est associé à un service qui enregistre les sources, définit les autorisations et construit le catalogue de données. Voir la documentation. Tutoriel AWS pour l'écosystème au sens large.
- Azure Stockage de lac de données Gen2 : Ajoute un espace de noms hiérarchique au-dessus du stockage Blob, ce qui offre une sécurité au niveau du répertoire et un accès plus rapide aux analyses.
- Google Cloud Stockage avec BigLake : Combine le stockage d'objets avec une couche de requêtes qui lit directement les formats de tables ouvertes.
- Apache Hadoop avec HDFS : L'option originale sur site, toujours utilisée lorsque les données doivent rester dans un centre de données privé.
- Databricks et Snowflake : Les plateformes qui superposent des formats de tableau tels que Delta Lake et Apache Iceberg sur le stockage d'objets pour ajouter les transactions et le versionnage.
La sélection se fait généralement en fonction du fournisseur de cloud déjà utilisé par l'organisation, étant donné que l'ingestion et outils de business intelligence s'intégrer au moindre coût au sein d'un seul écosystème.
Étapes de maturité de Data Lake
La définition des étapes de maturité du Data Lake diffère d’un manuel à l’autre. Même si le fond reste le même. Après la maturité, la définition du stade se fait d'un point de vue profane.
Étape 1 : Gérer et ingérer des données à grande échelle
Cette première étape de la maturité des données consiste à améliorer la capacité à transformer et à analyser les données. Ici, les propriétaires d'entreprise doivent trouver les outils en fonction de leurs compétences pour obtenir plus de données et créer des applications analytiques.
Étape 2 : Construire le muscle analytique
Il s’agit d’une deuxième étape qui consiste à améliorer la capacité à transformer et analyser les données. A cette étape, les entreprises utilisent l’outil le plus adapté à leurs compétences. Ils commencent à acquérir davantage de données et à créer des applications. Ici, les capacités de l’entrepôt de données d’entreprise et du lac de données sont utilisées ensemble.
Étape 3 : EDW et Data Lake travaillent à l’unisson
Cette étape consiste à mettre les données et les analyses entre les mains du plus grand nombre de personnes possible. À ce stade, le lac de données et l’entrepôt de données d’entreprise commencent à fonctionner en union. Tous deux jouent leur rôle dans l’analyse
Étape 4 : Capacité d'entreprise dans le lac
À ce stade de maturité du lac de données, des capacités d'entreprise sont ajoutées au lac de données. Adoption de la gouvernance de l’information, des capacités de gestion du cycle de vie de l’information et de la gestion des métadonnées. Cependant, très peu d’organisations parviennent à atteindre ce niveau de maturité, mais ce chiffre va augmenter à l’avenir.
Meilleures pratiques pour la mise en œuvre de Data Lake
- Archiles composants structuraux, leur interaction et les produits identifiés doivent prendre en charge les types de données natifs
- La conception de Data Lake doit être guidée par ce qui est disponible plutôt que par ce qui est requis. Les exigences en matière de schéma et de données ne sont pas définies tant qu'elles ne sont pas interrogées
- La conception doit être guidée par des composants jetables intégrés à l'API de service.
- La découverte, l'ingestion, le stockage, l'administration, la qualité, la transformation et la visualisation des données doivent être gérés de manière indépendante.
- L'architecture Data Lake doit être adaptée à un secteur spécifique. Il doit garantir que les capacités nécessaires pour ce domaine font partie intégrante de la conception.
- Une intégration plus rapide des sources de données nouvellement découvertes est importante
- Data Lake aide à une gestion personnalisée pour extracvaleur maximale de t
- Le Data Lake doit prendre en charge les techniques et méthodes existantes de gestion des données d'entreprise.
Les défis de la création d'un lac de données :
- Dans Data Lake, le volume de données est plus élevé, le processus doit donc dépendre davantage de l'administration programmatique
- Il est difficile de gérer des données rares, incomplètes et volatiles
- Une portée plus large de l'ensemble de données et des sources nécessite une gouvernance et un support des données plus importants
⚠️ Attention : Un lac de données sans métadonnées cataloguées ni règles d'accès appliquées se transforme en marécage. Les données sont présentes, mais personne ne peut les trouver, leur faire confiance ni prouver qui les a modifiées. La gouvernance est donc une condition préalable, et non une étape ultérieure.
Différence entre les lacs de données et les entrepôts de données
Le tableau comparatif ci-dessous résume la position de chaque magasin. Une analyse plus détaillée est disponible dans le Data Lake vs Data Warehouse Comparaison.
| Paramètres | Lacs de données | Entreposage De Données |
|---|---|---|
| Centres de données | Les lacs de données stockent tout. | Data Warehouse se concentre uniquement sur les processus métier. |
| En cours | Les données sont pour la plupart non traitées | Données hautement traitées. |
| Type de données | Il peut être non structuré, semi-structuré et structuré. | Il se présente principalement sous forme et structure tabulaires. |
| Tâche | Partager la gestion des données | Optimisé pour la récupération de données |
| Agilité | Très agile, configurez et reconfigurez selon les besoins. | Comparé au Data Lake, il est moins agile et a une configuration fixe. |
| Utilisateurs | Data Lake est principalement utilisé par Data Scientist | Les professionnels utilisent largement Data Warehouse |
| Stockage | Conception de lacs de données pour un stockage à faible coût. | Un stockage coûteux offrant des temps de réponse rapides est utilisé |
| Sécurité | Offre moins de contrôle. | Permet un meilleur contrôle des données. |
| Remplacement de l'EDW | Le lac de données peut être une source pour EDW | Complémentaire à EDW (pas de remplacement) |
| Programme | Schéma en lecture (pas de schéma prédéfini) | Schéma à l'écriture (schémas prédéfinis) |
| Traitement de l'information | Aide à l’ingestion rapide de nouvelles données. | Cela prend du temps pour introduire du nouveau contenu. |
| Granularité des données | Données à faible niveau de détail ou de granularité. | Données au niveau de détail récapitulatif ou agrégé. |
| Outils | Peut utiliser des outils open source comme Hadoop/Map Reduction | Des outils principalement commerciaux. |
Qu’est-ce qu’un Data Lakehouse ?
La comparaison ci-dessus suppose deux systèmes distincts. Un lac de données les fusionne en un seul, ce qui explique la présence de ce terme dans la plupart des discussions actuelles sur l'architecture.
Un système de stockage lacustre conserve les fichiers bruts dans un stockage objet à faible coût, puis ajoute une couche de métadonnées transactionnelles via des formats de table ouverts tels que Delta Lake, Apache Iceberg ou Apache Hudi. Cette couche fournit les garanties offertes par un entrepôt de données tant que les fichiers sous-jacents restent ouverts.
| Capability | Data Lake | Maison du lac de données |
|---|---|---|
| Transactions | Non pris en charge | transactions ACID sur les tables |
| Gestion des schémas | Schéma en lecture seule | Application et évolution des schémas |
| Principaux utilisateurs | Data scientists | Les analystes et les scientifiques des données ensemble |
| Vitesse de signalement | Lent sans entrepôt séparé | Requête directe avec indexation et mise en cache |
Pour les équipes exploitant déjà un lac de données géré, l'adoption d'un format tabulaire constitue généralement une mise à niveau progressive plutôt qu'une refonte.
Avantages et risques de l'utilisation de Data Lake
Voici quelques avantages majeurs de l’utilisation d’un Data Lake :
- Contribue pleinement à la mise en production et à l'analyse avancée.
- Offre une évolutivité et une flexibilité économiques
- Offre de la valeur à partir de types de données illimités
- Réduit le coût de possession à long terme
- Permet un stockage économique des fichiers
- Adaptation rapide aux changements
- Le principal avantage du lac de données est centralisation de différentes sources de contenu
- Les utilisateurs, issus de différents départements, peuvent être dispersés dans le monde entier et peuvent avoir accès flexible aux données
Risque lié à l'utilisation de Data Lake :
- Après un certain temps, Data Lake pourrait perdre de sa pertinence et de son élan
- La conception de Data Lake comporte un plus grand risque
- Les données non structurées peuvent mener à un chaos incontrôlé, à des données inutilisables, à des outils disparates et complexes, et à une faible collaboration à l'échelle de l'entreprise.
- Il augmente également le stockage et calcule les coûts
- Il n'y a aucun moyen d'obtenir des informations d'autres personnes qui ont travaillé avec les données car il n'y a aucun compte rendu de la lignée des résultats par les analystes précédents
- Le plus grand risque des lacs de données est la sécurité et le contrôle d’accès. Parfois, les données peuvent être placées dans un lac sans aucune surveillance, car certaines d'entre elles peuvent avoir des besoins en matière de confidentialité et de réglementation.
