¿Qué es un Data Lake? Definición, Architecture & Mejores Practices
Equipo editorial
⚡ Resumen inteligente
La arquitectura Data Lake almacena datos estructurados, semiestructurados y no estructurados en formato nativo bajo un diseño plano. Cada elemento recibe un identificador único y etiquetas de metadatos, lo que permite el análisis sin un esquema empresarial predefinido.
¿Qué es el lago de datos?
Un Data Lake es un repositorio de almacenamiento que puede almacenar una gran cantidad de datos estructurados, semiestructurados y no estructurados. Es un lugar para almacenar todo tipo de datos en su formato nativo sin límites fijos en el tamaño de la cuenta o el archivo. Ofrece una gran cantidad de datos para aumentar el rendimiento analítico y la integración nativa.
Un lago de datos es como un gran contenedor muy similar a un lago o a un río real. Al igual que en un lago hay múltiples afluentes que lo recorren, un lago de datos tiene datos estructurados, datos no estructurados, de máquina a máquina y registros que fluyen en tiempo real.
Como muestra la ilustración anterior, múltiples flujos independientes alimentan un único conjunto de datos almacenados. El Data Lake democratiza los datos y es una forma rentable de almacenar toda la información de una organización para su posterior procesamiento. El analista de investigación puede centrarse en encontrar patrones significativos en los datos, en lugar de en los datos en sí.
A diferencia de una jerarquía Almacenamiento de Datos En un lago de datos, donde los datos se almacenan en archivos y carpetas, la arquitectura es plana. A cada elemento de datos de un lago de datos se le asigna un identificador único y se lo etiqueta con un conjunto de información de metadatos.
¿Por qué lago de datos?
El principal objetivo de construir un lago de datos es ofrecer una visión pura de los datos a los científicos de datos.
Las razones para utilizar Data Lake son:
- Con la aparición de motores de almacenamiento como Hadoop almacenar información dispar se ha vuelto fácil. No es necesario modelar datos en un esquema para toda la empresa con un lago de datos.
- Con el aumento del volumen de datos, la calidad de los datos y los metadatos, también aumenta la calidad de los análisis.
- Data Lake ofrece agilidad empresarial
- Aprendizaje automático y la Inteligencia Artificial se puede utilizar para hacer predicciones rentables.
- Ofrece una ventaja competitiva a la organización implementadora.
- No existe una estructura de silo de datos. Data Lake brinda una vista de 360 grados de los clientes y hace que el análisis sea más sólido.
Lago de datos Architectura
La figura muestra la arquitectura de un lago de datos empresarial. Los niveles inferiores representan datos que se encuentran en su mayoría en reposo, mientras que los niveles superiores muestran datos transaccionales en tiempo real. Estos datos fluyen a través del sistema con poca o ninguna latencia. A continuación, se muestran los niveles importantes de un lago de datos Architectura:
- Nivel de ingestión: Los niveles del lado izquierdo representan las fuentes de datos. Los datos podrían cargarse en el lago de datos en lotes o en tiempo real.
- Nivel de información: Los niveles de la derecha representan el lado de la investigación donde se utilizan los conocimientos del sistema. SQL, consultas NoSQL o incluso Excel podrían usarse para el análisis de datos.
- HDFS es una solución rentable para datos estructurados y no estructurados. Es una zona de aterrizaje para todos los datos que están en reposo en el sistema.
- Nivel de destilación Toma datos de la capa de almacenamiento y los convierte en datos estructurados para facilitar su análisis.
- Nivel de procesamiento ejecutar algoritmos analíticos y consultas de usuarios con variaciones en tiempo real, interactivos y por lotes para generar datos estructurados para un análisis más fácil.
- Nivel de operaciones unificadas gobierna la gestión y el seguimiento del sistema. Incluye auditoría y gestión de competencias, gestión de datos, gestión de flujos de trabajo.
Lago de datos clave Concepts
A continuación se presentan los conceptos clave de Data Lake que uno debe comprender para comprender completamente el Data Lake. Architectura
Ingestión de datos
La ingesta de datos permite a los conectores obtener datos de diferentes fuentes de datos y cargarlos en el lago de datos.
La ingesta de datos admite:
- Todo tipo de datos estructurados, semiestructurados y no estructurados.
- Múltiples ingestas como carga por lotes, en tiempo real y única.
- Muchos tipos de fuentes de datos como bases de datos, servidores web, correos electrónicos, IoTy FTP.
Almacenamiento de datos
El almacenamiento de datos debe ser escalable, ofrecer un almacenamiento rentable y permitir un acceso rápido a la exploración de datos. Debería admitir varios formatos de datos.
Gobierno de datos
El gobierno de datos es un proceso de gestión de la disponibilidad, usabilidad, seguridad e integridad de los datos utilizados en una organización.
Seguridad
La seguridad debe implementarse en cada capa del lago de datos. Comienza con el almacenamiento, el desenterramiento y el consumo. La necesidad básica es detener el acceso de usuarios no autorizados. Debería admitir diferentes herramientas para acceder a los datos con una GUI y paneles de control fáciles de navegar.
La autenticación, la contabilidad, la autorización y la protección de datos son algunas características importantes de la seguridad del lago de datos.
Calidad de los Datos
La calidad de los datos es un componente esencial de la arquitectura de Data Lake. Los datos se utilizan para generar valor empresarial. Por ejemplo:tracObtener conclusiones a partir de datos de mala calidad dará lugar a conclusiones de mala calidad.
Data Discovery
El descubrimiento de datos es otra etapa importante antes de poder comenzar a preparar datos o análisis. En esta etapa, se utiliza la técnica de etiquetado para expresar la comprensión de los datos, organizando e interpretando los datos ingeridos en el lago de datos.
Auditoría de datos
Dos tareas principales de auditoría de datos son: tracEl rey realiza cambios en el conjunto de datos clave.
- Tracking cambios en elementos importantes del conjunto de datos
- Captura cómo, cuándo y quién cambia estos elementos.
La auditoría de datos ayuda a evaluar el riesgo y el cumplimiento.
Linaje de datos
Este componente se ocupa del origen de los datos. Principalmente, analiza su recorrido a lo largo del tiempo y qué sucede con ellos. Facilita la corrección de errores en el proceso de análisis de datos, desde el origen hasta el destino.
Exploración de datos
Es la etapa inicial del análisis de datos. Es vital identificar el conjunto de datos correcto antes de comenzar la exploración de datos.
Todos los componentes dados deben trabajar juntos para desempeñar un papel importante en la construcción del lago de datos, que evoluciona y explora fácilmente el entorno.
Plataformas populares de Data Lake
Las capas descritas anteriormente suelen estar compuestas por servicios gestionados en la nube, en lugar de construirse desde cero. Las plataformas que se describen a continuación abarcan las capas de almacenamiento y catalogación con las que comienzan la mayoría de las implementaciones.
- Amazon S3 con AWS Lake Formation: Almacenamiento de objetos junto con un servicio que registra fuentes, establece permisos y crea el catálogo de datos. Consulte el Tutorial de AWS para el ecosistema en general.
- Azure Almacenamiento de Data Lake Gen2: Agrega un espacio de nombres jerárquico sobre Blob Storage, lo que proporciona seguridad a nivel de directorio y un acceso más rápido a los análisis.
- Google Cloud Almacenamiento con BigLake: Combina el almacenamiento de objetos con una capa de consulta que lee directamente formatos de tabla abiertos.
- Apache Hadoop con HDFS: La opción original de instalación en las instalaciones del cliente, que todavía se utiliza cuando los datos deben permanecer dentro de un centro de datos privado.
- Databricks y Snowflake: Plataformas que superponen formatos de tabla como Delta Lake y Apache Iceberg sobre almacenamiento de objetos para agregar transacciones y control de versiones.
La selección normalmente sigue al proveedor de nube que una organización ya utiliza, ya que la ingesta y herramientas de inteligencia empresarial Integrarse de la forma más económica dentro de un único ecosistema.
Etapas de madurez de Data Lake
La definición de las etapas de madurez de Data Lake varía de un libro de texto a otro, aunque el quid de la cuestión sigue siendo el mismo. Después de la madurez, la definición de la etapa se realiza desde un punto de vista común.
Etapa 1: Manejar e incorporar datos a escala
Esta primera etapa de Data Maturity implica mejorar la capacidad de transformar y analizar datos. Aquí, los dueños de negocios necesitan encontrar las herramientas de acuerdo con sus habilidades para obtener más datos y crear aplicaciones analíticas.
Etapa 2: Desarrollar el músculo analítico
Esta es una segunda etapa que implica mejorar la capacidad de transformar y analizar datos. En esta etapa, las empresas utilizan la herramienta que más se adapta a sus habilidades. Comienzan a adquirir más datos y a crear aplicaciones. Aquí, las capacidades del almacén de datos empresarial y del lago de datos se utilizan juntas.
Etapa 3: EDW y Data Lake trabajan al unísono
Este paso implica poner los datos y el análisis en manos de la mayor cantidad de personas posible. En esta etapa, el lago de datos y el almacén de datos empresarial comienzan a trabajar en unión. Ambos desempeñan su papel en el análisis.
Etapa 4: Capacidad empresarial en el lago
En esta etapa de madurez del lago de datos, se agregan capacidades empresariales al lago de datos. Adopción de gobernanza de la información, capacidades de gestión del ciclo de vida de la información y gestión de metadatos. Sin embargo, muy pocas organizaciones pueden alcanzar este nivel de madurez, pero esta cifra aumentará en el futuro.
Mejores prácticas para la implementación de Data Lake
- ArchiLos componentes estructurales, su interacción y los productos identificados deben admitir tipos de datos nativos.
- El diseño de Data Lake debe basarse en lo que está disponible en lugar de lo que se requiere. El esquema y el requisito de datos no se definen hasta que se consulta
- El diseño debe guiarse por componentes desechables integrados con la API de servicio.
- El descubrimiento, la ingesta, el almacenamiento, la administración, la calidad, la transformación y la visualización de datos deben gestionarse de forma independiente.
- La arquitectura del lago de datos debe adaptarse a una industria específica y debe garantizar que las capacidades necesarias para ese dominio sean una parte inherente del diseño.
- Es importante una incorporación más rápida de fuentes de datos recién descubiertas
- Data Lake ayuda a la gestión personalizada a extract valor máximo
- El lago de datos debe admitir técnicas y métodos de gestión de datos empresariales existentes.
Desafíos de construir un lago de datos:
- En Data Lake, el volumen de datos es mayor, por lo que el proceso debe depender más de la administración programática.
- Es difícil manejar datos escasos, incompletos y volátiles.
- Un alcance más amplio del conjunto de datos y la fuente necesita una mayor gobernanza y soporte de datos
⚠️ Advertencia: Un lago de datos sin metadatos catalogados ni reglas de acceso estrictas se convierte en un pantano de datos. Los datos están presentes, pero nadie puede encontrarlos, confiar en ellos ni demostrar quién los modificó. Por lo tanto, la gobernanza es un requisito inicial, no una fase posterior.
Diferencia entre lagos de datos y almacén de datos
La siguiente comparación resume la posición de cada tienda. Un análisis más detallado está disponible en la lago de datos vs almacén de datos comparación.
| Parámetros | Lagos de datos | Almacenamiento de Datos |
|---|---|---|
| Datos | Los lagos de datos almacenan todo. | El almacén de datos se centra únicamente en los procesos de negocio. |
| Procesabilidad | Los datos están en su mayoría sin procesar. | Datos altamente procesados. |
| Tipo de datos | Puede ser No estructurado, semiestructurado y estructurado. | Se encuentra principalmente en forma y estructura tabulares. |
| Task | Compartir la administración de datos | Optimizado para la recuperación de datos |
| Agilidad | Altamente ágil, configura y reconfigura según sea necesario. | En comparación con Data Lake, es menos ágil y tiene una configuración fija. |
| Usuarios | Data Lake es utilizado principalmente por científicos de datos. | Los profesionales de negocios utilizan ampliamente el almacén de datos |
| Almacenaje | Diseño de lagos de datos para almacenamiento de bajo costo. | Se utiliza almacenamiento costoso que brinda tiempos de respuesta rápidos. |
| Seguridad | Ofrece menor control. | Permite un mejor control de los datos. |
| Reemplazo de EDW | El lago de datos puede ser una fuente para EDW | Complementario a EDW (no reemplazante) |
| Esquema | Esquema al leer (sin esquemas predefinidos) | Esquema al escribir (esquemas predefinidos) |
| Procesamiento de datos | Ayuda a la rápida ingesta de nuevos datos. | Lleva mucho tiempo introducir contenido nuevo. |
| Granularidad de datos | Datos con un bajo nivel de detalle o granularidad. | Datos a nivel de detalle resumido o agregado. |
| Accesorios | Puede usar código abierto/herramientas como Hadoop/Map Reduce | Principalmente herramientas comerciales. |
¿Qué es un lago de datos?
La comparación anterior parte de la base de dos sistemas separados. Un Data Lakehouse los fusiona en uno solo, razón por la cual el término aparece en la mayoría de los debates actuales sobre arquitectura.
Una casa de lago guarda archivos sin procesar en almacenamiento de objetos de bajo costo y luego agrega una capa de metadatos transaccionales a través de formatos de tabla abiertos como Delta Lake, Apache Iceberg o Apache Hudi. Esa capa proporciona las garantías que ofrece un almacén de datos mientras los archivos subyacentes permanecen abiertos.
| Capacidad | Lago de datos | Lago de datos |
|---|---|---|
| Transacciones | No se admite | Transacciones ACID en tablas |
| Manejo de esquemas | Esquema en modo de solo lectura | Aplicación y evolución del esquema |
| Usuarios principales | Científicos de datos | Analistas y científicos de datos juntos |
| Velocidad de reporte | Lento sin un almacén separado | Consultas directas con indexación y almacenamiento en caché. |
Para los equipos que ya gestionan un lago de datos controlado, adoptar un formato de tabla suele ser una mejora gradual en lugar de una reconstrucción completa.
Beneficios y riesgos del uso de Data Lake
Estos son algunos de los principales beneficios del uso de un lago de datos:
- Ayuda plenamente con la puesta en producción y el análisis avanzado.
- Ofrece escalabilidad y flexibilidad rentables
- Ofrece valor a partir de tipos de datos ilimitados
- Reduce el costo de propiedad a largo plazo
- Permite el almacenamiento económico de archivos
- Rápidamente adaptable a los cambios
- La principal ventaja del lago de datos es la centralización de diferentes fuentes de contenido
- Los usuarios, de varios departamentos, pueden estar dispersos por todo el mundo y pueden tener acceso flexible a los datos
Riesgo de utilizar Data Lake:
- Después de algún tiempo, Data Lake puede perder relevancia y impulso
- Existe una mayor cantidad de riesgo involucrado al diseñar Data Lake
- Los datos no estructurados pueden dar lugar a un caos incontrolado, datos inutilizables, herramientas dispares y complejas, y una colaboración deficiente en toda la empresa.
- También aumenta los costos de almacenamiento y computación.
- No hay forma de obtener información de otras personas que han trabajado con los datos porque no se cuenta el linaje de los hallazgos de los analistas anteriores.
- El mayor riesgo de los lagos de datos es la seguridad y el control de acceso. A veces, los datos se pueden colocar en un lago sin ningún tipo de supervisión, ya que algunos de los datos pueden tener necesidades regulatorias y de privacidad.
