Tutorial de Talend: ¿Qué es la herramienta ETL de Talend?
Prafulla Ranadive
⚡ Resumen inteligente
Talend es una plataforma de integración y gestión de datos de código abierto cuyo entorno gráfico Studio genera código nativo para ETL, big data y pipelines en la nube, y que ahora se comercializa como Qlik Talend Cloud.
¿Qué es Talend?
Talend es una plataforma de software de código abierto que ofrece soluciones de integración y gestión de datos. Talend se especializa en grandes volúmenes de datos Integración. La plataforma ofrece funcionalidades como nube, big data, integración de aplicaciones empresariales, calidad de datos y gestión de datos maestros. Además, proporciona un repositorio unificado para almacenar y reutilizar metadatos.
Históricamente, Talend ha estado disponible tanto en una versión de código abierto como en una versión premium, y se utiliza ampliamente para la computación en la nube y el trabajo de integración de big data.
Actualización de estado importante: Qlik completó la adquisición de Talend en mayo de 2023, y el 31 de enero de 2024 las ediciones gratuitas de Talend Open Studio fueron retiradas; ya no se alojan, parchean ni actualizan. La plataforma comercial continúa como Qlik Talend Cloud. Las secciones siguientes describen Open Studio tal como funcionaba mientras tenía soporte, que sigue siendo la forma más clara de entender cómo funcionaba. Herramienta ETL está ensamblado.
Historia de Talend
Los hitos a continuación tracTalend pasó de ser un proyecto francés de I+D a convertirse en el motor de integración y calidad de datos dentro de la plataforma en la nube de Qlik.
| Año | Milestone |
|---|---|
| 2002 | I + D |
| 2005 | Creación de empresa: primera ronda de financiación de AGF Private Equity y Galle Partners |
| 2006 | Open Studio V1.0: se lanzan operaciones en EE. UU. |
| 2007 | Suite de integración/ segunda ronda de financiación cerrada |
| 2008 | Abrir perfilador/calidad de datos |
| 2009 | Adquisición de Integration Suite RTx/MPx/MDM |
| 2010 | Edición comunitaria de IDM/Edición empresarial de MDM |
| 2011 | Open Studio V5 |
| 2014 | Proyecto OW2 Mejores |
| 2015 | Producto reconocido que marca tendencia |
| 2016 | DBTA 100 |
| 2017 | Cuadrante Mágico de Gartner para herramientas de integración de datos |
| 2021 | Integración nativa de Stitch con Amazon Consola de desplazamiento al rojo |
| 2021 | Thoma Bravo privatiza Talend en una operación que la valora en unos 2.4 millones de dólares. |
| 2023 | Qlik, también respaldada por Thoma Bravo, completa la adquisición de Talend en mayo. |
| 2024 | Talend Open Studio dejó de funcionar el 31 de enero; la edición gratuita para escritorio no recibirá más actualizaciones. |
| 2024 | Qlik Talend Cloud estará disponible para el público general en julio como plataforma sucesora, añadiendo pipelines mejorados con IA, productos de datos y un mercado de datos. |
| 2024 | Talend MDM Server llega al final de su ciclo de vida el 31 de diciembre; Talend 7.3 deja de tener soporte estándar en noviembre. |
| 2025 | Qlik Talend Cloud añade tareas de almacén de conocimiento que vectorizan datos para aplicaciones RAG, además del linaje de trabajos de Talend Studio en Qlik Cloud Catalog. |
| 2025 | La versión de noviembre ofrece puntos finales de API con un solo clic para productos de datos controlados, documentación de campo automatizada, reglas de calidad de datos sugeridas por IA y administración de datos. |
| 2026 | En Qlik Connect, que se celebrará en abril, Qlik anunciará la ingeniería de datos basada en agentes: canalizaciones declarativas, un asistente de IA para Talend Studio, enrutamiento en tiempo real y transmisión nativa de Open Lakehouse. |
| 2026 | El soporte extendido de pago para Talend 7.3 finaliza en diciembre, por lo que Talend 8 o Qlik Talend Cloud son las únicas opciones compatibles. |
Conjunto de productos Talend
La suite de productos Talend consta de 3 productos principales, que se describen a continuación.
Big Data
Talend puede automatizar fácilmente la integración de big data con herramientas gráficas y asistentes. Esto permite a una organización crear un entorno que funcione con Apache Hadoop, Spark y Bases de datos NoSQL para trabajos en la nube o locales.
Muchas empresas adoptaron Hadoop para ahorrar costes y mejorar el rendimiento, ya que las soluciones empresariales suelen consumir mucho tiempo de procesamiento. Con Hadoop, los datos se pueden transformar, limpiar, enriquecer e integrar para gestionar cargas de trabajo analíticas más exigentes.
Talend Sandbox incluye cuatro casos de uso:
- Optimización del almacén de datos
- Análisis de flujo de clics
- Análisis de Sentimiento en Redes Sociales
- Análisis de blogs de Apache
Además, puedes crear tus propios casos de uso más complejos a partir de estos.
Ventajas de Talend para Big Data y Hadoop
- Mejora la eficiencia del diseño de trabajos de big data mediante la organización y configuración de componentes en una interfaz gráfica.
- Agrega funciones de calidad, escalabilidad y administración de datos.
- La compatibilidad con MapReduce permite un procesamiento de datos paralelo más rápido.
- Repositorio compartido y despliegue remoto
- Calidad y perfilado de datos con limpieza de datos
- Soporte nativo para HBase, HDFS, Invierno, sqoop y cerdo
- Integrado en la plataforma de datos de Hortonworks
Integración de Datos
El Talend software de integración de datos Cuenta con una arquitectura abierta y escalable que permite una respuesta más rápida a las solicitudes del negocio. La herramienta desarrolla e implementa trabajos de integración de datos con mayor rapidez que la codificación manual.
Permite integrar todos tus datos con otros almacenes de datos o sincronizarlos entre sistemas. La integración de datos consiste en combinar datos almacenados en diferentes fuentes y ofrecer a los usuarios una visión unificada. Talend te ayuda a gestionar los trabajos ETL y proporciona a los usuarios una preparación de datos sencilla y de autoservicio.
Ventajas de Talend para la integración de datos
Integración ágil: Responda más rápido a las solicitudes comerciales sin escribir código, utilizando más de 1000 conectores listos para usar. EclipseHerramientas gráficas basadas en y un generador de código optimizado para el rendimiento.
Productividad del equipo: Colaborar mediante el control de versiones, el análisis de impacto, las pruebas y la depuración, y la gestión de metadatos.
Manejo sencillo: La herramienta ofrece funciones avanzadas de programación y monitorización. Proporciona integración de datos en tiempo real con paneles de control y control centralizado para una rápida implementación en múltiples nodos.
Manténgase por delante de la competencia: Utilizar la plataforma significa que no tienes que esperar a que las nuevas funciones de integración de datos estén disponibles.
Precio de propiedad bajo: Talend utiliza un modelo de precios por suscripción. Se paga según el número de desarrolladores que utilizan Talend Studio, lo que resulta más económico que una licencia plana por servidor.
Nube de integración
Puede acelerar los proyectos de integración de datos en la nube y en las instalaciones mediante una plataforma de integración en la nube como servicio (iPaaS) altamente escalable y segura. Talend Integration Cloud ofrece conectividad, calidad de datos integrada y generación de código nativo.
Se trata de una plataforma segura de integración en la nube que permite a los usuarios de TI y de negocio conectar sistemas tanto en la nube como locales. Los trabajos diseñados en la nube también pueden gestionarse, supervisarse y controlarse allí.
Beneficios de la integración en la nube
La tabla que aparece a continuación compara Talend Integration Cloud con la alternativa programada manualmente a la que pretende sustituir.
| Nube de integración de Talend | Otras herramientas |
|---|---|
| Más de 900 componentes de arrastrar y soltar | Codificación manual que es improductiva. |
| Genera código optimizado | Necesita habilidades especializadas |
| Colaboración y gestión | Difícil de mantener |
| Soporte Gold (SLA) | Soporte limitado |
¿Qué es Talend Open Studio?
Talend Open Studio era una arquitectura abierta para la integración de datos, el análisis de datos, el big data, la integración en la nube y mucho más.
Se trata de un entorno con interfaz gráfica de usuario (GUI) que ofrece más de 1000 conectores predefinidos. Esto facilita operaciones como la transformación de archivos, la carga de datos y el cambio de nombre y movimiento de archivos. Cada componente puede configurarse para definir un proceso complejo.
Los trabajos de integración se crean a partir de componentes de Talend que se configuran en lugar de programarse. Los trabajos se pueden ejecutar desde el entorno de desarrollo o exportarse y ejecutarse como scripts independientes.
Ventajas de usar Talend Open Studio
- Reduce el tiempo de desarrollo de la integración de semanas y meses a días o incluso horas.
- Convierte y actualiza los datos almacenados en diversas fuentes.
- Supervisa y gestiona despliegues complejos con facilidad.
- Ofrece uno de los costes de propiedad más bajos de cualquier solución comparable.
- Hereda el poder del subyacente Java plataforma de programación.
- Su amplia selección de conectores de origen y destino la convierte en una opción sólida en toda la industria.
- Cuenta con un sólido sistema de registro de archivos multiesquema e informes de conciliación después de un flujo de datos o una migración.
En comparación con un motor ETL propietario tradicional, las diferencias se ven así:
| ETL heredado | Talend |
|---|---|
| Motor de propiedad | Abra |
| Big Data difícil de escalar | Genera código nativo |
| Costoso | Bajo TCO |
Nota: Dado que Open Studio dejará de tener soporte el 31 de enero de 2024, la edición gratuita no recibe actualizaciones de seguridad. Los equipos que aún la utilicen deberían planificar su migración a Qlik Talend Cloud u otra plataforma compatible.
Estudio abierto de Talend Architectura
La arquitectura se divide en tres bloques clave: clientes, servidor y bases de datos, además del espacio de trabajo y el repositorio que almacenan los archivos y metadatos de un proyecto. El siguiente diagrama muestra cómo se conectan.
Nuestros Clientes
El bloque Clientes incluye uno o más Talend Studios y navegadores web, que pueden ejecutarse en la misma máquina o en máquinas diferentes. Talend Studio permite crear procesos de integración de datos independientemente del volumen de datos o la complejidad del proceso.
Servidor Talend
El módulo de servidor de Talend incluye un servidor de aplicaciones web. Permite la administración y el mantenimiento de todos los proyectos, y almacena las cuentas de usuario, los derechos de acceso y la autorización de proyectos en la base de datos de administración.
Database
El bloque Bases de datos abarca las bases de datos de Administración, Auditoría y Monitoreo. Administración gestiona las cuentas de usuario, los derechos de acceso y la autorización de proyectos. La base de datos de Auditoría ayuda a evaluar diferentes aspectos de los trabajos para poder desarrollar un sistema de apoyo a la toma de decisiones orientado a procesos.
Espacio de trabajo
En Talend, un espacio de trabajo es un directorio donde se almacenan todas las carpetas del proyecto. Se necesita al menos un directorio de espacio de trabajo por cada conexión de repositorio. Talend puede conectarse a varios directorios de espacio de trabajo si no se desea utilizar el predeterminado.
Repositorio
Un repositorio es el área de almacenamiento que Talend Open Studio utiliza para recopilar los datos que describen los modelos de negocio o los trabajos de diseño.ping Los metadatos del repositorio son los que permiten reutilizar una conexión o un esquema en diferentes trabajos.
Extensiones de Talend Open Studio
Talend Open Studio se amplió con una familia de productos que añadieron capacidades de gobernanza, calidad y servicio:
- Suite de integración Talend
- Talend bajo demanda
- Calidad de datos de Talend
- Talend ESB
- Integración de Big Data de Talend
Estos nombres datan de la época de Open Studio. En Qlik, las funcionalidades equivalentes se ofrecen dentro de Qlik Talend Cloud en lugar de como descargas independientes.
