Tutorial do Talend: O que é a ferramenta Talend ETL?
Prafulla Ranadive
⚡ Resumo Inteligente
O Talend é uma plataforma de código aberto para integração e gerenciamento de dados, cujo Studio gráfico gera código nativo para ETL, big data e pipelines em nuvem, e que agora é comercializada como Qlik Talend Cloud.
O que é Talend?
O Talend é uma plataforma de software de código aberto que oferece soluções de integração e gerenciamento de dados. O Talend é especializado em dados grandes Integração. A plataforma oferece recursos como nuvem, big data, integração de aplicativos corporativos, qualidade de dados e gerenciamento de dados mestres. Ela também fornece um repositório unificado para armazenar e reutilizar metadados.
Historicamente, o Talend tem estado disponível tanto em versão de código aberto quanto em versão premium, sendo amplamente utilizado para computação em nuvem e integração de big data.
Atualização de status importante: A Qlik concluiu a aquisição da Talend em maio de 2023 e, em 31 de janeiro de 2024, as edições gratuitas do Talend Open Studio foram descontinuadas — elas não são mais hospedadas, corrigidas ou atualizadas. A plataforma comercial continua como Qlik Talend Cloud. As seções abaixo descrevem o Open Studio como ele funcionava enquanto era suportado, que ainda é a maneira mais clara de entender como o Ferramenta ETL está montado.
História do Talend
Os marcos abaixo trace a Talend, de um projeto francês de P&D, para o mecanismo de integração e qualidade de dados dentro da plataforma em nuvem da Qlik.
| Ano | Marco miliário |
|---|---|
| 2002 | R & D |
| 2005 | Criação de Empresa - Primeira rodada de financiamento de private equity AGF & Galle Partners |
| 2006 | Open Studio V1.0 - Lançou operações nos EUA |
| 2007 | Conjunto de integração/segunda rodada de financiamento fechada |
| 2008 | Abrir perfil/qualidade de dados |
| 2009 | Aquisição do Integration Suite RTx/MPx/MDM |
| 2010 | Edição Comunidade IDM/ Edição Empresarial MDM |
| 2011 | Open Studio V5 |
| 2014 | Projeto OW2 Melhor |
| 2015 | Produto reconhecido como criador de tendências |
| 2016 | DBTA 100 |
| 2017 | Quadrante Mágico do Gartner para Ferramentas de Integração de Dados |
| 2021 | Integração nativa do Stitch com Amazon Console Redshift |
| 2021 | A Thoma Bravo fecha o capital da Talend em um negócio avaliado em cerca de US$ 2.4 bilhões. |
| 2023 | A Qlik, também apoiada pela Thoma Bravo, concluiu a aquisição da Talend em maio. |
| 2024 | O Talend Open Studio foi descontinuado em 31 de janeiro; a versão gratuita para desktop não receberá mais atualizações. |
| 2024 | O Qlik Talend Cloud estará disponível para o público em geral em julho como a plataforma sucessora, adicionando pipelines aprimorados por IA, produtos de dados e um marketplace de dados. |
| 2024 | O servidor Talend MDM chega ao fim de sua vida útil em 31 de dezembro; o Talend 7.3 deixa de ter suporte padrão em novembro. |
| 2025 | O Qlik Talend Cloud adiciona tarefas de knowledge mart que vetorizam dados para aplicações RAG, além da linhagem de jobs do Talend Studio no Catálogo do Qlik Cloud. |
| 2025 | A versão de novembro traz endpoints de API com um clique para produtos de dados governados, documentação de campo automatizada, regras de qualidade de dados sugeridas por IA e gestão de dados. |
| 2026 | Na Qlik Connect, em abril, a Qlik anunciou a engenharia de dados agentiva: pipelines declarativos, um assistente de IA para o Talend Studio, roteamento em tempo real e streaming nativo do Open Lakehouse. |
| 2026 | O suporte estendido pago para o Talend 7.3 termina em dezembro, tornando o Talend 8 ou o Qlik Talend Cloud as únicas opções com suporte. |
Conjunto de produtos Talend
O pacote de produtos Talend consiste em 3 produtos principais, descritos abaixo.
Talend Big Data
O Talend pode automatizar facilmente a integração de big data com ferramentas gráficas e assistentes. Isso permite que uma organização construa um ambiente que funcione com o Apache Hadoop. Spark e Bancos de dados NoSQL para trabalhos na nuvem ou no local.
Muitas empresas adotaram o Hadoop para reduzir custos e melhorar o desempenho, pois as soluções corporativas geralmente consomem muito tempo de computação. Com o Hadoop, os dados podem ser transformados, limpos, enriquecidos e integrados para cargas de trabalho analíticas mais complexas.
O Talend Sandbox inclui quatro casos de uso:
- Otimização de Data Warehouse
- Análise de cliques
- Análise de sentimento de mídia social
- Análise de logs da web Apache
Você também pode criar seus próprios casos de uso mais complexos com base nesses.
Benefícios do Talend para Big Data e Hadoop
- Aprimora a eficiência do projeto de tarefas de big data, organizando e configurando componentes em uma interface gráfica.
- Adiciona funções de qualidade de dados, escalabilidade e gerenciamento.
- O suporte a MapReduce permite um processamento de dados paralelo mais rápido.
- Repositório compartilhado e implantação remota
- Qualidade e perfilamento de dados com limpeza de dados
- Suporte nativo para HBase, HDFS, Colmeia, Sqoop e Porco
- Integrado à plataforma de dados Hortonworks
Integração de Dados
O Talend software de integração de dados Possui uma arquitetura aberta e escalável que permite uma resposta mais rápida às solicitações de negócios. A ferramenta desenvolve e implementa tarefas de integração de dados mais rapidamente do que a codificação manual.
Ele permite integrar todos os seus dados com outros data warehouses ou sincronizar dados entre sistemas. Integração de dados significa combinar dados armazenados em diferentes fontes e fornecer aos usuários uma visão unificada deles. O Talend ajuda você a gerenciar trabalhos de ETL e oferece aos usuários uma preparação de dados simples e autônoma.
Benefícios do Talend para integração de dados
Integração ágil: Responda mais rapidamente às solicitações comerciais sem escrever código, usando mais de 1000 conectores prontos para uso. EclipseFerramentas gráficas baseadas em [nome da plataforma] e um gerador de código otimizado para desempenho.
Produtividade da equipe: Colaborar utilizando controle de versão, análise de impacto, testes e depuração, e gerenciamento de metadados.
Gerenciamento fácil: A ferramenta oferece agendamento e monitoramento avançados. Ela proporciona integração de dados em tempo real com painéis de controle e controle centralizado para implantação rápida em vários nós.
Fique à frente da concorrência: Ao usar a plataforma, você não precisa esperar que os recursos mais recentes de integração de dados cheguem até você.
Baixo custo de propriedade: A Talend utiliza um modelo de preços por assinatura. Você paga pelo número de desenvolvedores que utilizam o Talend Studio, o que custa menos do que o licenciamento fixo por servidor.
Nuvem de Integração
Você pode acelerar projetos de integração de dados na nuvem e em infraestruturas locais usando uma plataforma de integração na nuvem como serviço (iPaaS) altamente escalável e segura. O Talend Integration Cloud oferece conectividade, qualidade de dados integrada e geração de código nativo.
É uma plataforma segura de integração em nuvem que permite que usuários de TI e de negócios conectem sistemas tanto na nuvem quanto em infraestruturas locais. Tarefas criadas na nuvem também podem ser gerenciadas, monitoradas e controladas nesse ambiente.
Benefícios da integração na nuvem
A tabela abaixo compara o Talend Integration Cloud com a alternativa codificada manualmente que ele pretende substituir.
| Nuvem de integração Talend | Outras Ferramentas |
|---|---|
| Mais de 900 componentes de arrastar e soltar | Codificação manual que é improdutiva |
| Gera código otimizado | Precisa de habilidades especializadas |
| Colaboração e gerenciamento | Difícil de manter |
| Suporte Ouro (SLAs) | Suporte limitado |
O que é o Talend Open Studio?
O Talend Open Studio era uma arquitetura aberta para integração de dados, criação de perfis de dados, big data, integração com a nuvem e muito mais.
É um ambiente de interface gráfica que oferece mais de 1000 conectores pré-construídos. Isso facilita a execução de operações como transformação de arquivos, carregamento de dados, movimentação e renomeação de arquivos. Cada componente pode ser configurado para definir um processo complexo.
Os jobs de integração são criados a partir de componentes do Talend que são configurados em vez de codificados. Os jobs podem ser executados dentro do ambiente de desenvolvimento ou exportados e executados como scripts independentes.
Benefícios de usar o Talend Open Studio
- Isso reduz o tempo de desenvolvimento da integração de semanas e meses para dias ou até mesmo horas.
- Ele converte e atualiza dados armazenados em diversas fontes.
- Ele monitora e gerencia implantações complexas com facilidade.
- Oferece um dos custos de propriedade mais baixos entre as soluções comparáveis.
- Ela herda o poder do elemento subjacente. Java plataforma de programação.
- Uma ampla seleção de conectores de origem e destino faz dele uma excelente opção em todo o setor.
- Possui um robusto sistema de registro de logs com múltiplos esquemas e geração de relatórios de reconciliação após um fluxo de dados ou migração.
Em comparação com um mecanismo ETL proprietário tradicional, as diferenças são as seguintes:
| ETL legado | Talend |
|---|---|
| Motor de propriedade | Abra |
| Big Data difícil de escalar | Gera código nativo |
| Caro | TCO baixo |
Observação: Como o Open Studio atingiu o fim de sua vida útil em 31 de janeiro de 2024, a edição gratuita não receberá mais atualizações de segurança. As equipes que ainda o utilizam devem planejar a migração para o Qlik Talend Cloud ou outra plataforma compatível.
Estúdio Aberto Talend Archiarquitetura
A arquitetura se divide em três blocos principais — clientes, servidor e bancos de dados — além do espaço de trabalho e do repositório que armazenam os arquivos e metadados de um projeto. O diagrama abaixo mostra como eles se conectam.
Clientes
O bloco Clientes inclui um ou mais Talend Studio e navegadores web, que podem ser executados na mesma máquina ou em máquinas diferentes. O Talend Studio permite criar processos de integração de dados independentemente do volume de dados ou da complexidade do processo.
Servidor Talend
O bloco de servidor Talend inclui um servidor de aplicações baseado na web. Ele permite a administração e manutenção de todos os projetos e armazena contas de usuário, direitos de acesso e autorização de projetos no banco de dados de administração.
banco de dados
O bloco Bancos de Dados abrange os bancos de dados de Administração, Auditoria e Monitoramento. A Administração gerencia contas de usuário, direitos de acesso e autorização de projetos. O banco de dados de Auditoria auxilia na avaliação de diferentes aspectos das tarefas, permitindo a construção de um sistema de apoio à decisão orientado a processos.
Área de trabalho
No Talend, um espaço de trabalho é um diretório onde você armazena todas as pastas do projeto. É necessário pelo menos um diretório de espaço de trabalho por conexão de repositório. O Talend pode se conectar a vários diretórios de espaço de trabalho, caso você não queira usar o padrão.
Repositório
Um repositório é a área de armazenamento que o Talend Open Studio utiliza para reunir os dados que descrevem modelos de negócios ou projetos de tarefas.ping Os metadados no repositório são o que tornam uma conexão ou esquema reutilizável em diferentes trabalhos.
Extensões do Talend Open Studio
O Talend Open Studio foi ampliado por uma família de produtos que adicionou recursos de governança, qualidade e serviço:
- Suíte de Integração Talend
- Talento sob demanda
- Qualidade de dados Talend
- Talend ESB
- Integração de Big Data Talend
Esses nomes datam da era do Open Studio. No Qlik, as funcionalidades equivalentes são oferecidas dentro do Qlik Talend Cloud, em vez de serem disponibilizadas como downloads separados.
