Tutorial Talend: Ce este instrumentul ETL Talend?

⚡ Rezumat inteligent

Talend este o platformă open source de integrare și gestionare a datelor, al cărei Studio grafic generează cod nativ pentru ETL, big data și pipeline-uri în cloud și care este acum disponibilă comercial sub denumirea Qlik Talend Cloud.

  • 🔘 Idee de bază: Talend înlocuiește codul ETL scris de mână cu componente configurabile, generând cod nativ Java, MapReduce sau Spark cod dintr-o zonă grafică de job.
  • ☑️ Suită de produse: Platforma se bazează pe trei piloni: Talend Big Data, Data Integration și Integration Cloud, toți partajând un singur depozit de metadate.
  • ✅ Studio deschis: Talend Open Studio a fost ediția gratuită pentru desktop, oferind peste 1000 de conectori preconfigurați și export independent de joburi.
  • ⚠️ Actualizarea stării: Qlik a achiziționat Talend în mai 2023 și a retras Talend Open Studio pe 31 ianuarie 2024, astfel încât noi proiecte încep pe Qlik Talend Cloud.
  • 🧪 Architectura: Clienții, serverul Talend și bazele de date de administrare, audit și monitorizare formează cele trei blocuri ale arhitecturii Studio.
  • 🛠️ Unde se potrivește: Talend concurează cu Informatica, SSIS și instrumentele ELT moderne; punctele sale forte sunt conectorii, calitatea datelor și costul total de proprietate redus.

Tutorial despre instrumentul Talend ETL care acoperă Open Studio și integrarea datelor

Ce este Talend?

Talend este o platformă software open source care oferă soluții de integrare și gestionare a datelor. Talend este specializată în Datele mari integrare. Platforma oferă funcții precum cloud, big data, integrare aplicații enterprise, calitatea datelor și gestionarea datelor master. De asemenea, oferă un depozit unificat pentru stocarea și reutilizarea metadatelor.

Talend a fost disponibil din punct de vedere istoric atât în ​​versiune open source, cât și premium și este utilizat pe scară largă pentru cloud computing și integrare de big data.

Actualizare importantă de stare: Qlik a finalizat achiziția Talend în mai 2023, iar pe 31 ianuarie 2024, edițiile gratuite Talend Open Studio au fost retrase — acestea nu mai sunt găzduite, actualizate sau actualizate. Platforma comercială continuă sub numele de Qlik Talend Cloud. Secțiunile de mai jos descriu Open Studio așa cum a funcționat în perioada în care a fost suportat, ceea ce reprezintă în continuare cea mai clară modalitate de a înțelege cum... instrument ETL este pus cap la cap.

Istoria Talend

Reperele de mai jos trace Talend de la un proiect francez de cercetare și dezvoltare la motorul de integrare a datelor și de calitate din cadrul platformei cloud Qlik.

An Bornă
2002 C&D
2005 Crearea companiei - Prima rundă de finanțare AGF private equity & Galle Partners
2006 Deschideți Studio V1.0 - Operațiunile ne-au lansat
2007 Suită de integrare/ a doua rundă închisă de finanțare
2008 Deschideți Profiler/Calitatea datelor
2009 Achiziție Integration Suite RTx/MPx/ MDM
2010 IDM Community Edition/ MDM Enterprise Edition
2011 Deschideți Studio V5
2014 Cel mai bun proiect OW2
2015 Produs recunoscut pentru tendințe
2016 DBTA 100
2017 Gartner Magic Quadrant pentru instrumente de integrare a datelor
2021 Integrarea nativă a Stitch cu Amazon Consola Redshift
2021 Thoma Bravo privatizează Talend într-o tranzacție care o evaluează la aproximativ 2.4 miliarde de dolari
2023 Qlik, susținută și de Thoma Bravo, finalizează achiziția Talend în luna mai
2024 Talend Open Studio s-a retras pe 31 ianuarie; ediția gratuită pentru desktop nu mai primește actualizări.
2024 Qlik Talend Cloud va fi disponibil pe scară largă în iulie ca platformă succesoare, adăugând conducte augmentate de inteligență artificială, produse de date și o piață de date.
2024 Serverul Talend MDM ajunge la sfârșitul perioadei de valabilitate pe 31 decembrie; Talend 7.3 părăsește suportul standard în noiembrie
2025 Qlik Talend Cloud adaugă sarcini knowledge mart care vectorizează datele pentru aplicațiile RAG, plus linia de joburi Talend Studio în Qlik Cloud Catalog
2025 Lansarea din noiembrie aduce endpoint-uri API cu un singur clic pentru produse de date guvernate, documentație automată pe teren, reguli de calitate a datelor sugerate de inteligența artificială și administrare eficientă a datelor.
2026 La Qlik Connect din aprilie, Qlik anunță ingineria datelor agentiale: conducte declarative, un asistent AI pentru Talend Studio, rutare în timp real și streaming Open Lakehouse nativ.
2026 Suportul extins plătit pentru Talend 7.3 se încheie în decembrie, ceea ce face ca Talend 8 sau Qlik Talend Cloud să fie singurele versiuni acceptate.

Suita de produse Talend

Suita de produse Talend este formată din 3 produse principale, discutate mai jos.

Talend Big Data

Talend poate automatiza cu ușurință integrarea Big Data cu instrumente grafice și experți. Acest lucru permite unei organizații să construiască un mediu care funcționează cu Apache Hadoop. Spark și Baze de date NoSQL pentru lucrări în cloud sau on-premise.

Multe companii au adoptat Hadoop pentru economisirea costurilor și îmbunătățirea performanței, deoarece soluțiile pentru întreprinderi consumă adesea timp de calcul costisitor. Cu Hadoop, datele pot fi transformate, curățate, îmbogățite și integrate pentru sarcini de lucru analitice mai grele.

Talend Sandbox include patru cazuri de utilizare:

  1. Optimizarea depozitului de date
  2. Analiza Clickstream
  3. Analiza sentimentelor de social media
  4. Analiza blogurilor web Apache

De asemenea, puteți crea propriile cazuri de utilizare, mai complexe, pe lângă acestea.

Beneficiile Talend pentru Big Data și Hadoop

  • Îmbunătățește eficiența proiectării joburilor Big Data prin aranjarea și configurarea componentelor într-o interfață grafică
  • Adaugă funcții de calitate, scalabilitate și gestionare a datelor
  • Suportul MapReduce permite o procesare paralelă mai rapidă a datelor
  • Depozit partajat și implementare la distanță
  • Calitatea datelor și profilarea cu curățarea datelor
  • Suport nativ pentru HBase, HDFS,Stup, Sqoop și porc
  • Integrat în platforma de date Hortonworks

Integrarea datelor

Talend-ul software de integrare a datelor are o arhitectură deschisă și scalabilă, care permite un răspuns mai rapid la solicitările afacerii. Instrumentul dezvoltă și implementează joburi de integrare a datelor mai rapid decât codarea manuală.

Vă permite să integrați toate datele cu alte depozite de date sau să sincronizați datele între sisteme. Integrarea datelor înseamnă combinarea datelor stocate în diferite surse și oferirea utilizatorilor a unei imagini unificate asupra acestora. Talend vă ajută să gestionați joburile ETL și oferă utilizatorilor o pregătire simplă și în regim self-service a datelor.

Beneficiile Talend pentru integrarea datelor

Integrare agilă: răspundeți mai rapid la solicitările de business fără a scrie cod, utilizând peste 1000 de conectori preconfigurați, Eclipseinstrumente grafice bazate pe și un generator de cod optimizat pentru performanță.

Productivitatea echipei: colaborați utilizând versionarea, analiza impactului, testarea și depanarea, precum și gestionarea metadatelor.

Gestionare ușoară: Instrumentul oferă funcții avansate de programare și monitorizare. Acesta oferă integrare a datelor în timp real cu tablouri de bord și control centralizat pentru o implementare rapidă pe mai multe noduri.

Rămâneți înaintea competiției: Utilizarea platformei înseamnă că nu trebuie să așteptați să fie disponibile cele mai noi funcții de integrare a datelor.

Preț scăzut de proprietate: Talend folosește un model de prețuri bazat pe abonament. Plătești în funcție de numărul de dezvoltatori care utilizează Talend Studio, ceea ce costă mai puțin decât licențierea fixă ​​per server.

Integrare Cloud

Puteți accelera proiectele de integrare a datelor în cloud și locale utilizând o platformă de integrare în cloud de tip „platform-as-a-service” (iPaaS), extrem de scalabilă și sigură. Talend Integration Cloud oferă conectivitate, calitate integrată a datelor și generare nativă de cod.

Este o platformă securizată de integrare în cloud care permite utilizatorilor IT și de business să conecteze atât sistemele în cloud, cât și pe cele locale. Joburile proiectate în cloud pot fi, de asemenea, gestionate, monitorizate și controlate acolo.

Beneficii Integrare Cloud

Tabelul de mai jos compară Talend Integration Cloud cu alternativa codificată manual pe care este menit să o înlocuiască.

Talend Integration Cloud Alte Instrumente
Peste 900 de componente drag-n-drop Codare manuală care este neproductivă
Generează cod optimizat Aveți nevoie de abilități specializate
Colaborare și management Greu de intretinut
Suport pentru aur (SLA) Suport limitat

Ce este Talend Open Studio?

Talend Open Studio a fost o arhitectură deschisă pentru integrarea datelor, profilarea datelor, big data, integrarea în cloud și multe altele.

Este un mediu GUI care oferă peste 1000 de conectori preconfigurați. Acest lucru facilitează efectuarea de operațiuni precum transformarea fișierelor, încărcarea datelor și mutarea și redenumirea fișierelor. Fiecare componentă poate fi configurată pentru a defini un proces complex.

Joburile de integrare sunt create din componente Talend care sunt configurate în loc să fie codificate. Joburile pot fi rulate din interiorul mediului de dezvoltare sau exportate și executate ca scripturi independente.

Beneficiile utilizării Talend Open Studio

  • Reduce timpul de dezvoltare a integrării de la săptămâni și luni la zile sau chiar ore.
  • Convertește și actualizează datele stocate în diverse surse.
  • Monitorizează și gestionează implementările dificile cu ușurință.
  • Oferă unul dintre cele mai mici costuri de proprietate dintre toate soluțiile comparabile.
  • Moștenește puterea subiacentului Java platformă de programare.
  • O gamă largă de conectori sursă și țintă îl face o alegere puternică în întreaga industrie.
  • Are un fișier jurnal multi-schemă puternic și rapoarte de reconciliere după un flux de date sau o migrare.

Comparate cu un motor ETL proprietar tradițional, diferențele arată astfel:

ETL moștenire Talend
Motor de proprietate Operatii Deschise
Big Data greu de scalat Generează cod nativ
Scump TCO scăzut

Notă: Deoarece Open Studio a ajuns la sfârșitul perioadei de valabilitate pe 31 ianuarie 2024, ediția gratuită nu primește corecții de securitate. Echipele care încă îl utilizează ar trebui să planifice o migrare la Qlik Talend Cloud sau la o altă platformă compatibilă.

Talend Open Studio Architectură

Arhitectura se împarte în trei blocuri cheie — clienți, server și baze de date — plus spațiul de lucru și depozitul care conțin fișierele și metadatele unui proiect. Diagrama de mai jos arată cum se conectează acestea.

Diagrama arhitecturii Talend Open Studio care prezintă clienții, serverul Talend și bazele de date de administrare, audit și monitorizare

Clienți

Blocul Clienți include unul sau mai multe Talend Studio și browsere web, care pot rula pe aceleași mașini sau pe mașini diferite. Talend Studio vă permite să construiți procese de integrare a datelor indiferent de volumul de date sau de complexitatea procesului.

Talend Server

Blocul de server Talend include un server de aplicații bazat pe web. Acesta permite administrarea și întreținerea tuturor proiectelor și deține conturi de utilizator, drepturi de acces și autorizații de proiect în baza de date de administrare.

Baza de date

Blocul Baze de date acoperă bazele de date de Administrare, Audit și Monitorizare. Administrarea gestionează conturile de utilizatori, drepturile de acces și autorizațiile de proiect. Baza de date de Audit ajută la evaluarea diferitelor aspecte ale lucrărilor, astfel încât să se poată construi un sistem de asistență pentru decizii orientat pe procese.

Spațiu de lucru

În Talend, un spațiu de lucru este un director în care stocați toate folderele proiectului. Aveți nevoie de cel puțin un director de spațiu de lucru pentru fiecare conexiune la repozitoriu. Talend se poate conecta la mai multe directoare de spațiu de lucru dacă nu doriți să utilizați directoarele implicite.

Repertoriu

Un repository este zona de stocare pe care Talend Open Studio o folosește pentru a colecta datele care descriu modele de afaceri sau proiectează joburi. Keepping Metadatele din repozitoriu sunt cele care fac ca o conexiune sau o schemă să fie reutilizabilă în mai multe joburi.

Extensii Talend Open Studio

Talend Open Studio a fost extinsă cu o familie de produse care au adăugat capabilități de guvernanță, calitate și servicii:

  • Suita de integrare Talend
  • Talend On Demand
  • Calitatea datelor Talend
  • Talend ESB
  • Integrarea Talend Big Data

Aceste nume datează din era Open Studio. Sub Qlik, funcționalitățile echivalente sunt livrate în Qlik Talend Cloud, mai degrabă decât ca descărcări separate.

Întrebări frecvente

Nu. Qlik a retras edițiile gratuite Open Studio pe 31 ianuarie 2024. Acestea nu mai sunt găzduite, actualizate sau suportate. Încep lucrări noi pe platforma comercială Qlik Talend Cloud sau pe un instrument alternativ de integrare open source.

Talend generează nativ Java, MapReduce sau Spark cod care rulează oriunde, în timp ce PowerCenter execută joburi pe propriul motor proprietar. Talend s-a bazat pe prețuri open source și pe gama largă de conectori; PowerCenter se bazează pe administrare și asistență la nivel de întreprindere matură.

Un job este un flux de date executabil desenat pe canvasul Studio. Componentele sunt blocurile de construcție configurabile plasate pe acel canvas — intrări, transformări și ieșiri — legate prin rânduri care transportă schema între ele.

IA ajută acum la crearea hărții schemeiping sugestii, detectarea anomaliilor în rularea canalului și generarea în limbaj natural a logicii de transformare. Scurtează hartaping etapă, dar logica generată necesită încă profilare și testare în raport cu date reale înainte de producție.

Copilot nu poate desena o pânză Studio, dar ajută cu codul din jurul acesteia: tJava rutine, expresii personalizate, wrapper-e shell pentru joburi exportate și SQL utilizate în componentele tDBInput. Testați întotdeauna expresiile generate în funcție de schema jobului.

Qlik Talend Cloud se vinde pe bază de abonament, cu un preț stabilit în funcție de capacitate și de numărul de dezvoltatori care utilizează Studio. Nu există o licență perpetuă per server, iar nivelul gratuit oferit de Open Studio nu mai există.

Spațiul de lucru este folderul de pe disc care conține fișierele proiectului. Depozitul este depozitul logic din interiorul unui proiect unde se află metadatele reutilizabile - conexiuni, scheme, contexte și rutine - astfel încât mai multe joburi pot partaja o singură definiție.

Printre înlocuitorii comuni se numără Apache NiFi și Airbyte pe partea open source, precum și Informatica, Fivetran, Matillion sau Azure Data Factory comercial. Alegerea corectă depinde de acoperirea conectorilor, dacă aveți nevoie de ETL sau ELT și de preferințele de găzduire.

Rezumați această postare cu: