Talend-opplæring: Hva er Talend ETL-verktøyet?
Prafulla Ranadive
⚡ Smart oppsummering
Talend er en åpen kildekode-plattform for dataintegrasjon og datahåndtering, der det grafiske Studioet genererer innebygd kode for ETL, stordata og skybaserte pipelines, og som nå leveres kommersielt som Qlik Talend Cloud.
Hva er Talend?
Talend er en åpen kildekode-programvareplattform som tilbyr dataintegrasjons- og datahåndteringsløsninger. Talend spesialiserer seg på store data integrasjon. Plattformen tilbyr funksjoner som skytjenester, stordata, integrering av bedriftsapplikasjoner, datakvalitet og masterdatahåndtering. Den tilbyr også et enhetlig arkiv for lagring og gjenbruk av metadata.
Talend har historisk sett vært tilgjengelig i både en åpen kildekode- og en premiumversjon, og det er mye brukt til skytjenester og stordataintegrasjonsarbeid.
Viktig statusoppdatering: Qlik fullførte oppkjøpet av Talend i mai 2023, og 31. januar 2024 ble de gratis Talend Open Studio-utgavene pensjonert – de driftes ikke lenger, patches eller oppdateres ikke lenger. Den kommersielle plattformen fortsetter som Qlik Talend Cloud. Avsnittene nedenfor beskriver Open Studio slik det fungerte mens det ble støttet, noe som fortsatt er den klareste måten å forstå hvordan ETL-verktøy er satt sammen.
Talends historie
Milepælene nedenfor trace Talend fra et fransk FoU-prosjekt til dataintegrasjons- og kvalitetsmotoren i Qliks skyplattform.
| År | Milepæl |
|---|---|
| 2002 | FoU |
| 2005 | Bedriftsoppretting- Første runde med finansiering av AGF private equity & Galle Partners |
| 2006 | Open Studio V1.0 - Lanserte oss-operasjoner |
| 2007 | Integrasjonssuite/ lukket andre finansieringsrunde |
| 2008 | Åpne Profiler/ Data Quality |
| 2009 | Integration Suite RTx/MPx/ MDM-oppkjøp |
| 2010 | IDM Community Edition/ MDM Enterprise Edition |
| 2011 | Åpent studio V5 |
| 2014 | OW2 beste prosjekt |
| 2015 | Anerkjent trendsettende produkt |
| 2016 | DBTA 100 |
| 2017 | Gartner Magic Quadrant for dataintegrasjonsverktøy |
| 2021 | Innebygd integrasjon av søm med Amazon Redshift-konsoll |
| 2021 | Thoma Bravo privatiserer Talend i en avtale verdsatt til rundt 2.4 milliarder dollar. |
| 2023 | Qlik, som også er støttet av Thoma Bravo, fullfører oppkjøpet av Talend i mai. |
| 2024 | Talend Open Studio ble pensjonert 31. januar; gratisversjonen for skrivebord får ingen ytterligere oppdateringer |
| 2024 | Qlik Talend Cloud blir generell tilgjengelig i juli som etterfølgerplattformen, og legger til AI-utvidede pipelines, dataprodukter og en datamarkedsplass. |
| 2024 | Talend MDM-serveren når slutten av levetiden 31. desember; Talend 7.3 forlater standardstøtten i november |
| 2025 | Qlik Talend Cloud legger til kunnskapsmartoppgaver som vektoriserer data for RAG-applikasjoner, pluss Talent Studio-jobboppretting i Qlik Cloud Catalog |
| 2025 | Novemberutgivelsen bringer API-endepunkter med ett klikk for styrte dataprodukter, automatisert feltdokumentasjon, AI-foreslåtte regler for datakvalitet og dataforvaltning |
| 2026 | På Qlik Connect i april annonserer Qlik agentisk datautvikling: deklarative pipelines, en AI-assistent for Talend Studio, ruting i sanntid og native Open Lakehouse-strømming. |
| 2026 | Betalt utvidet støtte for Talend 7.3 avsluttes i desember, noe som gjør Talend 8 eller Qlik Talend Cloud til de eneste støttede løsningene. |
Talend Product Suite
Talend-produktpakken består av tre hovedprodukter, som diskuteres nedenfor.
Talent Big Data
Talend kan enkelt automatisere stordataintegrasjon med grafiske verktøy og veivisere. Dette lar en organisasjon bygge et miljø som fungerer med Apache Hadoop, Spark og NoSQL databaser for sky- eller lokale jobber.
Mange selskaper tok i bruk Hadoop for kostnadsbesparelser og ytelsesforbedring, fordi bedriftsløsninger ofte krever dyr beregningstid. Med Hadoop kan data transformeres, renses, berikes og integreres for tyngre analytiske arbeidsbelastninger.
Talend Sandbox inkluderer fire brukstilfeller:
- Optimalisering av datavarehus
- Clickstream Analytics
- Sentimentanalyse for sosiale medier
- Apache weblogganalyse
Du kan også lage dine egne, mer komplekse brukstilfeller i tillegg til disse.
Fordeler med Talend for stordata og Hadoop
- Forbedrer effektiviteten til design av stordatajobber ved å arrangere og konfigurere komponenter i et grafisk grensesnitt
- Legger til funksjoner for datakvalitet, skalerbarhet og administrasjon
- MapReduce-støtte muliggjør raskere parallell databehandling
- Delt arkiv og ekstern distribusjon
- Datakvalitet og profilering med datarensing
- Innebygd støtte for HBase, HDFS, Hive, Sqoop og gris
- Innebygd i Hortonworks-dataplattformen
Dataintegrasjon
Talentet programvare for dataintegrering har en åpen, skalerbar arkitektur som gir raskere respons på forretningsforespørsler. Verktøyet utvikler og distribuerer dataintegrasjonsjobber raskere enn manuell koding.
Den lar deg integrere alle dataene dine med andre datavarehus eller synkronisere data mellom systemer. Dataintegrasjon betyr å kombinere data lagret i forskjellige kilder og gi brukerne en enhetlig oversikt over dem. Talend hjelper deg med å administrere ETL-jobber og gir brukerne enkel, selvbetjent dataforberedelse.
Fordeler med Talend for dataintegrasjon
Smidig integrasjon: svar raskere på forretningsforespørsler uten å skrive kode, ved å bruke over 1000 ferdige koblinger, Eclipse-baserte grafiske verktøy og en kodegenerator som er optimalisert for ytelse.
Teamproduktivitet: samarbeide ved hjelp av versjonering, konsekvensanalyse, testing og feilsøking, og metadatahåndtering.
Enkel administrasjon: Verktøyet tilbyr avansert planlegging og overvåking. Det gir sanntids dataintegrasjon med dashbord og sentralisert kontroll for rask distribusjon på tvers av flere noder.
Ligg i forkant av konkurrentene: Ved å bruke plattformen slipper du å vente på at de nyeste dataintegrasjonsfunksjonene skal komme frem.
Lav eierskapspris: Talend bruker en abonnementsmodell. Du betaler for antall utviklere som bruker Talend Studio, noe som koster mindre enn fast lisensiering per server.
Integrasjonssky
Du kan akselerere skybaserte og lokale dataintegrasjonsprosjekter ved å bruke en svært skalerbar og sikker skyintegrasjonsplattform som en tjeneste (iPaaS). Talend Integration Cloud tilbyr tilkoblingsmuligheter, innebygd datakvalitet og generering av native koder.
Det er en sikret skyintegrasjonsplattform som lar IT- og forretningsbrukere koble sammen både skybaserte og lokale systemer. Jobber som er utformet i skyen kan også administreres, overvåkes og kontrolleres der.
Fordeler med integrasjonsskyen
Tabellen nedenfor sammenligner Talend Integration Cloud med det håndkodede alternativet den er ment å erstatte.
| Talend Integration Cloud | Andre verktøy |
|---|---|
| 900+ dra-n-slipp-komponenter | Håndkoding som er uproduktiv |
| Genererer optimalisert kode | Trenger spesialiserte ferdigheter |
| Samarbeid og ledelse | Vanskelig å vedlikeholde |
| Gullstøtte (SLAer) | Begrenset støtte |
Hva er Talend Open Studio?
Talend Open Studio var en åpen arkitektur for dataintegrasjon, dataprofilering, stordata, skyintegrasjon og mer.
Det er et grafisk brukergrensesnitt som tilbyr mer enn 1000 forhåndsbygde koblinger. Dette gjør det enkelt å utføre operasjoner som å transformere filer, laste inn data og flytte og gi filer nytt navn. Hver komponent kan konfigureres til å definere en kompleks prosess.
Integrasjonsjobber opprettes fra Talend-komponenter som konfigureres i stedet for kodes. Jobber kan kjøres fra utviklingsmiljøet, eller eksporteres og utføres som frittstående skript.
Fordeler med å bruke Talend Open Studio
- Det reduserer utviklingstiden for integrasjoner fra uker og måneder til dager eller til og med timer.
- Den konverterer og oppdaterer data som er lagret i ulike kilder.
- Den overvåker og administrerer vanskelige utplasseringer med letthet.
- Den tilbyr en av de laveste eierkostnadene av alle sammenlignbare løsninger.
- Den arver kraften til det underliggende Java programmeringsplattform.
- Et bredt utvalg av kilde- og målkontakter gjør den til et sterkt valg i hele bransjen.
- Den har en sterk loggfil med flere skjemaer og avstemmingsrapportering etter en dataflyt eller migrering.
Sammenlignet med en tradisjonell proprietær ETL-motor ser forskjellene slik ut:
| Eldre ETL | Talent |
|---|---|
| Egenskapsmotor | Open |
| Vanskelig å skalere Big Data | Genererer innfødt kode |
| Dyrt | Lav TCO |
OBS: Fordi Open Studio nådde slutten av sin levetid 31. januar 2024, mottar gratisutgaven ingen sikkerhetsoppdateringer. Team som fortsatt kjører den, bør planlegge en overgang til Qlik Talend Cloud eller en annen støttet plattform.
Talend Open Studio Architecture
Arkitekturen er delt inn i tre nøkkelblokker – klienter, server og databaser – pluss arbeidsområdet og depotet som inneholder prosjektets filer og metadata. Diagrammet nedenfor viser hvordan de kobles sammen.
Klenter
Klientblokken inneholder ett eller flere Talend Studios og nettlesere, som kan kjøre på samme eller forskjellige maskiner. Talend Studio lar deg bygge dataintegrasjonsprosesser uavhengig av datavolum eller prosesskompleksitet.
Talend Server
Talend-serverblokken inkluderer en nettbasert applikasjonsserver. Den muliggjør administrasjon og vedlikehold av alle prosjekter, og den lagrer brukerkontoer, tilgangsrettigheter og prosjektautorisasjon i administrasjonsdatabasen.
Database
Databaseblokken dekker databasene administrasjon, revisjon og overvåking. Administrasjon administrerer brukerkontoer, tilgangsrettigheter og prosjektautorisasjon. Revisjonsdatabasen bidrar til å evaluere ulike aspekter ved jobber slik at et prosessorientert beslutningsstøttesystem kan bygges.
Arbeidsområde
I Talend er et arbeidsområde en katalog der du lagrer alle prosjektmappene. Du trenger minst én arbeidsområdekatalog per depottilkobling. Talend kan koble til flere arbeidsområdekataloger hvis du ikke vil bruke standardkatalogen.
Oppbevaringssted
Et arkiv er lagringsområdet som Talend Open Studio bruker til å samle data som beskriver forretningsmodeller eller designjobber.ping Metadata i depotet er det som gjør en tilkobling eller et skjema gjenbrukbart på tvers av jobber.
Talend Open Studio-utvidelser
Talend Open Studio ble utvidet med en produktfamilie som la til styrings-, kvalitets- og servicefunksjoner:
- Talend Integration Suite
- Talent On Demand
- Talend Datakvalitet
- Talent ESB
- Talend Big Data-integrasjon
Disse navnene stammer fra Open Studio-æraen. I Qlik leveres tilsvarende funksjoner i Qlik Talend Cloud i stedet for som separate nedlastinger.
