Talend-vejledning: Hvad er Talend ETL-værktøjet?
Prafulla Ranadive
⚡ Smart opsummering
Talend er en open source-platform til dataintegration og datahåndtering, hvis grafiske Studio genererer native kode til ETL, big data og cloud-pipelines, og som nu leveres kommercielt som Qlik Talend Cloud.
Hvad er Talend?
Talend er en open source-softwareplatform, der tilbyder dataintegrations- og datahåndteringsløsninger. Talend specialiserer sig i big data integration. Platformen tilbyder funktioner som cloud, big data, integration af virksomhedsapplikationer, datakvalitet og masterdatahåndtering. Den tilbyder også et samlet arkiv til lagring og genbrug af metadata.
Talend har historisk set været tilgængelig i både en open source- og en premium-version, og det bruges i vid udstrækning til cloud computing og big data-integrationsarbejde.
Vigtig statusopdatering: Qlik gennemførte sit opkøb af Talend i maj 2023, og den 31. januar 2024 blev de gratis Talend Open Studio-udgaver udfaset – de hostes ikke længere, opdateres ikke længere. Den kommercielle platform fortsætter som Qlik Talend Cloud. Afsnittene nedenfor beskriver Open Studio, som det fungerede, mens det blev understøttet, hvilket stadig er den klareste måde at forstå, hvordan ETL værktøj er sat sammen.
Talends historie
Milepælene nedenfor trace Talend fra et fransk forsknings- og udviklingsprojekt til dataintegrations- og kvalitetsmotoren i Qliks cloudplatform.
| År | Milestone |
|---|---|
| 2002 | F & U |
| 2005 | Company Creation- Første finansieringsrunde AGF private equity & Galle Partners |
| 2006 | Open Studio V1.0- Lancerede os operationer |
| 2007 | Integrationssuite/ lukket anden finansieringsrunde |
| 2008 | Åbn Profiler/ Data Quality |
| 2009 | Integration Suite RTx/MPx/ MDM erhvervelse |
| 2010 | IDM Community Edition/ MDM Enterprise Edition |
| 2011 | Åbent studie V5 |
| 2014 | OW2 Bedste Projekt |
| 2015 | Anerkendt trendsættende produkt |
| 2016 | DBTA 100 |
| 2017 | Gartner Magic Quadrant for dataintegrationsværktøjer |
| 2021 | Indbygget integration af søm med Amazon Redshift konsol |
| 2021 | Thoma Bravo tager Talend privat i en aftale, der værdiansætter det til omkring 2.4 milliarder dollars |
| 2023 | Qlik, der også er støttet af Thoma Bravo, afslutter sit opkøb af Talend i maj. |
| 2024 | Talend Open Studio blev udfaset den 31. januar; den gratis desktop-udgave modtager ingen yderligere opdateringer |
| 2024 | Qlik Talend Cloud bliver generel tilgængelig i juli som efterfølgerplatformen og tilføjer AI-forstærkede pipelines, dataprodukter og en datamarkedsplads. |
| 2024 | Talend MDM Server udløber den 31. december; Talend 7.3 forlader standardsupport i november |
| 2025 | Qlik Talend Cloud tilføjer videnscenteropgaver, der vektoriserer data til RAG-applikationer, plus Talent Studio-jobopbygning i Qlik Cloud Catalog |
| 2025 | November-udgivelsen bringer API-slutpunkter med ét klik til styrede dataprodukter, automatiseret feltdokumentation, AI-foreslåede datakvalitetsregler og dataforvaltning |
| 2026 | På Qlik Connect i april annoncerer Qlik agentic data engineering: deklarative pipelines, en AI-assistent til Talend Studio, realtidsrouting og native Open Lakehouse Streaming. |
| 2026 | Betalt udvidet support til Talend 7.3 slutter i december, hvilket gør Talend 8 eller Qlik Talend Cloud til de eneste understøttede stier. |
Talend Product Suite
Talend-produktpakken består af 3 hovedprodukter, som diskuteres nedenfor.
Talent Big Data
Talend kan nemt automatisere big data-integration med grafiske værktøjer og guider. Dette giver en organisation mulighed for at opbygge et miljø, der fungerer med Apache Hadoop, Spark og NoSQL databaser til cloud- eller on-premises jobs.
Mange virksomheder har taget Hadoop til sig for at spare penge og forbedre ydeevnen, fordi virksomhedsløsninger ofte kræver dyr beregningstid. Med Hadoop kan data transformeres, renses, beriges og integreres for at opnå tungere analytiske arbejdsbyrder.
Talend Sandbox indeholder fire anvendelsesscenarier:
- Optimering af datavarehus
- Clickstream Analytics
- Analyse af følelser på sociale medier
- Apache webloganalyse
Du kan også oprette dine egne, mere komplekse use cases oven på disse.
Fordele ved Talend til Big Data og Hadoop
- Forbedrer effektiviteten af big data-jobdesign ved at arrangere og konfigurere komponenter i en grafisk brugerflade
- Tilføjer funktioner til datakvalitet, skalerbarhed og administration
- MapReduce-understøttelse muliggør hurtigere parallel databehandling
- Delt arkiv og fjernimplementering
- Datakvalitet og profilering med datarensning
- Indbygget understøttelse af HBase, HDFS, Hive, Sqoop og gris
- Integreret i Hortonworks-dataplatformen
Dataintegration
Talentet dataintegrationssoftware har en åben, skalerbar arkitektur, der giver mulighed for hurtigere respons på forretningsforespørgsler. Værktøjet udvikler og implementerer dataintegrationsjob hurtigere end manuel kodning.
Det giver dig mulighed for at integrere alle dine data med andre datalagre eller synkronisere data mellem systemer. Dataintegration betyder at kombinere data gemt i forskellige kilder og give brugerne et samlet overblik over dem. Talend hjælper dig med at administrere ETL-job og giver brugerne enkel, selvbetjent dataforberedelse.
Fordele ved Talend til dataintegration
Agil integration: svar hurtigere på forretningsforespørgsler uden at skrive kode ved hjælp af over 1000 færdiglavede forbindelser, Eclipse-baserede grafiske værktøjer og en kodegenerator med optimeret ydeevne.
Holdets produktivitet: samarbejde ved hjælp af versionsstyring, konsekvensanalyse, test og fejlfinding samt metadatahåndtering.
Nem styring: Værktøjet tilbyder avanceret planlægning og overvågning. Det leverer realtidsdataintegration med dashboards og centraliseret kontrol til hurtig implementering på tværs af flere noder.
Vær på forkant med konkurrenterne: Brugen af platformen betyder, at du ikke behøver at vente på, at de nyeste dataintegrationsfunktioner når dig.
Lav ejerpris: Talend bruger en abonnementsprismodel. Du betaler for antallet af udviklere, der bruger Talend Studio, hvilket koster mindre end fast licensering pr. server.
Integrationssky
Du kan accelerere cloud- og on-premise dataintegrationsprojekter ved hjælp af en yderst skalerbar og sikker cloud-integrationsplatform-som-en-service (iPaaS). Talend Integration Cloud tilbyder tilslutningsmuligheder, indbygget datakvalitet og generering af native koder.
Det er en sikret cloud-integrationsplatform, der giver IT- og forretningsbrugere mulighed for at forbinde både cloud- og lokale systemer. Job designet i skyen kan også administreres, overvåges og kontrolleres der.
Fordele ved integration i skyen
Tabellen nedenfor sammenligner Talend Integration Cloud med det håndkodede alternativ, det er beregnet til at erstatte.
| Talend Integration Cloud | Andre værktøjer |
|---|---|
| 900+ træk-n-slip komponenter | Håndkodning, som er uproduktiv |
| Genererer optimeret kode | Har brug for specialiserede færdigheder |
| Samarbejde & ledelse | Svært at vedligeholde |
| Guld support (SLA'er) | Begrænset support |
Hvad er Talend Open Studio?
Talend Open Studio var en åben arkitektur til dataintegration, dataprofilering, big data, cloudintegration og mere.
Det er et GUI-miljø, der tilbyder mere end 1000 præbyggede forbindelser. Dette gør det nemt at udføre handlinger som at transformere filer, indlæse data samt flytte og omdøbe filer. Hver komponent kan konfigureres til at definere en kompleks proces.
Integrationsjob oprettes fra Talend-komponenter, der konfigureres i stedet for kodes. Job kan køres indefra udviklingsmiljøet eller eksporteres og udføres som separate scripts.
Fordele ved at bruge Talend Open Studio
- Det reducerer integrationsudviklingstiden fra uger og måneder til dage eller endda timer.
- Den konverterer og opdaterer data, der er lagret i forskellige kilder.
- Den overvåger og administrerer nemt vanskelige implementeringer.
- Den tilbyder en af de laveste ejeromkostninger af alle sammenlignelige løsninger.
- Den arver kraften fra det underliggende Java programmeringsplatform.
- Et bredt udvalg af source- og target-stik gør den til et stærkt valg i hele branchen.
- Den har en stærk multi-skema logfil og afstemningsrapportering efter en datastrøm eller migrering.
Sammenlignet med en traditionel, proprietær ETL-motor ser forskellene således ud:
| Ældre ETL | Talent |
|---|---|
| Propriety Engine | Åbne |
| Svært at skalere Big Data | Genererer indbygget kode |
| Dyrt | Lav TCO |
Bemærk: Da Open Studio udløb den 31. januar 2024, modtager den gratis udgave ingen sikkerhedsrettelser. Teams, der stadig kører den, bør planlægge en overgang til Qlik Talend Cloud eller en anden understøttet platform.
Talend Open Studio Architecture
Arkitekturen er opdelt i tre nøgleblokke – klienter, server og databaser – plus arbejdsområdet og arkivet, der indeholder et projekts filer og metadata. Diagrammet nedenfor viser, hvordan de forbinder.
Klienter
Klientblokken indeholder en eller flere Talend Studios og webbrowsere, som kan køre på de samme eller forskellige maskiner. Talend Studio giver dig mulighed for at opbygge dataintegrationsprocesser uanset datamængde eller proceskompleksitet.
Talent server
Talend-serverblokken indeholder en webbaseret applikationsserver. Den muliggør administration og vedligeholdelse af alle projekter, og den indeholder brugerkonti, adgangsrettigheder og projektautorisationer i administrationsdatabasen.
Database
Databaseblokken dækker administrations-, revisions- og overvågningsdatabaserne. Administrationen administrerer brugerkonti, adgangsrettigheder og projektgodkendelse. Revisionsdatabasen hjælper med at evaluere forskellige aspekter af job, så der kan opbygges et procesorienteret beslutningsstøttesystem.
Arbejdsområde
I Talend er et arbejdsområde en mappe, hvor du gemmer alle projektmapper. Du skal bruge mindst én arbejdsområdemappe pr. repositoryforbindelse. Talend kan oprette forbindelse til flere arbejdsområdemapper, hvis du ikke vil bruge standardmappen.
Repository
Et repository er det lagerområde, som Talend Open Studio bruger til at indsamle data, der beskriver forretningsmodeller eller designopgaver.ping Metadata i arkivet er det, der gør en forbindelse eller et skema genbrugeligt på tværs af job.
Talend Open Studio-udvidelser
Talend Open Studio blev udvidet med en produktfamilie, der tilføjede styrings-, kvalitets- og servicefunktioner:
- Talend Integration Suite
- Talent On Demand
- Talende datakvalitet
- Talent ESB
- Talend Big Data Integration
Disse navne stammer fra Open Studio-æraen. Under Qlik leveres de tilsvarende funktioner i Qlik Talend Cloud i stedet for som separate downloads.
