Talend-handledning: Vad är Talend ETL-verktyget?
Prafulla Ranadive
⚡ Smart sammanfattning
Talend är en plattform för dataintegration och datahantering med öppen källkod vars grafiska Studio genererar inbyggd kod för ETL, big data och molnpipelines, och som nu säljs kommersiellt som Qlik Talend Cloud.
Vad är Talend?
Talend är en öppen källkodsplattform som erbjuder lösningar för dataintegration och datahantering. Talend specialiserar sig på stora uppgifter integration. Plattformen erbjuder funktioner som moln, stordata, integration av företagsapplikationer, datakvalitet och masterdatahantering. Den tillhandahåller också ett enhetligt arkiv för att lagra och återanvända metadata.
Talend har historiskt sett funnits tillgängligt i både öppen källkod och premiumversion, och det används flitigt för molntjänster och integration med big data.
Viktig statusuppdatering: Qlik slutförde förvärvet av Talend i maj 2023, och den 31 januari 2024 pensionerades de kostnadsfria Talend Open Studio-utgåvorna – de hostas inte längre, patchas eller uppdateras inte. Den kommersiella plattformen fortsätter som Qlik Talend Cloud. Avsnitten nedan beskriver Open Studio som det fungerade medan det stöddes, vilket fortfarande är det tydligaste sättet att förstå hur ETL-verktyg sätts ihop.
Talends historia
Milstolparna nedan trace Talend från ett franskt FoU-projekt till dataintegrations- och kvalitetsmotorn i Qliks molnplattform.
| År | Milestone |
|---|---|
| 2002 | R&D |
| 2005 | Företagsskapande- Första finansieringsomgången AGF private equity & Galle Partners |
| 2006 | Open Studio V1.0- Launched Us-operationer |
| 2007 | Integrationssvit/ avslutad andra finansieringsomgång |
| 2008 | Öppna Profiler/ Data Quality |
| 2009 | Integration Suite RTx/MPx/ MDM förvärv |
| 2010 | IDM Community Edition/ MDM Enterprise Edition |
| 2011 | Öppen Studio V5 |
| 2014 | OW2 bästa projekt |
| 2015 | Erkänd trendsättande produkt |
| 2016 | DBTA 100 |
| 2017 | Gartner Magic Quadrant för verktyg för dataintegration |
| 2021 | Inbyggd integration av söm med Amazon Redshift konsol |
| 2021 | Thoma Bravo privatiserar Talend i en affär som värderas till cirka 2.4 miljarder dollar |
| 2023 | Qlik, som också stöds av Thoma Bravo, slutför sitt förvärv av Talend i maj |
| 2024 | Talend Open Studio pensionerades den 31 januari; den kostnadsfria skrivbordsversionen får inga ytterligare uppdateringar |
| 2024 | Qlik Talend Cloud blir allmänt tillgänglig i juli som efterföljande plattform, med AI-förstärkta pipelines, dataprodukter och en datamarknadsplats. |
| 2024 | Talend MDM Server når slutet av sin livscykel den 31 december; Talend 7.3 lämnar standardstödet i november |
| 2025 | Qlik Talend Cloud lägger till kunskapscenteruppgifter som vektoriserar data för RAG-applikationer, plus Talent Studio-jobblindring i Qlik Cloud Catalog |
| 2025 | Novemberutgåvan ger API-slutpunkter med ett klick för styrda dataprodukter, automatiserad fältdokumentation, AI-föreslagna datakvalitetsregler och datahantering |
| 2026 | På Qlik Connect i april presenterar Qlik agentic data engineering: deklarativa pipelines, en AI-assistent för Talend Studio, routing i realtid och native Open Lakehouse Streaming. |
| 2026 | Betald förlängd support för Talend 7.3 slutar i december, vilket gör Talend 8 eller Qlik Talend Cloud till de enda stödda alternativen. |
Talend Product Suite
Talends produktsvit består av tre huvudprodukter som diskuteras nedan.
Talend Big Data
Talend kan enkelt automatisera integration av stordata med grafiska verktyg och guider. Detta gör det möjligt för en organisation att bygga en miljö som fungerar med Apache Hadoop, Spark och NoSQL databaser för moln eller lokala jobb.
Många företag använde Hadoop för kostnadsbesparingar och prestandaförbättringar, eftersom företagslösningar ofta tar upp dyr beräkningstid. Med Hadoop kan data transformeras, rensas, berikas och integreras för tyngre analytiska arbetsbelastningar.
Talend Sandbox innehåller fyra användningsfall:
- Data Warehouse Optimering
- Clickstream Analytics
- Känsloanalys på sociala medier
- Apache webblogganalys
Du kan också skapa dina egna, mer komplexa användningsfall utöver dessa.
Fördelar med Talend för Big Data och Hadoop
- Förbättrar effektiviteten i designen av stordatajobb genom att arrangera och konfigurera komponenter i ett grafiskt gränssnitt.
- Lägger till funktioner för datakvalitet, skalbarhet och hantering
- Stöd för MapReduce möjliggör snabbare parallell databehandling
- Delat arkiv och fjärrdistribution
- Datakvalitet och profilering med datarening
- Inbyggt stöd för HBase, HDFS, Hive, Sqoop och gris
- Inbäddad i Hortonworks dataplattform
Dataintegration
Talangen programvara för dataintegration har en öppen, skalbar arkitektur som möjliggör snabbare respons på affärsförfrågningar. Verktyget utvecklar och driftsätter dataintegrationsjobb snabbare än manuell kodning.
Det låter dig integrera all din data med andra datalager eller synkronisera data mellan system. Dataintegration innebär att kombinera data som lagras i olika källor och ge användarna en enhetlig bild av den. Talend hjälper dig att hantera ETL-jobb och ger användarna enkel, självbetjänande dataförberedelse.
Fördelar med Talend för dataintegration
Agil integration: svara snabbare på affärsförfrågningar utan att skriva kod, med hjälp av över 1000 färdiga kopplingar, Eclipse-baserade grafiska verktyg och en prestandaoptimerad kodgenerator.
Teamets produktivitet: samarbeta med hjälp av versionshantering, konsekvensanalys, testning och felsökning samt metadatahantering.
Enkel hantering: Verktyget erbjuder avancerad schemaläggning och övervakning. Det tillhandahåller realtidsdataintegration med dashboards och centraliserad kontroll för snabb distribution över flera noder.
Ligg före konkurrenterna: Att använda plattformen innebär att du inte behöver vänta på att de senaste funktionerna för dataintegration ska nå dig.
Lågt ägarpris: Talend använder en prenumerationsmodell. Du betalar för antalet utvecklare som använder Talend Studio, vilket kostar mindre än fast licens per server.
Integrationsmoln
Ni kan accelerera molnbaserade och lokala dataintegrationsprojekt med hjälp av en mycket skalbar och säker molnintegrationsplattform som en tjänst (iPaaS). Talend Integration Cloud erbjuder anslutningsmöjligheter, inbyggd datakvalitet och generering av nativ kod.
Det är en säker molnintegrationsplattform som gör det möjligt för IT- och affärsanvändare att ansluta både molnbaserade och lokala system. Jobb som utformats i molnet kan också hanteras, övervakas och kontrolleras där.
Fördelar med integrationsmolnet
Tabellen nedan jämför Talend Integration Cloud med det handkodade alternativ det är tänkt att ersätta.
| Talend Integration Cloud | Andra verktyg |
|---|---|
| 900+ dra-n-släpp-komponenter | Handkodning som är improduktiv |
| Genererar optimerad kod | Behöver specialkunskaper |
| Samarbete & ledning | Svårt att underhålla |
| Guldstöd (SLA) | Begränsat stöd |
Vad är Talend Open Studio?
Talend Open Studio var en öppen arkitektur för dataintegration, dataprofilering, big data, molnintegration med mera.
Det är en grafisk miljö som erbjuder mer än 1000 förbyggda kopplingar. Detta gör det enkelt att utföra operationer som att transformera filer, ladda data samt flytta och byta namn på filer. Varje komponent kan konfigureras för att definiera en komplex process.
Integrationsjobb skapas från Talend-komponenter som konfigureras istället för kodas. Jobb kan köras inifrån utvecklingsmiljön, eller exporteras och exekveras som fristående skript.
Fördelar med att använda Talend Open Studio
- Det minskar integrationsutvecklingstiden från veckor och månader till dagar eller till och med timmar.
- Den konverterar och uppdaterar data som finns i olika källor.
- Den övervakar och hanterar svåra implementeringar med lätthet.
- Den erbjuder en av de lägsta ägandekostnaderna av alla jämförbara lösningar.
- Den ärver kraften från det underliggande Java programmeringsplattform.
- Ett brett utbud av käll- och målkontakter gör den till ett starkt val i hela branschen.
- Den har en stark loggfil med flera scheman och avstämningsrapportering efter ett dataflöde eller en migrering.
Jämfört med en traditionell proprietär ETL-motor ser skillnaderna ut så här:
| Legacy ETL | Talang |
|---|---|
| Egendomsmotor | Öppet |
| Svårt att skala Big Data | Genererar inbyggd kod |
| Dyr | Låg TCO |
Obs: Eftersom Open Studio nådde slutet av sin livscykel den 31 januari 2024 får gratisversionen inga säkerhetsuppdateringar. Team som fortfarande kör det bör planera en övergång till Qlik Talend Cloud eller en annan plattform som stöds.
Talend Open Studio Architecture
Arkitekturen är uppdelad i tre nyckelblock – klienter, server och databaser – plus arbetsytan och arkivet som innehåller ett projekts filer och metadata. Diagrammet nedan visar hur de är kopplade.
Klienter
Klientblocket innehåller en eller flera Talend Studios och webbläsare, som kan köras på samma eller olika maskiner. Med Talend Studio kan du bygga dataintegrationsprocesser oavsett datavolym eller processkomplexitet.
Talend Server
Talend-serverblocket inkluderar en webbaserad applikationsserver. Den möjliggör administration och underhåll av alla projekt, och den lagrar användarkonton, åtkomsträttigheter och projektbehörigheter i administrationsdatabasen.
Databas
Databasblocket omfattar databaserna administration, revision och övervakning. Administrationen hanterar användarkonton, åtkomsträttigheter och projektbehörighet. Revisionsdatabasen hjälper till att utvärdera olika aspekter av jobb så att ett processorienterat beslutsstödssystem kan byggas.
Mikropauser på arbetsplatsen
I Talend är en arbetsyta en katalog där du lagrar alla projektmappar. Du behöver minst en arbetsytekatalog per arkivanslutning. Talend kan ansluta till flera arbetsytekataloger om du inte vill använda standardkatalogen.
förvaret
Ett repository är det lagringsområde som Talend Open Studio använder för att samla in data som beskriver affärsmodeller eller designjobb.ping Metadata i databasen är det som gör en koppling eller ett schema återanvändbart mellan jobb.
Talend Open Studio-tillägg
Talend Open Studio utökades med en produktfamilj som lade till styrnings-, kvalitets- och servicefunktioner:
- Talend Integration Suite
- Talend On Demand
- Talend Data Quality
- Talang ESB
- Talend Big Data Integration
Dessa namn härstammar från Open Studio-eran. I Qlik levereras motsvarande funktioner inuti Qlik Talend Cloud snarare än som separata nedladdningar.
