Výukový program Talend: Co je nástroj Talend ETL?
Prafulla Ranadive
⚡ Chytré shrnutí
Talend je open source platforma pro integraci a správu dat, jejíž grafické Studio generuje nativní kód pro ETL, big data a cloudové pipeline a která je nyní komerčně dodávána jako Qlik Talend Cloud.
Co je Talend?
Talend je open source softwarová platforma, která nabízí řešení pro integraci a správu dat. Talend se specializuje na velké údajů integrace. Platforma nabízí funkce jako cloud, big data, integraci podnikových aplikací, správu kvality dat a kmenových dat. Poskytuje také jednotné úložiště pro ukládání a opětovné použití metadat.
Talend byl historicky k dispozici jak v open source, tak v prémiové verzi a je široce používán pro cloud computing a integraci velkých dat.
Důležitá aktualizace stavu: Společnost Qlik dokončila akvizici společnosti Talend v květnu 2023 a 31. ledna 2024 byly bezplatné edice Talend Open Studio ukončeny – již nejsou hostovány, opravovány ani aktualizovány. Komerční platforma nadále funguje jako Qlik Talend Cloud. Níže uvedené části popisují fungování Open Studio v době, kdy bylo podporováno, což je stále nejjasnější způsob, jak pochopit, jak… ETL nástroj je sestaveno.
Historie Talendu
Níže uvedené milníky trace Talend od francouzského výzkumného a vývojového projektu až po systém pro integraci dat a řízení kvality v cloudové platformě Qlik.
| Rok výroby | Milestone |
|---|---|
| 2002 | R & D |
| 2005 | Založení společnosti – první kolo financování AGF private equity & Galle Partners |
| 2006 | Open Studio V1.0 – Spustili nás operace |
| 2007 | Integrační sada/ uzavřené druhé kolo financování |
| 2008 | Otevřete Profiler/Kvalita dat |
| 2009 | Akvizice Integration Suite RTx/MPx/ MDM |
| 2010 | IDM Community Edition/ MDM Enterprise Edition |
| 2011 | Open Studio V5 |
| 2014 | Nejlepší projekt OW2 |
| 2015 | Uznávaný produkt udávající trendy |
| 2016 | DBTA 100 |
| 2017 | Gartner Magic Quadrant pro nástroje pro integraci dat |
| 2021 | Nativní integrace Stitch s Amazon Konzole Redshift |
| 2021 | Thoma Bravo kupuje Talend v rámci dohody o jeho hodnotě přibližně 2.4 miliardy dolarů. |
| 2023 | Společnost Qlik, kterou rovněž podporuje Thomas Bravo, dokončila v květnu akvizici společnosti Talend. |
| 2024 | Talend Open Studio bylo ukončeno 31. ledna; bezplatná desktopová edice již neobdrží žádné další aktualizace. |
| 2024 | Qlik Talend Cloud bude v červenci všeobecně dostupný jako nástupnická platforma a přidá datové kanály rozšířené o umělou inteligenci, datové produkty a datové tržiště. |
| 2024 | Podpora Talend MDM Serveru končí 31. prosince; Talend 7.3 opouští standardní podporu v listopadu. |
| 2025 | Qlik Talend Cloud přidává úlohy znalostního trhu, které vektorizují data pro aplikace RAG, a také řadu úloh Talend Studia v katalogu Qlik Cloud. |
| 2025 | Listopadové vydání přináší koncové body API pro řízené datové produkty s jedním kliknutím, automatizovanou dokumentaci polí, pravidla kvality dat navržená umělou inteligencí a správu dat. |
| 2026 | Na dubnové konferenci Qlik Connect společnost Qlik oznamuje agentní datové inženýrství: deklarativní datové kanály, AI Assistant pro Talend Studio, směrování v reálném čase a nativní streamování Open Lakehouse. |
| 2026 | Placená rozšířená podpora pro Talend 7.3 končí v prosinci, takže Talend 8 nebo Qlik Talend Cloud zůstanou jedinými podporovanými cestami. |
Produktová sada Talend
Sada produktů Talend se skládá ze 3 hlavních produktů, které jsou popsány níže.
Talend Big Data
Talend dokáže snadno automatizovat integraci velkých dat pomocí grafických nástrojů a průvodců. To umožňuje organizaci vytvořit prostředí, které funguje s Apache Hadoop, Spark a NoSQL databáze pro cloudové nebo místní úlohy.
Mnoho společností zavedlo Hadoop kvůli úsporám nákladů a zlepšení výkonu, protože podniková řešení často spotřebovávají drahý výpočetní čas. S Hadoopem lze data transformovat, čistit, obohacovat a integrovat pro náročnější analytické úlohy.
Sandbox Talend zahrnuje čtyři případy použití:
- Optimalizace datového skladu
- Clickstream Analytics
- Analýza sentimentu sociálních médií
- Analýza weblogů Apache
Kromě toho si můžete také vytvořit vlastní, složitější případy užití.
Výhody Talendu pro Big Data a Hadoop
- Zlepšuje efektivitu návrhu úloh s velkými daty uspořádáním a konfigurací komponent v grafickém rozhraní.
- Přidává funkce pro kvalitu dat, škálovatelnost a správu
- Podpora MapReduce umožňuje rychlejší paralelní zpracování dat
- Sdílené úložiště a vzdálené nasazení
- Kvalita dat a profilování s čištěním dat
- Nativní podpora pro HBase, HDFS,Úl, Sqoop a prase
- Zabudováno do datové platformy Hortonworks
Integrace dat
Talenda software pro integraci dat má otevřenou, škálovatelnou architekturu, která umožňuje rychlejší reakci na obchodní požadavky. Nástroj vyvíjí a nasazuje úlohy integrace dat rychleji než ruční kódování.
Umožňuje vám integrovat všechna vaše data s jinými datovými sklady nebo synchronizovat data mezi systémy. Integrace dat znamená kombinování dat uložených v různých zdrojích a poskytování jednotného pohledu na ně uživatelům. Talend vám pomáhá spravovat úlohy ETL a nabízí uživatelům jednoduchou samoobslužnou přípravu dat.
Výhody Talendu pro integraci dat
Agilní integrace: rychleji reagovat na obchodní požadavky bez nutnosti psaní kódu, a to pomocí více než 1000 předpřipravených konektorů, Eclipsegrafické nástroje založené na technologii a generátor kódu optimalizovaný pro výkon.
Produktivita týmu: spolupracovat pomocí verzování, analýzy dopadů, testování a ladění a správy metadat.
Snadná správa: Nástroj nabízí pokročilé plánování a monitorování. Poskytuje integraci dat v reálném čase s dashboardy a centralizovaným ovládáním pro rychlé nasazení napříč více uzly.
Buďte před konkurencí: Používání platformy znamená, že nemusíte čekat na nejnovější funkce integrace dat.
Nízká cena vlastnictví: Talend používá model předplatného. Platíte za počet vývojářů používajících Talend Studio, což je méně než paušální licence na server.
Integrační cloud
Projekty integrace dat v cloudu i na místních serverech můžete urychlit pomocí vysoce škálovatelné a bezpečné platformy pro integraci cloudu jako služby (iPaaS). Talend Integration Cloud nabízí konektivitu, vestavěnou kvalitu dat a generování nativního kódu.
Jedná se o zabezpečenou platformu pro integraci s cloudem, která umožňuje IT a firemním uživatelům propojit cloudové i lokální systémy. Úlohy navržené v cloudu lze také spravovat, monitorovat a řídit v cloudu.
Výhody integrace cloudu
Níže uvedená tabulka porovnává Talend Integration Cloud s ručně kódovanou alternativou, kterou má nahradit.
| Integrační cloud Talend | další nástroje |
|---|---|
| Více než 900 komponent drag-n-drop | Ruční kódování, které je neproduktivní |
| Generuje optimalizovaný kód | Potřebujete specializované dovednosti |
| Spolupráce a řízení | Náročné na údržbu |
| Zlatá podpora (SLA) | Omezená podpora |
Co je Talend Open Studio?
Talend Open Studio byla otevřená architektura pro integraci dat, profilování dat, big data, cloudovou integraci a další.
Jedná se o grafické uživatelské prostředí, které nabízí více než 1000 předpřipravených konektorů. To usnadňuje provádění operací, jako je transformace souborů, načítání dat a přesouvání a přejmenování souborů. Každou komponentu lze nakonfigurovat tak, aby definovala složitý proces.
Integrační úlohy se vytvářejí z komponent Talendu, které jsou konfigurovány, nikoli kódovány. Úlohy lze spouštět z vývojového prostředí nebo exportovat a spouštět jako samostatné skripty.
Výhody používání Talend Open Studia
- Zkracuje dobu vývoje integrace z týdnů a měsíců na dny nebo dokonce hodiny.
- Převádí a aktualizuje data uchovávaná v různých zdrojích.
- Snadno monitoruje a spravuje náročné nasazení.
- Nabízí jedny z nejnižších nákladů na vlastnictví ze všech srovnatelných řešení.
- Zdědí sílu podkladového Java programovací platforma.
- Široký výběr zdrojových a cílových konektorů z něj činí silnou volbu v celém odvětví.
- Má silný soubor protokolu pro více schémat a reporting odsouhlasení po toku dat nebo migraci.
V porovnání s tradičním proprietárním ETL enginem vypadají rozdíly takto:
| Starší ETL | Talend |
|---|---|
| Propriety Engine | Otevřená |
| Těžko škálovatelná velká data | Generuje nativní kód |
| Drahý | Nízké TCO |
Poznámka: Protože podpora Open Studia skončila k 31. lednu 2024, bezplatná edice neobdrží žádné bezpečnostní záplaty. Týmy, které ji stále používají, by si měly naplánovat přechod na Qlik Talend Cloud nebo jinou podporovanou platformu.
Talend Open Studio Architecture
Architektura se dělí na tři klíčové bloky – klienty, server a databáze – plus pracovní prostor a repozitář, které obsahují soubory a metadata projektu. Níže uvedený diagram ukazuje, jak jsou propojeny.
Klienti
Blok Klienti obsahuje jedno nebo více studií Talend Studios a webových prohlížečů, které mohou běžet na stejných nebo různých počítačích. Talend Studio umožňuje vytvářet procesy integrace dat bez ohledu na objem dat nebo složitost procesu.
Server Talend
Serverový blok Talend obsahuje webový aplikační server. Umožňuje správu a údržbu všech projektů a v databázi Administration uchovává uživatelské účty, přístupová práva a autorizaci projektů.
Databáze
Blok Databáze zahrnuje databáze Administrace, Audit a Monitorování. Administrace spravuje uživatelské účty, přístupová práva a autorizaci projektů. Databáze Audit pomáhá vyhodnocovat různé aspekty úloh, aby bylo možné vytvořit systém podpory rozhodování orientovaný na procesy.
Pracovní prostor
V Talendu je pracovní prostor adresář, kam ukládáte všechny složky projektu. Pro každé připojení k repozitáři potřebujete alespoň jeden adresář pracovního prostoru. Talend se může připojit k několika adresářům pracovních prostorů, pokud nechcete používat výchozí adresář.
sklad
Repozitář je úložný prostor, který Talend Open Studio používá ke shromažďování dat popisujících obchodní modely nebo návrhy úloh.ping Metadata v repozitáři jsou to, co umožňuje opakované použití připojení nebo schématu napříč úlohami.
Rozšíření Talend Open Studio
Talend Open Studio bylo rozšířeno o řadu produktů, které přidaly funkce pro správu, kvalitu a služby:
- Talend Integration Suite
- Talend On Demand
- Kvalita dat Talend
- Talend ESB
- Integrace velkých dat Talend
Tyto názvy pocházejí z éry Open Studia. V rámci Qliku jsou ekvivalentní funkce poskytovány v rámci Qlik Talend Cloudu, nikoli jako samostatné soubory ke stažení.
