Talend vodič: Što je Talend ETL alat?
Prafulla Ranadive
⚡ Pametni sažetak
Talend je platforma otvorenog koda za integraciju i upravljanje podacima čiji grafički Studio generira nativni kod za ETL, velike podatke i cloud pipelines, a sada se komercijalno isporučuje kao Qlik Talend Cloud.
Što je Talend?
Talend je softverska platforma otvorenog koda koja nudi rješenja za integraciju podataka i upravljanje podacima. Talend je specijaliziran za Veliki podataka integracija. Platforma pruža značajke poput oblaka, velikih podataka, integracije poslovnih aplikacija, upravljanja kvalitetom podataka i glavnim podacima. Također pruža jedinstveno spremište za pohranu i ponovnu upotrebu metapodataka.
Talend je povijesno bio dostupan i u verziji otvorenog koda i u premium verziji, a široko se koristi za računarstvo u oblaku i integraciju velikih podataka.
Važno ažuriranje statusa: Qlik je dovršio akviziciju Talenda u svibnju 2023., a 31. siječnja 2024. besplatna izdanja Talend Open Studio su ukinuta - više se ne hostiraju, ne ažuriraju niti zakrpaju. Komercijalna platforma se nastavlja kao Qlik Talend Cloud. Odjeljci u nastavku opisuju Open Studio kako je radio dok je bio podržan, što je i dalje najjasniji način za razumijevanje kako ETL alat je sastavljen.
Povijest Talenda
Prekretnice u nastavku trace Talend od francuskog istraživačko-razvojnog projekta do mehanizma za integraciju podataka i kvalitetu unutar Qlikove cloud platforme.
| Godina | Prekretnica |
|---|---|
| 2002 | R & D |
| 2005 | Stvaranje tvrtke - prvi krug financiranja AGF private equity & Galle Partners |
| 2006 | Open Studio V1.0 - Pokrenute naše operacije |
| 2007 | Integracijski paket/zatvoreni drugi krug financiranja |
| 2008 | Otvorite Profiler/Kvaliteta podataka |
| 2009 | Integration Suite RTx/MPx/ MDM akvizicija |
| 2010 | IDM Community Edition/ MDM Enterprise Edition |
| 2011 | Otvori Studio V5 |
| 2014 | OW2 najbolji projekt |
| 2015 | Priznati proizvod koji postavlja trendove |
| 2016 | DBTA 100 |
| 2017 | Gartnerov magični kvadrant za alate za integraciju podataka |
| 2021 | Izvorna integracija Stitch sa Amazon Redshift konzola |
| 2021 | Thoma Bravo preuzima Talend u privatnom vlasništvu u poslu koji ga procjenjuje na oko 2.4 milijarde dolara |
| 2023 | Qlik, također uz podršku Thome Brava, dovršava akviziciju Talenda u svibnju |
| 2024 | Talend Open Studio je umirovljen 31. siječnja; besplatno desktop izdanje ne prima daljnja ažuriranja. |
| 2024 | Qlik Talend Cloud postaje opća dostupnost u srpnju kao nasljedna platforma, dodajući AI-proširene cjevovode, podatkovne proizvode i tržište podataka. |
| 2024 | Talend MDM Server završava svoj vijek trajanja 31. prosinca; Talend 7.3 napušta standardnu podršku u studenom |
| 2025 | Qlik Talend Cloud dodaje zadatke iz tržišta znanja koji vektoriziraju podatke za RAG aplikacije, plus liniju poslova Talend Studija u Qlik Cloud Catalogu. |
| 2025 | Izdanje za studeni donosi krajnje točke API-ja s jednim klikom za regulirane podatkovne proizvode, automatiziranu dokumentaciju polja, pravila kvalitete podataka predložena umjetnom inteligencijom i upravljanje podacima |
| 2026 | Na Qlik Connectu u travnju, Qlik najavljuje agentsko inženjerstvo podataka: deklarativne cjevovode, AI asistenta za Talend Studio, usmjeravanje u stvarnom vremenu i izvorni Open Lakehouse streaming. |
| 2026 | Plaćena proširena podrška za Talend 7.3 završava u prosincu, čime Talend 8 ili Qlik Talend Cloud ostaju jedini podržani putevi |
Talend Product Suite
Talend paket proizvoda sastoji se od 3 glavna proizvoda, o kojima će biti riječi u nastavku.
Talend Big Data
Talend može jednostavno automatizirati integraciju velikih podataka pomoću grafičkih alata i čarobnjaka. To omogućuje organizaciji izgradnju okruženja koje radi s Apache Hadoopom, Spark i NoSQL baze podataka za poslove u oblaku ili lokalne poslove.
Mnoge tvrtke su usvojile Hadoop radi uštede troškova i poboljšanja performansi, jer poslovna rješenja često troše skupo računalno vrijeme. S Hadoopom se podaci mogu transformirati, očistiti, obogatiti i integrirati za veća analitička opterećenja.
Talend Sandbox uključuje četiri slučaja upotrebe:
- Optimizacija skladišta podataka
- Clickstream Analytics
- Analiza raspoloženja na društvenim mrežama
- Analitika Apache webloga
Također možete stvoriti vlastite, složenije slučajeve upotrebe uz ove.
Prednosti Talenda za velike podatke i Hadoop
- Poboljšava učinkovitost dizajna poslova velikih podataka organiziranjem i konfiguriranjem komponenti u grafičkom sučelju
- Dodaje funkcije kvalitete podataka, skalabilnosti i upravljanja
- Podrška za MapReduce omogućuje bržu paralelnu obradu podataka
- Zajedničko spremište i udaljeno postavljanje
- Kvaliteta podataka i profiliranje s čišćenjem podataka
- Izvorna podrška za HBase, HDFS, košnica, Sqoop i svinja
- Ugrađeno u platformu podataka Hortonworks
Integracija podataka
Talenti softver za integraciju podataka ima otvorenu, skalabilnu arhitekturu koja omogućuje brži odgovor na poslovne zahtjeve. Alat razvija i implementira poslove integracije podataka brže od ručnog kodiranja.
Omogućuje vam integraciju svih vaših podataka s drugim skladištima podataka ili sinkronizaciju podataka između sustava. Integracija podataka znači kombiniranje podataka pohranjenih u različitim izvorima i pružanje korisnicima jedinstvenog pregleda istih. Talend vam pomaže u upravljanju ETL poslovima i pruža korisnicima jednostavnu, samostalnu pripremu podataka.
Prednosti Talenda za integraciju podataka
Agilna integracija: brže odgovarati na poslovne zahtjeve bez pisanja koda, koristeći preko 1000 gotovih konektora, Eclipsegrafički alati temeljeni na -baziranima i generator koda optimiziran za performanse.
Produktivnost tima: surađivati koristeći verzioniranje, analizu utjecaja, testiranje i otklanjanje pogrešaka te upravljanje metapodacima.
Jednostavno upravljanje: Alat nudi napredno raspoređivanje i praćenje. Pruža integraciju podataka u stvarnom vremenu s nadzornim pločama i centraliziranom kontrolom za brzo postavljanje na više čvorova.
Ostanite ispred konkurencije: Korištenje platforme znači da ne morate čekati da vam stignu najnovije značajke integracije podataka.
Niska cijena vlasništva: Talend koristi model pretplate. Plaćate za broj programera koji koriste Talend Studio, što je manje od fiksne licence po poslužitelju.
Integracijski oblak
Možete ubrzati projekte integracije podataka u oblaku i na lokalnoj razini koristeći visoko skalabilnu i sigurnu platformu za integraciju u oblaku kao uslugu (iPaaS). Talend Integration Cloud nudi povezivost, ugrađenu kvalitetu podataka i generiranje izvornog koda.
To je sigurna platforma za integraciju s oblakom koja omogućuje IT i poslovnim korisnicima povezivanje i s oblačnim i s lokalnim sustavima. Poslovi dizajnirani u oblaku mogu se tamo upravljati, pratiti i kontrolirati.
Prednosti integracije u oblaku
Donja tablica uspoređuje Talend Integration Cloud s ručno kodiranom alternativom koju bi trebao zamijeniti.
| Talend Integration Cloud | Ostali alati |
|---|---|
| 900+ drag-n-drop komponenti | Ručno kodiranje koje je neproduktivno |
| Generira optimizirani kod | Potrebne su specijalizirane vještine |
| Suradnja i upravljanje | Teško za održavanje |
| Zlatna podrška (SLA) | Ograničena podrška |
Što je Talend Open Studio?
Talend Open Studio bila je otvorena arhitektura za integraciju podataka, profiliranje podataka, velike podatke, integraciju oblaka i još mnogo toga.
To je GUI okruženje koje nudi više od 1000 unaprijed izgrađenih konektora. To olakšava izvođenje operacija kao što su transformiranje datoteka, učitavanje podataka te premještanje i preimenovanje datoteka. Svaka komponenta može se konfigurirati za definiranje složenog procesa.
Integracijski poslovi stvaraju se iz Talend komponenti koje su konfigurirane umjesto kodirane. Poslovi se mogu pokretati unutar razvojnog okruženja ili izvesti i izvršiti kao samostalne skripte.
Prednosti korištenja Talend Open Studija
- Smanjuje vrijeme razvoja integracije s tjedana i mjeseci na dane ili čak sate.
- Pretvara i ažurira podatke pohranjene u raznim izvorima.
- S lakoćom prati i upravlja zahtjevnim implementacijama.
- Nudi jedne od najnižih troškova vlasništva od bilo kojeg usporedivog rješenja.
- Nasljeđuje moć temeljnog Java programska platforma.
- Širok izbor izvornih i ciljnih konektora čini ga jakim izborom u cijeloj industriji.
- Ima snažnu datoteku zapisnika s više shema i izvještavanje o usklađivanju nakon protoka podataka ili migracije.
U usporedbi s tradicionalnim vlasničkim ETL engineom, razlike izgledaju ovako:
| Naslijeđeni ETL | Talend |
|---|---|
| Propriety Engine | Otvoren |
| Big Data je teško skalirati | Generira izvorni kod |
| Skup | Nizak TCO |
Bilješka: Budući da je Open Studio ukinut 31. siječnja 2024., besplatno izdanje ne dobiva sigurnosne zakrpe. Timovi koji ga još uvijek koriste trebali bi planirati prelazak na Qlik Talend Cloud ili neku drugu podržanu platformu.
Otvoreni studio Talend Architektura
Arhitektura se dijeli na tri ključna bloka - klijente, poslužitelj i baze podataka - plus radni prostor i repozitorij koji sadrže datoteke i metapodatke projekta. Dijagram u nastavku prikazuje kako su povezani.
Klijenti
Blok Klijenti uključuje jedan ili više Talend Studija i web preglednika, koji mogu raditi na istim ili različitim računalima. Talend Studio vam omogućuje izgradnju procesa integracije podataka bez obzira na količinu podataka ili složenost procesa.
Talend poslužitelj
Talend serverski blok uključuje web-bazirani aplikacijski poslužitelj. Omogućuje administraciju i održavanje svih projekata te sadrži korisničke račune, prava pristupa i autorizaciju projekata u Administracijskoj bazi podataka.
Baza podataka
Blok Baze podataka obuhvaća baze podataka za administraciju, reviziju i nadzor. Administracija upravlja korisničkim računima, pravima pristupa i autorizacijom projekata. Baza podataka za reviziju pomaže u procjeni različitih aspekata poslova kako bi se mogao izgraditi sustav za podršku odlučivanju orijentiran na procese.
Radni prostor
U Talendu, radni prostor je direktorij u kojem pohranjujete sve mape projekta. Potreban vam je barem jedan direktorij radnog prostora po vezi s repozitorijem. Talend se može povezati s nekoliko direktorija radnog prostora ako ne želite koristiti zadani.
skladište
Repozitorij je prostor za pohranu koji Talend Open Studio koristi za prikupljanje podataka koji opisuju poslovne modele ili dizajniraju poslove.ping Metapodaci u repozitoriju ono su što omogućuje ponovnu upotrebu veze ili sheme u različitim poslovima.
Talend Open Studio proširenja
Talend Open Studio proširen je obitelji proizvoda koji su dodali mogućnosti upravljanja, kvalitete i usluga:
- Integracijski paket Talend
- Talend na zahtjev
- Kvaliteta podataka Talenda
- Talend ESB
- Talend Big Data integracija
Ova imena datiraju iz ere Open Studija. U Qliku se ekvivalentne mogućnosti isporučuju unutar Qlik Talend Clouda, a ne kao zasebna preuzimanja.
