Talend-opetusohjelma: Mikä on Talend ETL -työkalu?
Prafulla Ranadive
⚡ Älykäs yhteenveto
Talend on avoimen lähdekoodin dataintegraatio- ja tiedonhallinta-alusta, jonka graafinen Studio luo natiivikoodia ETL:lle, big datalle ja pilvipalveluille, ja joka on nyt saatavilla kaupallisesti nimellä Qlik Talend Cloud.
Mikä on Talend?
Talend on avoimen lähdekoodin ohjelmistoalusta, joka tarjoaa datan integrointi- ja tiedonhallintaratkaisuja. Talend on erikoistunut big data integrointi. Alusta tarjoaa ominaisuuksia, kuten pilvipalvelut, big datan, yrityssovellusten integroinnin, datan laadun ja masterdatan hallinnan. Se tarjoaa myös yhtenäisen tietovaraston metadatan tallentamiseen ja uudelleenkäyttöön.
Talend on historiallisesti ollut saatavilla sekä avoimen lähdekoodin että premium-versiona, ja sitä käytetään laajalti pilvipalveluihin ja suurten tietomäärien integrointiin.
Tärkeä tilannepäivitys: Qlik saattoi Talendin yritysoston päätökseen toukokuussa 2023, ja 31. tammikuuta 2024 ilmaiset Talend Open Studio -versiot poistettiin käytöstä – niitä ei enää isännöidä, korjata tai päivitetä. Kaupallinen alusta jatkaa nimellä Qlik Talend Cloud. Alla olevat osiot kuvaavat Open Studiota sellaisena kuin se toimi tuen aikana, mikä on edelleen selkein tapa ymmärtää, miten... ETL työkalu kootaan yhteen.
Talendin historia
Alla olevat virstanpylväät trace Talend ranskalaisesta tutkimus- ja kehitysprojektista Qlikin pilvialustan dataintegraatio- ja laatumoottoriksi.
| Vuosi | Virstanpylväs |
|---|---|
| 2002 | T & K- |
| 2005 | Yrityksen perustaminen – Ensimmäinen rahoituskierros AGF private equity & Galle Partners |
| 2006 | Open Studio V1.0 – käynnisti Us-toiminnan |
| 2007 | Integraatiopaketti / suljettu toinen rahoituskierros |
| 2008 | Avaa Profiler/ Data Quality |
| 2009 | Integration Suite RTx/MPx/MDM hankinta |
| 2010 | IDM Community Edition / MDM Enterprise Edition |
| 2011 | Avoin Studio V5 |
| 2014 | OW2 paras projekti |
| 2015 | Tunnustettu trendejä luova tuote |
| 2016 | DBTA 100 |
| 2017 | Gartner Magic Quadrant tietojen integrointityökaluille |
| 2021 | Natiivi ompeleen integrointi Amazon Redshift-konsoli |
| 2021 | Thoma Bravo yksityistää Talendin noin 2.4 miljardin dollarin arvoisella kaupalla. |
| 2023 | Myös Thoma Bravon tukema Qlik saattoi Talendin oston päätökseen toukokuussa. |
| 2024 | Talend Open Studio poistettiin käytöstä 31. tammikuuta; ilmainen työpöytäversio ei saa enää päivityksiä |
| 2024 | Qlik Talend Cloudin seuraaja-alusta tulee yleiseen saatavuuteen heinäkuussa, ja se lisää tekoälyllä täydennettyjä myyntiputkia, datatuotteita ja datamarkkinapaikan. |
| 2024 | Talend MDM Serverin elinkaari päättyy 31. joulukuuta; Talend 7.3 poistuu vakiotuesta marraskuussa |
| 2025 | Qlik Talend Cloud lisää Qlik Cloud Catalogiin tietämysmart-tehtäviä, jotka vektorisoivat dataa RAG-sovelluksille, sekä Talend Studio -työhistorian. |
| 2025 | Marraskuun julkaisu tuo yhden napsautuksen API-päätepisteet hallituille datatuotteille, automatisoidun kenttädokumentaation, tekoälyn ehdottamat datan laatusäännöt ja datanhallinnan |
| 2026 | Qlik julkistaa huhtikuussa Qlik Connectissa agenttisen datanhallinnan: deklaratiiviset dataputket, tekoälyavustaja Talend Studiolle, reaaliaikaisen reitityksen ja natiivin Open Lakehouse -suoratoiston. |
| 2026 | Talend 7.3:n maksullinen pidennetty tuki päättyy joulukuussa, joten Talend 8 tai Qlik Talend Cloud ovat ainoat tuetut versiot. |
Talend Product Suite
Talend-tuoteperhe koostuu kolmesta päätuotteesta, joita käsitellään alla.
Talend Big Data
Talend voi helposti automatisoida suurten tietomäärien integroinnin graafisten työkalujen ja ohjattujen toimintojen avulla. Tämä mahdollistaa organisaatiolle ympäristön rakentamisen, joka toimii Apache Hadoopin kanssa, Spark ja NoSQL-tietokantoja pilvi- tai paikallisiin töihin.
Monet yritykset ottivat Hadoopin käyttöön kustannussäästöjen ja suorituskyvyn parantamisen vuoksi, koska yritysratkaisut vievät usein kallista laskenta-aikaa. Hadoopin avulla dataa voidaan muuntaa, puhdistaa, rikastuttaa ja integroida raskaampia analyyttisiä työkuormia varten.
Talend Sandbox sisältää neljä käyttötapausta:
- Tietovaraston optimointi
- Clickstream Analytics
- Sosiaalisen median tunneanalyysi
- Apachen weblog-analytiikka
Voit myös luoda omia, monimutkaisempia käyttötapauksiasi näiden päälle.
Talendin edut Big Datalle ja Hadoopille
- Parantaa suurten tietomäärien työsuunnittelun tehokkuutta järjestämällä ja konfiguroimalla komponentteja graafisessa käyttöliittymässä
- Lisää datan laatua, skaalautuvuutta ja hallintatoimintoja
- MapReduce-tuki mahdollistaa nopeamman rinnakkaisen tiedonkäsittelyn
- Jaettu tietovarasto ja etäkäyttöönotto
- Datan laatu ja profilointi datan puhdistuksen avulla
- Natiivi tuki HBase:lle, HDFS, Pesä, Sqoop ja sika
- Upotettu Hortonworksin data-alustaan
Tietojen integrointi
The Talend tietojen integrointiohjelmisto sillä on avoin ja skaalautuva arkkitehtuuri, joka mahdollistaa nopeamman reagoinnin liiketoiminnan pyyntöihin. Työkalu kehittää ja ottaa käyttöön dataintegraatiotöitä nopeammin kuin käsin koodaaminen.
Sen avulla voit integroida kaikki tietosi muihin tietovarastoihin tai synkronoida tietoja järjestelmien välillä. Tietojen integrointi tarkoittaa eri lähteisiin tallennetun tiedon yhdistämistä ja käyttäjille yhtenäisen näkymän tarjoamista siitä. Talend auttaa sinua hallitsemaan ETL-töitä ja tarjoaa käyttäjille yksinkertaisen, itsepalveluperiaatteella toimivan tiedon valmistelun.
Talendin edut dataintegraatiossa
Ketterä integraatio: vastata nopeammin liiketoimintapyyntöihin ilman koodin kirjoittamista käyttämällä yli 1000 valmiita liittimiä, Eclipse-pohjaisia graafisia työkaluja ja suorituskykyyn optimoitu koodigeneraattori.
Tiimin tuottavuus: tehdä yhteistyötä versioinnin, vaikutusanalyysin, testauksen ja virheenkorjauksen sekä metatietojen hallinnan avulla.
Helppo hallinta: Työkalu tarjoaa edistyneitä aikataulutus- ja valvontaominaisuuksia. Se mahdollistaa reaaliaikaisen datan integroinnin kojelaudan avulla ja keskitetyn hallinnan nopeaa käyttöönottoa varten useissa solmuissa.
Pysy kilpailun edellä: Alustan käyttö tarkoittaa, että sinun ei tarvitse odottaa uusimpien dataintegraatio-ominaisuuksien saapumista.
Omistuksen alhainen hinta: Talend käyttää tilaushinnoittelumallia. Maksat Talend Studiota käyttävien kehittäjien määrän mukaan, mikä on vähemmän kuin kiinteät palvelinkohtaiset lisenssit.
Integraatiopilvi
Voit nopeuttaa pilvi- ja paikallisia dataintegraatioprojekteja käyttämällä erittäin skaalautuvaa ja turvallista pilvi-integraatioalustaa palveluna (iPaaS). Talend Integration Cloud tarjoaa liitettävyyttä, sisäänrakennettua datan laatua ja natiivia koodinluontia.
Se on suojattu pilviintegraatioalusta, jonka avulla IT- ja yrityskäyttäjät voivat yhdistää sekä pilvi- että paikalliset järjestelmät. Pilvessä suunniteltuja töitä voidaan myös hallita, valvoa ja ohjata siellä.
Integraatiopilvipalvelut
Alla olevassa taulukossa verrataan Talend Integration Cloudia käsin koodattuun vaihtoehtoon, jonka sen on tarkoitus korvata.
| Talend Integration Cloud | Muut työkalut |
|---|---|
| Yli 900 vedä ja pudota -komponenttia | Käsin koodaus, joka on tuottamatonta |
| Luo optimoidun koodin | Tarvitaan erikoisosaamista |
| Yhteistyö ja hallinta | Vaikea ylläpitää |
| Kultatuki (SLA) | Rajoitettu tuki |
Mikä on Talend Open Studio?
Talend Open Studio oli avoin arkkitehtuuri datan integrointiin, datan profilointiin, big dataan, pilviintegraatioon ja muuhun.
Se on graafinen käyttöliittymäympäristö, joka tarjoaa yli 1000 valmiiksi rakennettua liitintä. Tämä helpottaa toimintojen suorittamista, kuten tiedostojen muuntamista, tietojen lataamista sekä tiedostojen siirtämistä ja uudelleennimeämistä. Jokainen komponentti voidaan konfiguroida määrittelemään monimutkainen prosessi.
Integrointityöt luodaan Talendin konfiguroinnista koodaamisen sijaan. Työt voidaan suorittaa kehitysympäristön sisältä tai viedä ja suorittaa erillisinä skripteinä.
Talend Open Studion käytön edut
- Se lyhentää integraatioiden kehitysaikaa viikoista ja kuukausista päiviin tai jopa tunteihin.
- Se muuntaa ja päivittää eri lähteissä olevia tietoja.
- Se valvoo ja hallitsee vaikeita käyttöönottoja helposti.
- Se tarjoaa yhden alhaisimmista omistamiskustannuksista verrattuna mihin tahansa vastaavaan ratkaisuun.
- Se perii taustalla olevan voiman Java ohjelmointialusta.
- Laaja valikoima lähde- ja kohdeliittimiä tekee siitä vahvan valinnan koko toimialalle.
- Siinä on vahva usean järjestelmän lokitiedosto ja täsmäytysraportointi tietovuon tai migraation jälkeen.
Perinteiseen patentoituun ETL-moottoriin verrattuna erot näyttävät tältä:
| Vanha ETL | Talend |
|---|---|
| Oikeudenmukainen moottori | avoin |
| Vaikea skaalata Big Dataa | Luo alkuperäisen koodin |
| Kallis | Alhainen TCO |
Huomautus: Koska Open Studion elinkaari päättyi 31. tammikuuta 2024, ilmaisversioon ei tule tietoturvapäivityksiä. Tiimien, jotka käyttävät sitä edelleen, tulisi suunnitella siirtymistä Qlik Talend Cloudiin tai muuhun tuettuun alustaan.
Talend Open Studio Archirakenne
Arkkitehtuuri jakautuu kolmeen keskeiseen lohkoon – asiakasohjelmiin, palvelimeen ja tietokantoihin – sekä työtilaan ja tietovarastoon, jotka säilyttävät projektin tiedostoja ja metatietoja. Alla oleva kaavio näyttää, miten ne yhdistyvät.
Asiakkaat
Asiakaslohko sisältää yhden tai useamman Talend Studion ja verkkoselaimen, jotka voivat toimia samoilla tai eri koneilla. Talend Studion avulla voit rakentaa dataintegraatioprosesseja riippumatta datamäärästä tai prosessin monimutkaisuudesta.
Talend-palvelin
Talend-palvelinlohko sisältää web-pohjaisen sovelluspalvelimen. Se mahdollistaa kaikkien projektien hallinnan ja ylläpidon, ja se tallentaa käyttäjätilit, käyttöoikeudet ja projektien valtuutukset hallintatietokantaan.
tietokanta
Tietokannat-lohko kattaa hallinto-, tarkastus- ja valvontatietokannat. Hallinta hallinnoi käyttäjätilejä, käyttöoikeuksia ja projektien valtuutuksia. Tarkastustietokanta auttaa arvioimaan töiden eri osa-alueita, jotta voidaan rakentaa prosessikeskeinen päätöksentukijärjestelmä.
Työtila
Talendissa työtila on hakemisto, johon tallennat kaikki projektikansiot. Tarvitset vähintään yhden työtilahakemiston jokaista arkistoyhteyttä kohden. Talend voi muodostaa yhteyden useisiin työtilahakemistoihin, jos et halua käyttää oletushakemistoa.
säilytyspaikka
Tietovarasto on tallennusalue, jota Talend Open Studio käyttää liiketoimintamalleja tai suunnittelutöitä kuvaavien tietojen keräämiseen.ping Tietovaraston metatiedot tekevät yhteydestä tai kaavasta uudelleenkäytettävän eri tehtävien välillä.
Talend Open Studio -laajennukset
Talend Open Studiota laajennettiin tuoteperheellä, joka lisäsi hallinta-, laatu- ja palveluominaisuuksia:
- Talend Integration Suite
- Talend On Demand
- Talend Data Quality
- Talend ESB
- Talend Big Data Integration
Nämä nimet ovat peräisin Open Studio -aikakaudelta. Qlikissä vastaavat ominaisuudet toimitetaan Qlik Talend Cloudin sisällä erillisten ladattavien tiedostojen sijaan.
