Talendi õpetus: Mis on Talendi ETL-tööriist?
Prafulla Ranadive
⚡ Nutikas kokkuvõte
Talend on avatud lähtekoodiga andmete integreerimise ja haldamise platvorm, mille graafiline stuudio genereerib natiivset koodi ETL-i, suurandmete ja pilvekanalite jaoks ning mis on nüüd saadaval kaubanduslikult nime all Qlik Talend Cloud.
Mis on Talend?
Talend on avatud lähtekoodiga tarkvaraplatvorm, mis pakub andmete integreerimise ja haldamise lahendusi. Talend on spetsialiseerunud järgmistele teemadele: suur andmed integratsioon. Platvorm pakub selliseid funktsioone nagu pilveteenused, suurandmed, ettevõtte rakenduste integratsioon, andmete kvaliteet ja põhiandmete haldus. See pakub ka ühtset hoidlat metaandmete salvestamiseks ja taaskasutamiseks.
Talend on ajalooliselt olnud saadaval nii avatud lähtekoodiga kui ka premium-versioonis ning seda kasutatakse laialdaselt pilvandmetöötluse ja suurandmete integreerimise tööks.
Oluline staatuse värskendus: Qlik viis Talendi omandamise lõpule 2023. aasta mais ja 31. jaanuaril 2024 lõpetati tasuta Talendi Open Studio versioonide pakkumine – neid enam ei majutata, ei parandata ega värskendata. Kommertsplatvorm jätkab Qlik Talend Cloud nime all. Allolevad jaotised kirjeldavad Open Studio toimimist toe ajal, mis on endiselt kõige selgem viis mõista, kuidas... ETL tööriist kokku pannakse.
Talendi ajalugu
Allpool olevad verstapostid trace Talend Prantsuse teadus- ja arendusprojektist Qliki pilveplatvormi andmete integreerimise ja kvaliteedimootorini.
| Tootmisaasta | Teetähis |
|---|---|
| 2002 | R & D |
| 2005 | Ettevõtte loomine – AGF private equity & Galle Partnersi esimene rahastamisvoor |
| 2006 | Open Studio V1.0 – käivitas meie toimingud |
| 2007 | Integratsioonikomplekt/ suletud teine rahastamisvoor |
| 2008 | Avage Profiler/ Data Quality |
| 2009 | Integration Suite RTx/MPx/MDM omandamine |
| 2010 | IDM Community Edition / MDM Enterprise Edition |
| 2011 | Avatud stuudio V5 |
| 2014 | OW2 parim projekt |
| 2015 | Tunnustatud trenditoode |
| 2016 | DBTA 100 |
| 2017 | Gartneri maagiline kvadrant andmete integreerimise tööriistade jaoks |
| 2021 | Native integreerimine õmblema Amazon Redshift konsool |
| 2021 | Thoma Bravo võtab Talendi eraomandisse tehinguga, mille väärtus on umbes 2.4 miljardit dollarit |
| 2023 | Qlik, mida toetab ka Thoma Bravo, viis mais lõpule Talendi omandamise. |
| 2024 | Talend Open Studio lõpetas tegevuse 31. jaanuaril; tasuta töölauaversioon ei saa enam värskendusi |
| 2024 | Qlik Talend Cloud jõuab järeltulijaplatvormina üldiselt kättesaadavaks juulis, lisades tehisintellektiga täiustatud torujuhtmeid, andmetooteid ja andmeturu. |
| 2024 | Talend MDM Serveri eluiga lõpeb 31. detsembril; Talend 7.3 standardtoe lõpetab novembris |
| 2025 | Qlik Talend Cloud lisab Qlik Cloud Catalogisse teadmusbörsi ülesandeid, mis vektoriseerivad andmeid RAG-rakenduste jaoks, ning Talend Studio tööpäringute liini. |
| 2025 | Novembri väljalase toob ühe klõpsuga API lõpp-punktid reguleeritud andmetoodetele, automatiseeritud välitööde dokumenteerimisele, tehisintellekti soovitatud andmekvaliteedi reeglitele ja andmehaldusele. |
| 2026 | Aprillis toimuval Qlik Connectil teatab Qlik agentlikust andmetehnikast: deklaratiivsetest torujuhtmetest, tehisintellekti assistendist Talend Studiole, reaalajas marsruutimisest ja natiivsest Open Lakehouse'i voogedastusest. |
| 2026 | Talend 7.3 tasuline laiendatud tugi lõpeb detsembris, mistõttu on ainsad toetatud teed Talend 8 või Qlik Talend Cloud |
Talend tootekomplekt
Talendi tootekomplekt koosneb kolmest peamisest tootest, mida käsitletakse allpool.
Talend Big Data
Talend saab suurandmete integratsiooni hõlpsalt automatiseerida graafiliste tööriistade ja viisardite abil. See võimaldab organisatsioonil luua keskkonna, mis töötab Apache Hadoopiga. Spark ja NoSQL andmebaasid pilve- või kohapealsete tööde jaoks.
Paljud ettevõtted võtsid Hadoopi kasutusele kulude kokkuhoiu ja jõudluse parandamise eesmärgil, kuna ettevõtte lahendused võtavad sageli kallist arvutusaega. Hadoopi abil saab andmeid suuremate analüütiliste töökoormuste jaoks teisendada, puhastada, rikastada ja integreerida.
Talendi liivakast sisaldab nelja kasutusjuhtu:
- Andmelao optimeerimine
- Clickstream Analytics
- Sotsiaalmeedia sentimendi analüüs
- Apache'i veebiblogi analüütika
Lisaks saate luua ka oma keerukamaid kasutusjuhtumeid.
Talendi eelised suurandmete ja Hadoopi jaoks
- Parandab suurandmete töö kujundamise tõhusust, korraldades ja konfigureerides komponente graafilises liideses
- Lisab andmete kvaliteedi, skaleeritavuse ja haldusfunktsioonid
- MapReduce'i tugi võimaldab kiiremat paralleelset andmetöötlust
- Jagatud hoidla ja kaugjuurutamine
- Andmete kvaliteet ja profileerimine koos andmete puhastamisega
- HBase'i natiivne tugi, HDFS, taru, Sqoop ja siga
- Hortonworksi andmeplatvormi integreeritud
Andmete integreerimine
Talend andmete integreerimise tarkvara on avatud ja skaleeritava arhitektuuriga, mis võimaldab äripäringutele kiiremini reageerida. Tööriist arendab ja juurutab andmete integreerimise töid kiiremini kui käsitsi kodeerimine.
See võimaldab teil integreerida kõik oma andmed teiste andmeladudega või sünkroonida andmeid süsteemide vahel. Andmete integreerimine tähendab erinevates allikates talletatud andmete ühendamist ja kasutajatele ühtse ülevaate andmist. Talend aitab teil hallata ETL-töid ja pakub kasutajatele lihtsat iseteeninduslikku andmete ettevalmistamist.
Talendi eelised andmete integreerimisel
Agiilne integratsioon: reageerida äripäringutele kiiremini ilma koodi kirjutamata, kasutades üle 1000 valmiskonnektori, Eclipse-põhised graafilised tööriistad ja jõudluse jaoks optimeeritud koodigeneraator.
Meeskonna produktiivsus: teha koostööd versioonimise, mõjuanalüüsi, testimise ja silumise ning metaandmete haldamise abil.
Lihtne juhtimine: Tööriist pakub täiustatud ajastamis- ja jälgimisvõimalusi. See võimaldab reaalajas andmete integreerimist armatuurlaudadega ja tsentraliseeritud juhtimist kiireks juurutamiseks mitmes sõlmes.
Olge konkurentsist ees: Platvormi kasutamine tähendab, et te ei pea ootama uusimate andmeintegratsiooni funktsioonide jõudmist teieni.
Madal omandihind: Talend kasutab tellimuspõhise hinnakujunduse mudelit. Maksate Talend Studiot kasutavate arendajate arvu eest, mis on odavam kui serveripõhine litsentsimine.
Integratsioonipilv
Saate kiirendada pilve- ja kohapealsete andmete integratsiooniprojekte, kasutades ülimalt skaleeritavat ja turvalist pilveintegratsiooni teenusena (iPaaS). Talend Integration Cloud pakub ühenduvust, sisseehitatud andmekvaliteeti ja natiivset koodi genereerimist.
See on turvaline pilveintegratsiooni platvorm, mis võimaldab IT- ja ärikasutajatel ühendada nii pilve- kui ka kohapealseid süsteeme. Pilves loodud töid saab seal samuti hallata, jälgida ja juhtida.
Integratsioonipilve eelised
Allolev tabel võrdleb Talend Integration Cloudi käsitsi kodeeritud alternatiiviga, mille see peaks asendama.
| Talendi integratsioonipilv | Muud tööriistad |
|---|---|
| Üle 900 pukseerimise komponendi | Käsitsi kodeerimine, mis on ebaproduktiivne |
| Loob optimeeritud koodi | Vajavad erioskusi |
| Koostöö ja juhtimine | Raske hooldada |
| Kulla tugi (SLA-d) | Piiratud tugi |
Mis on Talend Open Studio?
Talend Open Studio oli avatud arhitektuur andmete integreerimiseks, andmete profileerimiseks, suurandmete jaoks, pilveintegratsiooniks ja muuks.
See on graafilise kasutajaliidese keskkond, mis pakub enam kui 1000 eelvalmistatud konnektorit. See lihtsustab selliste toimingute tegemist nagu failide teisendamine, andmete laadimine ning failide teisaldamine ja ümbernimetamine. Iga komponenti saab konfigureerida keeruka protsessi määratlemiseks.
Integratsioonitööd luuakse Talendi komponentidest, mis on konfigureeritud, mitte kodeeritud. Tööd saab käivitada arenduskeskkonna seest või eksportida ja käivitada eraldiseisvate skriptidena.
Talend Open Studio kasutamise eelised
- See vähendab integratsiooni arendusaega nädalatelt ja kuudelt päevadele või isegi tundidele.
- See teisendab ja uuendab erinevates allikates hoitavaid andmeid.
- See jälgib ja haldab keerulisi juurutusi hõlpsalt.
- See pakub üht madalamat omamiskulu mis tahes võrreldava lahenduse seas.
- See pärib aluseks oleva jõu Java programmeerimisplatvorm.
- Lai valik lähte- ja sihtkoha pistikuid teeb sellest tugeva valiku kogu tööstusharus.
- Sellel on tugev mitme skeemi logifail ja leppimisaruanded pärast andmevoogu või migreerimist.
Võrreldes traditsioonilise patenteeritud ETL-mootoriga näevad erinevused välja järgmised:
| Pärand ETL | Talend |
|---|---|
| Korralik mootor | avatud |
| Suurandmeid on raske skaleerida | Loob omakoodi |
| Kallis | Madal TCO |
Märge: Kuna Open Studio tootearendus lõppes 31. jaanuaril 2024, siis tasuta versioonile turvaparandusi ei anta. Meeskonnad, kes seda endiselt kasutavad, peaksid plaanima üleminekut Qlik Talend Cloudile või mõnele muule toetatud platvormile.
Talend avatud stuudio Architektuur
Arhitektuur jaguneb kolmeks põhiplokiks – kliendid, server ja andmebaasid – ning tööruumiks ja hoidlaks, mis hoiavad projekti faile ja metaandmeid. Allolev diagramm näitab, kuidas need omavahel ühenduvad.
Kliendid
Klientide plokk sisaldab ühte või mitut Talend Studiot ja veebibrauserit, mis võivad töötada samal või erinevatel masinatel. Talend Studio võimaldab teil luua andmete integreerimise protsesse olenemata andmemahust või protsessi keerukusest.
Talend Server
Talendi serveriplokk sisaldab veebipõhist rakendusserverit. See võimaldab hallata ja hooldada kõiki projekte ning hoiab administreerimisandmebaasis kasutajakontosid, juurdepääsuõigusi ja projektide autoriseerimist.
andmebaas
Andmebaaside plokk hõlmab haldus-, auditi- ja seireandmebaase. Administratsioon haldab kasutajakontosid, juurdepääsuõigusi ja projektide autoriseerimist. Auditi andmebaas aitab hinnata tööde erinevaid aspekte, et saaks luua protsessipõhise otsustustugisüsteemi.
Tööruum
Talendis on tööruum kataloog, kuhu salvestatakse kõik projektikaustad. Iga repositooriumiühenduse kohta on vaja vähemalt ühte tööruumi kataloogi. Talend saab luua ühenduse mitme tööruumi kataloogiga, kui te ei soovi kasutada vaikekataloogi.
Hoidla
Repositoorium on salvestusruum, mida Talend Open Studio kasutab ärimudeleid või disainitöid kirjeldavate andmete kogumiseks. Keepping Repositooriumi metaandmed muudavad ühenduse või skeemi tööde vahel korduvkasutatavaks.
Talend Open Studio laiendused
Talend Open Studiot laiendati tooteperekonnaga, mis lisas haldus-, kvaliteedi- ja teenindusvõimalusi:
- Talend Integration Suite
- Talend On Demand
- Talendi andmete kvaliteet
- Talend ESB
- Talend Big Data Integration
Need nimed pärinevad Open Studio ajastust. Qliki puhul pakutakse samaväärseid võimalusi Qlik Talend Cloudi sees, mitte eraldi allalaadimistena.
