Talend oktatóanyag: Mi az a Talend ETL eszköz?
Prafulla Ranadive
⚡ Okos összefoglaló
A Talend egy nyílt forráskódú adatintegrációs és adatkezelési platform, amelynek grafikus stúdiója natív kódot generál ETL-hez, big data-hoz és felhőalapú folyamatokhoz, és amely mostantól kereskedelmi forgalomban is kapható Qlik Talend Cloud néven.
Mi az a Talend?
A Talend egy nyílt forráskódú szoftverplatform, amely adatintegrációs és adatkezelési megoldásokat kínál. A Talend a következőkre specializálódott: big adatok integráció. A platform olyan funkciókat kínál, mint a felhő, a big data, a vállalati alkalmazásintegráció, az adatminőség és a törzsadat-kezelés. Emellett egységes adattárat is biztosít a metaadatok tárolására és újrafelhasználására.
A Talend történelmileg nyílt forráskódú és prémium verzióban is elérhető volt, és széles körben használják felhőalapú számítástechnikában és big data integrációs munkákban.
Fontos állapotfrissítés: A Qlik 2023 májusában befejezte a Talend felvásárlását, és 2024. január 31-én a Talend Open Studio ingyenes kiadásait visszavonták – azokat már nem üzemeltetik, nem javítják vagy frissítik. A kereskedelmi platform Qlik Talend Cloud néven működik tovább. Az alábbi szakaszok az Open Studio működését ismertetik a támogatás alatt, ami továbbra is a legvilágosabb módja annak, hogy megértsük, hogyan működött a... ETL eszköz össze van rakva.
Talend története
Az alábbi mérföldkövek tracAz e Talend egy francia K+F projektből a Qlik felhőplatformján belüli adatintegrációs és minőségbiztosítási motorrá vált.
| Év | Mérföldkő |
|---|---|
| 2002 | K + F |
| 2005 | Cégalapítás – Az AGF magántőke és Galle Partners finanszírozásának első köre |
| 2006 | Open Studio V1.0 – elindította az Us-műveleteket |
| 2007 | Integrációs csomag/ lezárt második finanszírozási kör |
| 2008 | Nyissa meg a Profiler/ Adatminőség lehetőséget |
| 2009 | Integration Suite RTx/MPx/MDM beszerzés |
| 2010 | IDM Community Edition/MDM Enterprise Edition |
| 2011 | Nyílt Stúdió V5 |
| 2014 | OW2 legjobb projekt |
| 2015 | Elismert, divatos termék |
| 2016 | DBTA 100 |
| 2017 | Gartner Magic Quadrant adatintegrációs eszközökhöz |
| 2021 | Az öltés natív integrációja Amazon Redshift konzol |
| 2021 | A Thoma Bravo magántőkébe veszi a Talendet, amelynek értéke körülbelül 2.4 milliárd dollár. |
| 2023 | A Thoma Bravo által is támogatott Qlik májusban befejezte a Talend felvásárlását. |
| 2024 | A Talend Open Studio január 31-én megszűnt; az ingyenes asztali verzió nem kap további frissítéseket. |
| 2024 | A Qlik Talend Cloud utódplatformja júliusban válik általánosan elérhetővé, mesterséges intelligenciával kiegészített adatfolyamokat, adattermékeket és egy adatpiacteret adva hozzá. |
| 2024 | A Talend MDM Server december 31-én eléri élettartamának végét; A Talend 7.3 novemberben befejezi a standard támogatást. |
| 2025 | A Qlik Talend Cloud tudástárházi feladatokat ad hozzá, amelyek vektorizálják az adatokat RAG alkalmazásokhoz, valamint a Talend Studio job lineage-et a Qlik Cloud Catalogban. |
| 2025 | A novemberi kiadás egykattintásos API-végpontokat kínál a szabályozott adattermékekhez, az automatizált terepi dokumentációhoz, a mesterséges intelligencia által javasolt adatminőségi szabályokhoz és az adatkezeléshez. |
| 2026 | Az áprilisi Qlik Connecten a Qlik bejelentette az ágentikus adatmérnökséget: deklaratív folyamatokat, egy AI asszisztenst a Talend Studio-hoz, valós idejű útválasztást és natív Open Lakehouse Streaminget. |
| 2026 | A Talend 7.3 fizetős kiterjesztett támogatása decemberben megszűnik, így a Talend 8 vagy a Qlik Talend Cloud lesz az egyetlen támogatott útvonal. |
Talend termékcsomag
A Talend termékcsomag 3 fő termékből áll, amelyeket az alábbiakban tárgyalunk.
Talend Big Data
A Talend grafikus eszközökkel és varázslókkal könnyedén automatizálhatja a big data integrációját. Ez lehetővé teszi a szervezetek számára, hogy olyan környezetet építsenek ki, amely működik az Apache Hadoop-pal. Spark és a NoSQL adatbázisok felhőalapú vagy helyszíni munkákhoz.
Sok vállalat költségmegtakarítás és teljesítménynövelés céljából választotta a Hadoop-ot, mivel a vállalati megoldások gyakran drága számítási időt vesznek igénybe. A Hadoop segítségével az adatok átalakíthatók, tisztíthatók, gazdagíthatók és integrálhatók a nagyobb analitikai munkaterhelésekhez.
A Talend Sandbox négy felhasználási esetet tartalmaz:
- Adattárház optimalizálás
- Clickstream Analytics
- A közösségi média hangulatelemzése
- Apache weblog elemzés
Ezekre ráépítve saját, összetettebb használati eseteket is létrehozhatsz.
A Talend előnyei Big Data és Hadoop számára
- Javítja a big data munkatervezés hatékonyságát azáltal, hogy grafikus felületen rendezi és konfigurálja a komponenseket.
- Adatminőséget, skálázhatóságot és kezelési funkciókat ad hozzá
- A MapReduce támogatás gyorsabb párhuzamos adatfeldolgozást tesz lehetővé
- Megosztott adattár és távoli telepítés
- Adatminőség és profilalkotás adattisztítással
- Natív HBase-támogatás, HDFS, Kaptár, Sqoop és Pig
- Beágyazva a Hortonworks adatplatformba
Adatok integrálása
A tehetség adatintegrációs szoftver Nyílt, skálázható architektúrával rendelkezik, amely lehetővé teszi az üzleti kérésekre adott gyorsabb reagálást. Az eszköz gyorsabban fejleszti és telepíti az adatintegrációs feladatokat, mint a kézi kódolás.
Lehetővé teszi az összes adat integrálását más adattárházakkal, vagy az adatok szinkronizálását a rendszerek között. Az adatintegráció azt jelenti, hogy a különböző forrásokban tárolt adatokat kombináljuk, és egységes képet adunk a felhasználóknak róluk. A Talend segít az ETL-feladatok kezelésében, és egyszerű, önkiszolgáló adatelőkészítést biztosít a felhasználóknak.
A Talend előnyei az adatintegrációban
Agilis integráció: gyorsabban reagálhat az üzleti kérésekre kódírás nélkül, több mint 1000, használatra kész csatlakozó használatával, Eclipsealapú grafikus eszközök és egy teljesítményre optimalizált kódgenerátor.
Csapat termelékenysége: együttműködni verziókezelés, hatáselemzés, tesztelés és hibakeresés, valamint metaadat-kezelés használatával.
Egyszerű kezelés: Az eszköz fejlett ütemezést és monitorozást kínál. Valós idejű adatintegrációt biztosít műszerfalakkal és központosított vezérléssel a gyors telepítés érdekében több csomóponton.
Maradjon a verseny előtt: A platform használata azt jelenti, hogy nem kell megvárnia a legújabb adatintegrációs funkciókat.
Alacsony tulajdonjog: A Talend előfizetéses árképzési modellt használ. A Talend Studio-t használó fejlesztők száma után fizetsz, ami kevesebbe kerül, mint a fix szerverenkénti licencelés.
Integrációs felhő
Felgyorsíthatja a felhőalapú és helyszíni adatintegrációs projekteket egy rendkívül skálázható és biztonságos felhőintegrációs platform-as-a-service (iPaaS) segítségével. A Talend Integration Cloud csatlakozást, beépített adatminőséget és natív kódgenerálást kínál.
Ez egy biztonságos felhőintegrációs platform, amely lehetővé teszi az informatikai és üzleti felhasználók számára, hogy mind a felhőalapú, mind a helyszíni rendszereket összekapcsolják. A felhőben tervezett feladatok is ott kezelhetők, monitorozhatók és vezérelhetők.
Integrációs felhő előnyei
Az alábbi táblázat összehasonlítja a Talend Integration Cloudot a kézzel kódolt alternatívával, amelyet helyettesíteni hivatott.
| Talend Integration Cloud | egyéb eszközök |
|---|---|
| 900+ drag-n-drop összetevő | Kézi kódolás, ami nem produktív |
| Optimalizált kódot generál | Speciális készségekre van szükség |
| Együttműködés és menedzsment | Nehéz karbantartani |
| Arany támogatás (SLA) | Korlátozott támogatás |
Mi az a Talend Open Studio?
A Talend Open Studio egy nyílt architektúra volt az adatintegrációhoz, az adatprofilozáshoz, a big data-hoz, a felhőintegrációhoz és egyebekhez.
Ez egy grafikus felhasználói felületű környezet, amely több mint 1000 előre elkészített csatlakozót kínál. Ez megkönnyíti az olyan műveletek végrehajtását, mint a fájlok átalakítása, adatok betöltése, valamint fájlok áthelyezése és átnevezése. Minden komponens konfigurálható egy összetett folyamat definiálására.
Az integrációs feladatok konfigurált Talend komponensekből jönnek létre kódolás helyett. A feladatok futtathatók a fejlesztői környezeten belül, vagy exportálhatók és önálló szkriptekként futtathatók.
A Talend Open Studio használatának előnyei
- Hetekről és hónapokról napokra, vagy akár órákra csökkenti az integráció fejlesztésének idejét.
- Különböző forrásokból származó adatokat konvertál és frissít.
- Könnyedén figyeli és kezeli a bonyolult telepítéseket.
- Az egyik legalacsonyabb fenntartási költséget kínálja bármely hasonló megoldás közül.
- Az alapul szolgáló erőt örökli Java programozási platform.
- A forrás- és célcsatlakozók széles választéka miatt az iparágban mindenhol jó választás.
- Erős, több sémát tartalmazó naplófájllal és egyeztetési jelentésekkel rendelkezik adatfolyamat vagy migráció után.
Egy hagyományos, saját fejlesztésű ETL motorhoz képest a különbségek a következők:
| Legacy ETL | Talend |
|---|---|
| Propriety Engine | Nyisd ki |
| A Big Data nehezen méretezhető | Natív kódot generál |
| Drága | Alacsony TCO |
Jegyzet: Mivel az Open Studio 2024. január 31-én elérte a végét, az ingyenes kiadás nem kap biztonsági javításokat. Azoknak a csapatoknak, akik még mindig futtatják, érdemes áttérniük a Qlik Talend Cloudra vagy más támogatott platformra.
Talend Open Studio Architectúra
Az architektúra három fő blokkra oszlik – kliensek, szerver és adatbázisok –, valamint a munkaterületre és a tárházra, amelyek a projekt fájljait és metaadatait tárolják. Az alábbi ábra bemutatja, hogyan kapcsolódnak egymáshoz.
Az ügyfelek
A Kliensek blokk egy vagy több Talend Studiost és webböngészőt tartalmaz, amelyek ugyanazon vagy különböző gépeken futhatnak. A Talend Studio lehetővé teszi adatintegrációs folyamatok létrehozását az adatmennyiségtől vagy a folyamatok összetettségétől függetlenül.
Talend szerver
A Talend szerverblokk egy web alapú alkalmazásszervert tartalmaz. Lehetővé teszi az összes projekt adminisztrációját és karbantartását, valamint a felhasználói fiókokat, a hozzáférési jogokat és a projektengedélyeket az adminisztrációs adatbázisban tárolja.
adatbázis
Az Adatbázisok blokk az Adminisztráció, Audit és Monitoring adatbázisokat tartalmazza. Az Adminisztráció kezeli a felhasználói fiókokat, a hozzáférési jogokat és a projektengedélyezést. Az Audit adatbázis segít a feladatok különböző aspektusainak értékelésében, hogy egy folyamatorientált döntéstámogató rendszer építhető legyen.
Munkaterület
A Talendben a munkaterület egy olyan könyvtár, ahol az összes projektmappát tárolod. Legalább egy munkaterület-könyvtárra van szükséged minden adattárkapcsolathoz. A Talend több munkaterület-könyvtárhoz is csatlakozhat, ha nem az alapértelmezett könyvtárat szeretnéd használni.
raktár
A tárhely az a tárolóterület, amelyet a Talend Open Studio használ az üzleti modelleket vagy a tervezési feladatokat leíró adatok gyűjtésére. Keepping A tárházban található metaadatok teszik a kapcsolatot vagy sémát újrafelhasználhatóvá a feladatok között.
Talend Open Studio kiterjesztések
A Talend Open Studio kibővült egy olyan termékcsaláddal, amely irányítási, minőségi és szolgáltatási képességeket kínált:
- Talend Integration Suite
- Talend On Demand
- Talend adatminőség
- Talend ESB
- Talend Big Data Integration
Ezek a nevek az Open Studio korszakából származnak. A Qlik alatt az egyenértékű funkciók a Qlik Talend Cloudon belül érhetők el, nem pedig külön letöltésként.
