Samouczek Talend: Czym jest narzędzie Talend ETL?
Prafulli Ranadive
⚡ Inteligentne podsumowanie
Talend to platforma typu open source do integracji i zarządzania danymi, której graficzne studio generuje natywny kod dla ETL, dużych zbiorów danych i potoków chmurowych, a która obecnie jest dostępna komercyjnie pod nazwą Qlik Talend Cloud.
Co to jest Talend?
Talend to platforma oprogramowania open source oferująca rozwiązania do integracji i zarządzania danymi. Talend specjalizuje się w big danych Integracja. Platforma oferuje funkcje takie jak chmura, duże zbiory danych, integracja aplikacji korporacyjnych, jakość danych i zarządzanie danymi podstawowymi. Zapewnia również ujednolicone repozytorium do przechowywania i ponownego wykorzystywania metadanych.
Tradycyjnie Talend był dostępny zarówno w wersji open source, jak i premium, i jest szeroko stosowany w pracach związanych z przetwarzaniem w chmurze oraz integracją dużych zbiorów danych.
Ważna aktualizacja statusu: Firma Qlik zakończyła przejęcie Talend w maju 2023 r., a 31 stycznia 2024 r. bezpłatne edycje Talend Open Studio zostały wycofane — nie są już hostowane, łatane ani aktualizowane. Platforma komercyjna nadal funkcjonuje jako Qlik Talend Cloud. Poniższe sekcje opisują działanie Open Studio w okresie wsparcia, co nadal jest najjaśniejszym sposobem zrozumienia, jak… Narzędzie ETL jest zmontowany.
Historia Talendu
Kamienie milowe poniżej trace Talend z francuskiego projektu badawczo-rozwojowego do silnika integracji danych i jakości w platformie chmurowej Qlik.
| Rok | Kamień milowy |
|---|---|
| 2002 | R & D |
| 2005 | Utworzenie firmy – Pierwsza runda finansowania AGF private equity & Galle Partners |
| 2006 | Open Studio V1.0 — uruchomiono operacje w USA |
| 2007 | Pakiet integracyjny/ Zamknięta druga runda finansowania |
| 2008 | Otwórz Profiler/Jakość danych |
| 2009 | Akwizycja pakietu integracyjnego RTx/MPx/MDM |
| 2010 | Edycja IDM Community/ Edycja MDM Enterprise |
| 2011 | Open Studio V5 |
| 2014 | Najlepszy projekt OW2 |
| 2015 | Uznany produkt wyznaczający trendy |
| 2016 | DBTA 100 |
| 2017 | Gartner Magic Quadrant dotyczący narzędzi do integracji danych |
| 2021 | Natywna integracja Stitcha z Amazon Konsola Redshift |
| 2021 | Thoma Bravo przejmuje Talend w ramach transakcji wyceniającej firmę na około 2.4 miliarda dolarów |
| 2023 | Qlik, wspierany również przez Thoma Bravo, w maju sfinalizował przejęcie Talend |
| 2024 | Talend Open Studio zakończyło działalność 31 stycznia; darmowa wersja na komputery stacjonarne nie będzie już otrzymywać aktualizacji |
| 2024 | Qlik Talend Cloud będzie ogólnodostępny w lipcu jako następca platformy, dodając do niej procesy przetwarzania danych wspomagane sztuczną inteligencją, produkty danych i rynek danych |
| 2024 | Serwer Talend MDM kończy cykl życia 31 grudnia; standardowe wsparcie dla Talend 7.3 kończy się w listopadzie |
| 2025 | Qlik Talend Cloud dodaje zadania magazynu wiedzy, które wektoryzują dane dla aplikacji RAG, a także pochodzenie zadań Talend Studio w katalogu Qlik Cloud |
| 2025 | Wersja listopadowa oferuje punkty końcowe API obsługiwane jednym kliknięciem dla zarządzanych produktów danych, zautomatyzowaną dokumentację terenową, sugerowane przez sztuczną inteligencję reguły jakości danych i nadzór nad danymi |
| 2026 | W kwietniu na konferencji Qlik Connect firma Qlik ogłosiła wprowadzenie inżynierii danych agentowych: deklaratywne potoki, asystenta AI dla Talend Studio, routing w czasie rzeczywistym i natywną usługę Open Lakehouse Streaming |
| 2026 | Płatne rozszerzone wsparcie dla Talend 7.3 kończy się w grudniu, co oznacza, że jedynymi obsługiwanymi ścieżkami będą Talend 8 lub Qlik Talend Cloud |
Pakiet produktów Talend
Pakiet produktów Talend składa się z 3 głównych produktów, omówionych poniżej.
Talent Big Data
Talend może łatwo zautomatyzować integrację dużych zbiorów danych za pomocą graficznych narzędzi i kreatorów. Pozwala to organizacji zbudować środowisko współpracujące z Apache Hadoop, Spark oraz Bazy danych NoSQL do zadań w chmurze lub lokalnie.
Wiele firm wdrożyło Hadoop w celu obniżenia kosztów i poprawy wydajności, ponieważ rozwiązania korporacyjne często pochłaniają kosztowny czas obliczeniowy. Dzięki Hadoop dane można przekształcać, oczyszczać, wzbogacać i integrować w przypadku większych obciążeń analitycznych.
Talend Sandbox obejmuje cztery przypadki użycia:
- Optymalizacja hurtowni danych
- Analityka strumienia kliknięć
- Analiza nastrojów w mediach społecznościowych
- Analityka bloga Apache
Można również na ich podstawie tworzyć własne, bardziej złożone przypadki użycia.
Korzyści z Talend dla Big Data i Hadoop
- Zwiększa wydajność projektowania zadań związanych z dużymi danymi poprzez organizowanie i konfigurowanie komponentów w graficznym interfejsie użytkownika
- Dodaje funkcje jakości danych, skalowalności i zarządzania
- Obsługa MapReduce umożliwia szybsze równoległe przetwarzanie danych
- Współdzielone repozytorium i zdalne wdrażanie
- Jakość danych i profilowanie z oczyszczaniem danych
- Natywne wsparcie dla HBase, HDFS, Ul, Łyżka i Świnia
- Osadzone w platformie danych Hortonworks
Integracja danych
Talend oprogramowanie do integracji danych Posiada otwartą, skalowalną architekturę, która umożliwia szybszą reakcję na zapytania biznesowe. Narzędzie opracowuje i wdraża zadania integracji danych szybciej niż ręczne kodowanie.
Umożliwia integrację wszystkich danych z innymi magazynami danych lub synchronizację danych między systemami. Integracja danych oznacza łączenie danych przechowywanych w różnych źródłach i zapewnienie użytkownikom ujednoliconego widoku tych danych. Talend pomaga w zarządzaniu zadaniami ETL i oferuje użytkownikom proste, samodzielne przygotowywanie danych.
Korzyści z Talend dla integracji danych
Zwinna integracja: szybciej reaguj na żądania biznesowe bez pisania kodu, korzystając z ponad 1000 gotowych łączników, Eclipse-narzędzi graficznych i generatora kodu zoptymalizowanego pod kątem wydajności.
Produktywność zespołu: Współpracuj, wykorzystując wersjonowanie, analizę wpływu, testowanie i debugowanie oraz zarządzanie metadanymi.
Łatwe zarządzanie: Narzędzie oferuje zaawansowane planowanie i monitorowanie. Zapewnia integrację danych w czasie rzeczywistym z pulpitami nawigacyjnymi i scentralizowaną kontrolę, umożliwiającą szybkie wdrażanie w wielu węzłach.
Wyprzedź konkurencję: Korzystając z platformy nie musisz czekać na udostępnienie najnowszych funkcji integracji danych.
Niska cena posiadania: Talend korzysta z modelu cenowego opartego na subskrypcji. Płacisz za liczbę programistów korzystających z Talend Studio, co jest tańsze niż licencje ryczałtowe na serwer.
Integration Cloud
Możesz przyspieszyć projekty integracji danych w chmurze i lokalnie, korzystając z wysoce skalowalnej i bezpiecznej platformy integracji w chmurze w modelu „jako usługa” (iPaaS). Talend Integration Cloud oferuje łączność, wbudowaną jakość danych i natywne generowanie kodu.
To bezpieczna platforma integracji w chmurze, która umożliwia użytkownikom IT i biznesowym łączenie systemów chmurowych i lokalnych. Zadania zaprojektowane w chmurze mogą być również zarządzane, monitorowane i kontrolowane za jej pośrednictwem.
Korzyści z integracji w chmurze
Poniższa tabela porównuje Talend Integration Cloud z ręcznie kodowaną alternatywą, którą ma zastąpić.
| Chmura integracyjna Talend | Inne narzędzia |
|---|---|
| Ponad 900 komponentów typu „przeciągnij i upuść”. | Ręczne kodowanie, które jest bezproduktywne |
| Generuje zoptymalizowany kod | Potrzebujesz specjalistycznych umiejętności |
| Współpraca i zarządzanie | Trudne w utrzymaniu |
| Złote wsparcie (SLA) | Ograniczone wsparcie |
Czym jest Talend Open Studio?
Talend Open Studio to otwarta architektura przeznaczona do integracji danych, profilowania danych, dużych zbiorów danych, integracji w chmurze i nie tylko.
To środowisko graficznego interfejsu użytkownika (GUI) oferujące ponad 1000 gotowych konektorów. Ułatwia to wykonywanie operacji takich jak transformacja plików, ładowanie danych oraz przenoszenie i zmiana nazw plików. Każdy komponent można skonfigurować tak, aby definiował złożony proces.
Zadania integracyjne są tworzone z komponentów Talend, które są konfigurowane, a nie kodowane. Zadania można uruchamiać z poziomu środowiska programistycznego lub eksportować i wykonywać jako samodzielne skrypty.
Korzyści z korzystania z Talend Open Studio
- Skraca czas opracowywania rozwiązań integracyjnych z tygodni i miesięcy do dni, a nawet godzin.
- Konwertuje i aktualizuje dane przechowywane w różnych źródłach.
- Z łatwością monitoruje i zarządza trudnymi wdrożeniami.
- Oferuje jeden z najniższych kosztów posiadania wśród porównywalnych rozwiązań.
- Dziedziczy moc leżącą u podstaw Java platforma programistyczna.
- Szeroki wybór złączy źródłowych i docelowych sprawia, że jest to doskonały wybór dla całej branży.
- Posiada solidny, wieloschematowy plik dziennika i raportowanie uzgodnień po przepływie lub migracji danych.
W porównaniu z tradycyjnym, autorskim silnikiem ETL różnice wyglądają następująco:
| Starsza wersja ETL | Taland |
|---|---|
| Silnik własności | Otwarte |
| Trudno skalowalne Big Data | Generuje kod natywny |
| Drogi | Niski całkowity koszt posiadania |
Uwaga: Ponieważ Open Studio zakończyło wsparcie techniczne 31 stycznia 2024 r., darmowa edycja nie otrzymuje żadnych poprawek bezpieczeństwa. Zespoły, które nadal z niej korzystają, powinny rozważyć migrację do Qlik Talend Cloud lub innej obsługiwanej platformy.
Otwarte studio Talend Architektura
Architektura dzieli się na trzy kluczowe bloki – klientów, serwer i bazy danych – oraz przestrzeń roboczą i repozytorium, w których przechowywane są pliki i metadane projektu. Poniższy diagram pokazuje, jak się one ze sobą łączą.
Klienci
Blok „Klienci” zawiera jedno lub więcej studiów Talend i przeglądarek internetowych, które mogą działać na tej samej lub różnych maszynach. Talend Studio umożliwia tworzenie procesów integracji danych niezależnie od ich ilości lub złożoności procesu.
Serwer Taland
Blok serwera Talend zawiera internetowy serwer aplikacji. Umożliwia on administrowanie i utrzymanie wszystkich projektów oraz przechowuje konta użytkowników, prawa dostępu i autoryzacje projektów w bazie danych administracyjnej.
Baza danych
Blok Baz Danych obejmuje bazy danych Administracji, Audytu i Monitorowania. Administracja zarządza kontami użytkowników, uprawnieniami dostępu i autoryzacją projektu. Baza danych Audytu pomaga w ocenie różnych aspektów zadań, co pozwala na zbudowanie systemu wspomagania decyzji zorientowanego na procesy.
Workspace
W Talend obszar roboczy to katalog, w którym przechowywane są wszystkie foldery projektu. Potrzebujesz co najmniej jednego katalogu obszaru roboczego na każde połączenie z repozytorium. Talend może łączyć się z kilkoma katalogami obszaru roboczego, jeśli nie chcesz korzystać z domyślnego.
Magazyn
Repozytorium to obszar przechowywania, którego Talend Open Studio używa do gromadzenia danych opisujących modele biznesowe lub projekty zadań.ping metadane w repozytorium to elementy umożliwiające ponowne wykorzystanie połączenia lub schematu w różnych zadaniach.
Rozszerzenia Talend Open Studio
Talend Open Studio rozszerzono o rodzinę produktów, które dodały możliwości zarządzania, jakości i usług:
- Pakiet integracyjny Talend
- Talend na żądanie
- Jakość danych Talend
- Talent ESB
- Integracja dużych zbiorów danych Talend
Nazwy te pochodzą z ery Open Studio. W Qlik równoważne funkcje są dostępne w ramach Qlik Talend Cloud, a nie jako oddzielne pliki do pobrania.
