Talend Tutorial: Τι είναι το Talend ETL Tool;
Prafulla Ranadive
⚡ Έξυπνη Σύνοψη
Το Talend είναι μια πλατφόρμα ενοποίησης και διαχείρισης δεδομένων ανοιχτού κώδικα, της οποίας το γραφικό Studio δημιουργεί εγγενή κώδικα για ETL, μεγάλα δεδομένα και αγωγούς cloud, και η οποία πλέον διατίθεται εμπορικά ως Qlik Talend Cloud.
Τι είναι το Talend;
Το Talend είναι μια πλατφόρμα λογισμικού ανοιχτού κώδικα που προσφέρει λύσεις ενοποίησης και διαχείρισης δεδομένων. Το Talend ειδικεύεται σε μεγάλα δεδομένα Ενσωμάτωση. Η πλατφόρμα παρέχει λειτουργίες όπως cloud, big data, ενσωμάτωση εταιρικών εφαρμογών, ποιότητα δεδομένων και διαχείριση κύριων δεδομένων. Παρέχει επίσης ένα ενοποιημένο αποθετήριο για την αποθήκευση και την επαναχρησιμοποίηση μεταδεδομένων.
Το Talend ιστορικά ήταν διαθέσιμο τόσο σε έκδοση ανοιχτού κώδικα όσο και σε έκδοση premium και χρησιμοποιείται ευρέως για εργασίες cloud computing και ενσωμάτωσης μεγάλων δεδομένων.
Σημαντική ενημέρωση κατάστασης: Η Qlik ολοκλήρωσε την εξαγορά της Talend τον Μάιο του 2023 και στις 31 Ιανουαρίου 2024 οι δωρεάν εκδόσεις του Talend Open Studio αποσύρθηκαν — δεν φιλοξενούνται πλέον, δεν ενημερώνονται με patch ή δεν ενημερώνονται. Η εμπορική πλατφόρμα συνεχίζει ως Qlik Talend Cloud. Οι παρακάτω ενότητες περιγράφουν το Open Studio όπως λειτουργούσε όσο υποστηριζόταν, κάτι που εξακολουθεί να αποτελεί τον πιο σαφή τρόπο για να κατανοήσετε πώς λειτουργεί. Εργαλείο ETL συναρμολογείται.
History of Talend
Τα ορόσημα παρακάτω tracΤο ταλέντο από ένα γαλλικό έργο έρευνας και ανάπτυξης στην ενσωμάτωση δεδομένων και τη μηχανή ποιότητας εντός της πλατφόρμας cloud της Qlik.
| Έτος | Milestone |
|---|---|
| 2002 | Ε & Α |
| 2005 | Δημιουργία Εταιρείας- Πρώτος γύρος χρηματοδότησης AGF private equity & Galle Partners |
| 2006 | Open Studio V1.0- Ξεκίνησε τις λειτουργίες μας |
| 2007 | Σουίτα ενσωμάτωσης/ κλειστός δεύτερος γύρος χρηματοδότησης |
| 2008 | Ανοίξτε το Προφίλ/Ποιότητα δεδομένων |
| 2009 | Integration Suite RTx/MPx/ MDM απόκτηση |
| 2010 | IDM Community Edition/ MDM Enterprise Edition |
| 2011 | Ανοιχτό Studio V5 |
| 2014 | OW2 καλυτερα Project |
| 2015 | Αναγνωρισμένο προϊόν trendsetting |
| 2016 | DBTA 100 |
| 2017 | Gartner Magic Quadrant for Data Integration Tools |
| 2021 | Native Integration of Stitch με Amazon Κονσόλα Redshift |
| 2021 | Η Thoma Bravo ιδιωτικοποιεί την Talend σε μια συμφωνία που την αποτιμά σε περίπου 2.4 δισεκατομμύρια δολάρια |
| 2023 | Η Qlik, με την υποστήριξη επίσης της Thoma Bravo, ολοκληρώνει την εξαγορά της Talend τον Μάιο |
| 2024 | Το Talend Open Studio αποσύρθηκε στις 31 Ιανουαρίου. Η δωρεάν έκδοση για υπολογιστές δεν λαμβάνει περαιτέρω ενημερώσεις. |
| 2024 | Το Qlik Talend Cloud θα είναι διαθέσιμο σε όλους τον Ιούλιο ως η διάδοχη πλατφόρμα, προσθέτοντας αγωγούς με επαυξημένη τεχνητή νοημοσύνη, προϊόντα δεδομένων και μια αγορά δεδομένων. |
| 2024 | Ο Talend MDM Server φτάνει στο τέλος της ζωής του στις 31 Δεκεμβρίου. Το Talend 7.3 αποσύρεται από την τυπική υποστήριξη τον Νοέμβριο. |
| 2025 | Το Qlik Talend Cloud προσθέτει εργασίες knowledge mart που διανυσματοποιούν δεδομένα για εφαρμογές RAG, καθώς και τη σειρά εργασιών Talend Studio στον κατάλογο Qlik Cloud. |
| 2025 | Η κυκλοφορία του Νοεμβρίου φέρνει τελικά σημεία API με ένα κλικ για προϊόντα δεδομένων που διέπονται από κανόνες, αυτοματοποιημένη τεκμηρίωση πεδίου, κανόνες ποιότητας δεδομένων που προτείνονται από την τεχνητή νοημοσύνη και διαχείριση δεδομένων. |
| 2026 | Στο Qlik Connect τον Απρίλιο, η Qlik ανακοινώνει την τεχνολογία πρακτικών δεδομένων: δηλωτικές αγωγούς, έναν βοηθό τεχνητής νοημοσύνης για το Talend Studio, δρομολόγηση σε πραγματικό χρόνο και εγγενές Open Lakehouse Streaming. |
| 2026 | Η πληρωμένη εκτεταμένη υποστήριξη για το Talend 7.3 λήγει τον Δεκέμβριο, καθιστώντας το Talend 8 ή το Qlik Talend Cloud τις μόνες υποστηριζόμενες διαδρομές |
Σουίτα προϊόντων Talend
Η Σουίτα Προϊόντων Talend αποτελείται από 3 κύρια προϊόντα, τα οποία αναλύονται παρακάτω.
Talend Big Data
Το Talend μπορεί εύκολα να αυτοματοποιήσει την ενσωμάτωση μεγάλων δεδομένων με γραφικά εργαλεία και οδηγούς. Αυτό επιτρέπει σε έναν οργανισμό να δημιουργήσει ένα περιβάλλον που λειτουργεί με το Apache Hadoop, Spark και NoSQL βάσεις δεδομένων για εργασίες cloud ή εσωτερικής εγκατάστασης.
Πολλές εταιρείες υιοθέτησαν το Hadoop για εξοικονόμηση κόστους και βελτίωση της απόδοσης, επειδή οι εταιρικές λύσεις συχνά καταναλώνουν δαπανηρό υπολογιστικό χρόνο. Με το Hadoop, τα δεδομένα μπορούν να μετασχηματιστούν, να καθαριστούν, να εμπλουτιστούν και να ενσωματωθούν για βαρύτερα αναλυτικά φόρτα εργασίας.
Το Talend Sandbox περιλαμβάνει τέσσερις περιπτώσεις χρήσης:
- Βελτιστοποίηση αποθήκης δεδομένων
- Clickstream Analytics
- Ανάλυση συναισθήματος μέσων κοινωνικής δικτύωσης
- Ανάλυση ιστολογίου Apache
Μπορείτε επίσης να δημιουργήσετε τις δικές σας, πιο σύνθετες περιπτώσεις χρήσης πάνω σε αυτές.
Οφέλη του Talend για Big Data και Hadoop
- Βελτιώνει την αποτελεσματικότητα του σχεδιασμού εργασιών μεγάλων δεδομένων, οργανώνοντας και διαμορφώνοντας στοιχεία σε μια γραφική διεπαφή.
- Προσθέτει λειτουργίες ποιότητας δεδομένων, επεκτασιμότητας και διαχείρισης
- Η υποστήριξη MapReduce επιτρέπει ταχύτερη παράλληλη επεξεργασία δεδομένων
- Κοινόχρηστο αποθετήριο και απομακρυσμένη ανάπτυξη
- Ποιότητα δεδομένων και δημιουργία προφίλ με καθαρισμό δεδομένων
- Εγγενής υποστήριξη για HBase, ΚΑΕ, Κυψέλη, Κουτάλα και Χοίρος
- Ενσωματωμένο στην πλατφόρμα δεδομένων Hortonworks
Ενσωμάτωση δεδομένων
Το Ταλέντο λογισμικό ενοποίησης δεδομένων Διαθέτει μια ανοιχτή, επεκτάσιμη αρχιτεκτονική που επιτρέπει ταχύτερη απόκριση σε επιχειρηματικά αιτήματα. Το εργαλείο αναπτύσσει και αναπτύσσει εργασίες ενοποίησης δεδομένων ταχύτερα από την χειροκίνητη κωδικοποίηση.
Σας επιτρέπει να ενσωματώσετε όλα τα δεδομένα σας με άλλες αποθήκες δεδομένων ή να συγχρονίσετε δεδομένα μεταξύ συστημάτων. Η ενοποίηση δεδομένων σημαίνει συνδυασμό δεδομένων που είναι αποθηκευμένα σε διαφορετικές πηγές και παροχή στους χρήστες μιας ενοποιημένης εικόνας αυτών. Το Talend σάς βοηθά να διαχειρίζεστε εργασίες ETL και παρέχει στους χρήστες απλή, αυτοεξυπηρετούμενη προετοιμασία δεδομένων.
Οφέλη του Talend για την Ενοποίηση Δεδομένων
Ευέλικτη ενσωμάτωση: να ανταποκρίνεστε ταχύτερα σε επιχειρηματικά αιτήματα χωρίς να γράφετε κώδικα, χρησιμοποιώντας πάνω από 1000 έτοιμες προς χρήση συνδέσεις, Eclipseγραφικά εργαλεία βασισμένα σε - και μια γεννήτρια κώδικα βελτιστοποιημένη για απόδοση.
Παραγωγικότητα ομάδας: συνεργάζονται χρησιμοποιώντας διαχείριση εκδόσεων, ανάλυση επιπτώσεων, δοκιμές και εντοπισμό σφαλμάτων, καθώς και διαχείριση μεταδεδομένων.
Εύκολη διαχείριση: Το εργαλείο προσφέρει προηγμένο προγραμματισμό και παρακολούθηση. Παρέχει ενσωμάτωση δεδομένων σε πραγματικό χρόνο με πίνακες ελέγχου και κεντρικό έλεγχο για γρήγορη ανάπτυξη σε πολλαπλούς κόμβους.
Μείνετε μπροστά από τον ανταγωνισμό: Η χρήση της πλατφόρμας σημαίνει ότι δεν χρειάζεται να περιμένετε να σας φτάσουν οι νεότερες λειτουργίες ενοποίησης δεδομένων.
Χαμηλή τιμή ιδιοκτησίας: Το Talend χρησιμοποιεί ένα μοντέλο τιμολόγησης συνδρομής. Πληρώνετε για τον αριθμό των προγραμματιστών που χρησιμοποιούν το Talend Studio, το οποίο κοστίζει λιγότερο από την σταθερή αδειοδότηση ανά διακομιστή.
Integration Cloud
Μπορείτε να επιταχύνετε έργα ενοποίησης δεδομένων στο cloud και στις εγκαταστάσεις σας χρησιμοποιώντας μια εξαιρετικά επεκτάσιμη και ασφαλή πλατφόρμα ενοποίησης cloud ως υπηρεσία (iPaaS). Το Talend Integration Cloud προσφέρει συνδεσιμότητα, ενσωματωμένη ποιότητα δεδομένων και εγγενή δημιουργία κώδικα.
Πρόκειται για μια ασφαλή πλατφόρμα ενσωμάτωσης στο cloud που επιτρέπει στους χρήστες IT και στις επιχειρήσεις να συνδέουν συστήματα cloud και εσωτερικά. Οι εργασίες που σχεδιάζονται στο cloud μπορούν επίσης να διαχειρίζονται, να παρακολουθούνται και να ελέγχονται εκεί.
Οφέλη Ενσωμάτωσης Cloud
Ο παρακάτω πίνακας συγκρίνει το Talend Integration Cloud με την χειρόγραφα κωδικοποιημένη εναλλακτική λύση που προορίζεται να αντικαταστήσει.
| Talend Integration Cloud | άλλα Εργαλεία |
|---|---|
| 900+ στοιχεία drag-n-drop | Κωδικοποίηση χειρός που δεν είναι παραγωγική |
| Δημιουργεί βελτιστοποιημένο κώδικα | Χρειάζονται εξειδικευμένες δεξιότητες |
| Συνεργασία & διαχείριση | Δύσκολο να διατηρηθεί |
| Χρυσή υποστήριξη (SLA) | Περιορισμένη υποστήριξη |
Τι είναι το Talend Open Studio;
Το Talend Open Studio ήταν μια ανοιχτή αρχιτεκτονική για ενοποίηση δεδομένων, δημιουργία προφίλ δεδομένων, μεγάλα δεδομένα, ενοποίηση cloud και πολλά άλλα.
Πρόκειται για ένα περιβάλλον GUI που προσφέρει περισσότερες από 1000 προκατασκευασμένες συνδέσεις. Αυτό διευκολύνει την εκτέλεση λειτουργιών όπως ο μετασχηματισμός αρχείων, η φόρτωση δεδομένων και η μετακίνηση και μετονομασία αρχείων. Κάθε στοιχείο μπορεί να ρυθμιστεί ώστε να ορίζει μια σύνθετη διαδικασία.
Οι εργασίες ολοκλήρωσης δημιουργούνται από στοιχεία Talend που έχουν διαμορφωθεί αντί να κωδικοποιηθούν. Οι εργασίες μπορούν να εκτελεστούν από το εσωτερικό του περιβάλλοντος ανάπτυξης ή να εξαχθούν και να εκτελεστούν ως ανεξάρτητα σενάρια.
Οφέλη από τη χρήση του Talend Open Studio
- Μειώνει τον χρόνο ανάπτυξης της ενσωμάτωσης από εβδομάδες και μήνες σε ημέρες ή ακόμα και ώρες.
- Μετατρέπει και ενημερώνει δεδομένα που τηρούνται σε διάφορες πηγές.
- Παρακολουθεί και διαχειρίζεται δύσκολες αναπτύξεις με ευκολία.
- Προσφέρει ένα από τα χαμηλότερα κόστη ιδιοκτησίας από οποιαδήποτε συγκρίσιμη λύση.
- Κληρονομεί τη δύναμη του υποκείμενου Java πλατφόρμα προγραμματισμού.
- Μια μεγάλη ποικιλία από υποδοχές πηγής και προορισμού το καθιστά μια ισχυρή επιλογή σε ολόκληρο τον κλάδο.
- Διαθέτει ισχυρό αρχείο καταγραφής πολλαπλών σχημάτων και αναφορές συμφωνίας μετά από μια ροή δεδομένων ή μετεγκατάσταση.
Σε σύγκριση με μια παραδοσιακή ιδιόκτητη μηχανή ETL, οι διαφορές μοιάζουν με αυτό:
| Κληρονομιά ETL | Τάλεντ |
|---|---|
| Μηχανή Ιδιότητας | Ανοικτό |
| Δύσκολη κλίμακα Μεγάλων Δεδομένων | Δημιουργεί εγγενή κώδικα |
| Ακριβά | Χαμηλό TCO |
Σημείωση: Επειδή το Open Studio έφτασε στο τέλος της ζωής του στις 31 Ιανουαρίου 2024, η δωρεάν έκδοση δεν λαμβάνει ενημερώσεις ασφαλείας. Οι ομάδες που εξακολουθούν να το χρησιμοποιούν θα πρέπει να σχεδιάσουν μια μετάβαση στο Qlik Talend Cloud ή σε άλλη υποστηριζόμενη πλατφόρμα.
Talend Open Studio Archiδομή
Η αρχιτεκτονική χωρίζεται σε τρία βασικά μπλοκ — πελάτες, διακομιστή και βάσεις δεδομένων — συν τον χώρο εργασίας και το αποθετήριο που περιέχουν τα αρχεία και τα μεταδεδομένα ενός έργου. Το παρακάτω διάγραμμα δείχνει πώς συνδέονται.
Πελάτες
Το μπλοκ Πελάτες περιλαμβάνει ένα ή περισσότερα Talend Studios και προγράμματα περιήγησης ιστού, τα οποία μπορούν να εκτελούνται στον ίδιο ή σε διαφορετικούς υπολογιστές. Το Talend Studio σάς επιτρέπει να δημιουργείτε διαδικασίες ενοποίησης δεδομένων ανεξάρτητα από τον όγκο δεδομένων ή την πολυπλοκότητα της διαδικασίας.
Talend Server
Το μπλοκ διακομιστή Talend περιλαμβάνει έναν διακομιστή εφαρμογών που βασίζεται στο web. Επιτρέπει τη διαχείριση και τη συντήρηση όλων των έργων και διατηρεί λογαριασμούς χρηστών, δικαιώματα πρόσβασης και εξουσιοδότηση έργων στη βάση δεδομένων Διαχείρισης.
βάση δεδομένων
Το μπλοκ Βάσεων Δεδομένων καλύπτει τις βάσεις δεδομένων Διαχείρισης, Ελέγχου και Παρακολούθησης. Η Διαχείριση διαχειρίζεται τους λογαριασμούς χρηστών, τα δικαιώματα πρόσβασης και την εξουσιοδότηση έργων. Η βάση δεδομένων Ελέγχου βοηθά στην αξιολόγηση διαφόρων πτυχών των εργασιών, ώστε να μπορεί να δημιουργηθεί ένα σύστημα υποστήριξης αποφάσεων προσανατολισμένο στις διαδικασίες.
Χώρος εργασίας
Στο Talend, ένας χώρος εργασίας είναι ένας κατάλογος όπου αποθηκεύετε όλους τους φακέλους του έργου. Χρειάζεστε τουλάχιστον έναν κατάλογο χώρου εργασίας ανά σύνδεση αποθετηρίου. Το Talend μπορεί να συνδεθεί σε πολλούς καταλόγους χώρων εργασίας εάν δεν θέλετε να χρησιμοποιήσετε τον προεπιλεγμένο.
ΑΠΟΘΕΤΗΡΙΟ
Ένα αποθετήριο είναι ο χώρος αποθήκευσης που χρησιμοποιεί το Talend Open Studio για τη συλλογή δεδομένων που περιγράφουν επιχειρηματικά μοντέλα ή σχεδιάζουν εργασίες.ping Τα μεταδεδομένα στο αποθετήριο είναι αυτά που καθιστούν μια σύνδεση ή ένα σχήμα επαναχρησιμοποιήσιμο σε όλες τις εργασίες.
Επεκτάσεις Talend Open Studio
Το Talend Open Studio επεκτάθηκε με μια οικογένεια προϊόντων που πρόσθεσαν δυνατότητες διακυβέρνησης, ποιότητας και εξυπηρέτησης:
- Talend Integration Suite
- Talend On Demand
- Ποιότητα δεδομένων Talend
- Talend ESB
- Talend Big Data Integration
Αυτά τα ονόματα χρονολογούνται από την εποχή του Open Studio. Στο Qlik, οι ισοδύναμες δυνατότητες παρέχονται εντός του Qlik Talend Cloud και όχι ως ξεχωριστές λήψεις.
