Εκμάθηση Sqoop: Τι είναι το Apache Sqoop; Archiδομή & Παράδειγμα

Με: Prafulla Ranadive Prafulla Ranadive
Hours Ενημερώθηκε

Τι είναι το SQOOP στο Hadoop;

Apache SQOOP (SQL-to-Hadoop) είναι ένα εργαλείο που έχει σχεδιαστεί για να υποστηρίζει μαζική εξαγωγή και εισαγωγή δεδομένων σε HDFS από δομημένα καταστήματα δεδομένων όπως σχεσιακές βάσεις δεδομένων, αποθήκες δεδομένων επιχειρήσεων και συστήματα NoSQL. Είναι ένα εργαλείο μετεγκατάστασης δεδομένων που βασίζεται σε μια αρχιτεκτονική σύνδεσης που υποστηρίζει πρόσθετα για την παροχή συνδεσιμότητας σε νέα εξωτερικά συστήματα.

Ένα παράδειγμα περίπτωσης χρήσης του Hadoop Sqoop είναι μια επιχείρηση που εκτελεί μια νυχτερινή εισαγωγή Sqoop για να φορτώσει τα δεδομένα της ημέρας από ένα συναλλακτικό RDBMS παραγωγής σε ένα Κυψέλη αποθήκη δεδομένων για περαιτέρω ανάλυση.

Στη συνέχεια, σε αυτό το σεμινάριο Apache Sqoop, θα μάθουμε για την αρχιτεκτονική Apache Sqoop.

Κουτάλα Archiδομή

Όλα τα υπάρχοντα Συστήματα διαχείρισης βάσεων δεδομένων έχουν σχεδιαστεί με SQL στάνταρ στο μυαλό. Ωστόσο, κάθε DBMS διαφέρει ως προς τη διάλεκτο σε κάποιο βαθμό. Έτσι, αυτή η διαφορά θέτει προκλήσεις όσον αφορά τις μεταφορές δεδομένων σε όλα τα συστήματα. Τα Sqoop Connectors είναι στοιχεία που βοηθούν στην αντιμετώπιση αυτών των προκλήσεων.

Η μεταφορά δεδομένων μεταξύ του Sqoop Hadoop και του εξωτερικού συστήματος αποθήκευσης γίνεται δυνατή με τη βοήθεια των υποδοχών του Sqoop.

Το Sqoop διαθέτει συνδέσμους για εργασία με μια σειρά δημοφιλών σχεσιακών βάσεων δεδομένων, μεταξύ των οποίων MySQL, PostgreSQL, Oracle, SQL Server και DB2. Κάθε μία από αυτές τις υποδοχές γνωρίζει πώς να αλληλεπιδρά με το σχετικό DBMS. Υπάρχει επίσης μια γενική υποδοχή JDBC για σύνδεση σε οποιαδήποτε βάση δεδομένων που υποστηρίζει Javaπρωτόκολλο JDBC. Επιπλέον, το Sqoop Big data παρέχει βελτιστοποιημένες MySQL και PostgreSQL συνδέσεις που χρησιμοποιούν API ειδικά για βάση δεδομένων για την αποτελεσματική εκτέλεση μαζικών μεταφορών.

Κουτάλα Archiδομή
Κουτάλα Archiδομή

Επιπλέον, το Sqoop σε μεγάλα δεδομένα έχει διάφορες υποδοχές τρίτων για καταστήματα δεδομένων, που κυμαίνονται από επιχειρήσεις αποθήκες δεδομένων (συμπεριλαμβανομένων των Netezza, Teradata και Oracle) σε καταστήματα NoSQL (όπως το Couchbase). Ωστόσο, αυτοί οι σύνδεσμοι δεν συνοδεύονται από το πακέτο Sqoop. Αυτά πρέπει να ληφθούν χωριστά και μπορούν να προστεθούν εύκολα σε μια υπάρχουσα εγκατάσταση Sqoop.

Γιατί χρειαζόμαστε το Sqoop;

Η αναλυτική επεξεργασία με χρήση του Hadoop απαιτεί τη φόρτωση τεράστιων ποσοτήτων δεδομένων από διαφορετικές πηγές σε συστάδες Hadoop. Αυτή η διαδικασία μαζικής φόρτωσης δεδομένων στο Hadoop, από ετερογενείς πηγές και στη συνέχεια επεξεργασίας τους, συνοδεύεται από ένα συγκεκριμένο σύνολο προκλήσεων. Η διατήρηση και η διασφάλιση της συνέπειας των δεδομένων και η διασφάλιση της αποτελεσματικής χρήσης των πόρων είναι ορισμένοι παράγοντες που πρέπει να ληφθούν υπόψη πριν επιλέξετε τη σωστή προσέγγιση για τη φόρτωση δεδομένων.

Σημαντικά ζητήματα:

1. Φόρτωση δεδομένων με χρήση σεναρίων

Η παραδοσιακή προσέγγιση της χρήσης σεναρίων για τη φόρτωση δεδομένων δεν είναι κατάλληλη για μαζική φόρτωση δεδομένων στο Hadoop. αυτή η προσέγγιση είναι αναποτελεσματική και πολύ χρονοβόρα.

2. Άμεση πρόσβαση σε εξωτερικά δεδομένα μέσω της εφαρμογής Map-Reduce

Η παροχή άμεσης πρόσβασης στα δεδομένα που βρίσκονται σε εξωτερικά συστήματα (χωρίς φόρτωση στο Hadoop) για εφαρμογές μείωσης χάρτη περιπλέκει αυτές τις εφαρμογές. Άρα, αυτή η προσέγγιση δεν είναι εφικτή.

3. Εκτός από την ικανότητα εργασίας με τεράστια δεδομένα, το Hadoop μπορεί να εργαστεί με δεδομένα σε πολλές διαφορετικές μορφές. Έτσι, για να φορτωθούν τέτοια ετερογενή δεδομένα στο Hadoop, έχουν αναπτυχθεί διαφορετικά εργαλεία. Κουτάλα και Ροή είναι δύο τέτοια εργαλεία φόρτωσης δεδομένων.

Στη συνέχεια, σε αυτό το σεμινάριο Sqoop με παραδείγματα, θα μάθουμε για τη διαφορά μεταξύ Sqoop, Flume και HDFS.

Sqoop vs Flume vs HDFS στο Hadoop

Κουτάλα Ροή ΚΑΕ
Το Sqoop χρησιμοποιείται για την εισαγωγή δεδομένων από δομημένες πηγές δεδομένων όπως το RDBMS. Το Flume χρησιμοποιείται για τη μεταφορά δεδομένων μαζικής ροής σε HDFS. Το HDFS είναι ένα κατανεμημένο σύστημα αρχείων που χρησιμοποιείται από το οικοσύστημα Hadoop για την αποθήκευση δεδομένων.
Το Sqoop έχει αρχιτεκτονική που βασίζεται σε συνδέσμους. Οι σύνδεσμοι γνωρίζουν πώς να συνδέονται με την αντίστοιχη πηγή δεδομένων και να ανακτούν τα δεδομένα. Το Flume έχει αρχιτεκτονική βασισμένη σε πράκτορες. Εδώ, γράφεται ένας κώδικας (ο οποίος ονομάζεται «πράκτορας») που φροντίζει για την ανάκτηση δεδομένων. Το HDFS έχει μια κατανεμημένη αρχιτεκτονική όπου τα δεδομένα διανέμονται σε πολλούς κόμβους δεδομένων.
Το HDFS είναι ένας προορισμός για εισαγωγή δεδομένων με χρήση του Sqoop. Τα δεδομένα ρέουν στο HDFS μέσω μηδέν ή περισσότερων καναλιών. Το HDFS είναι ο απόλυτος προορισμός για αποθήκευση δεδομένων.
Η φόρτωση δεδομένων Sqoop δεν βασίζεται σε συμβάντα. Το φορτίο δεδομένων ροής μπορεί να οδηγηθεί από ένα συμβάν. Το HDFS απλώς αποθηκεύει δεδομένα που του παρέχονται με οποιοδήποτε μέσο.
Για να εισαγάγετε δεδομένα από πηγές δομημένων δεδομένων, πρέπει να χρησιμοποιήσετε μόνο εντολές Sqoop, επειδή οι σύνδεσμοί του ξέρουν πώς να αλληλεπιδρούν με πηγές δομημένων δεδομένων και να ανακτούν δεδομένα από αυτές. Για να φορτωθούν δεδομένα ροής, όπως tweets που δημιουργούνται στο Twitter ή αρχεία καταγραφής ενός διακομιστή ιστού, θα πρέπει να χρησιμοποιείται το Flume. Οι πράκτορες Flume έχουν κατασκευαστεί για την ανάκτηση δεδομένων ροής. Το HDFS έχει τις δικές του ενσωματωμένες εντολές φλοιού για την αποθήκευση δεδομένων σε αυτό. Το HDFS δεν μπορεί να εισαγάγει δεδομένα ροής