Πώς να εγκαταστήσετε το HBase σε Ubuntu: Οδηγός βήμα προς βήμα

Το Apache HBase είναι ένα κατανεμημένο, βάση δεδομένων με προσανατολισμό στηλών που εκτελείται πάνω από το Hadoop Distributed File System (HDFS). Πριν ξεκινήσετε, βεβαιωθείτε ότι έχετε ένα υποστηριζόμενο Java έχει εγκατασταθεί το runtime και έχει οριστεί το JAVA_HOME. Οι ψευδο-κατανεμημένες και πλήρως κατανεμημένες λειτουργίες απαιτούν επίσης μια λειτουργική Hadoop εγκατάσταση.

Λειτουργίες εγκατάστασης Apache HBase

Το Apache HBase μπορεί να εγκατασταθεί σε τρεις λειτουργίες. Τα χαρακτηριστικά αυτών των λειτουργιών αναφέρονται παρακάτω.

1) Εγκατάσταση αυτόνομης λειτουργίας (Καμία εξάρτηση από το σύστημα Hadoop)

• Αυτή είναι η προεπιλεγμένη λειτουργία του HBase.
• Εκτελείται ενάντια στο τοπικό σύστημα αρχείων.
• Δεν χρησιμοποιεί Hadoop HDFS.
• Μόνο ο δαίμονας HMaster μπορεί να εκτελεστεί.
• Δεν συνιστάται για περιβάλλον παραγωγής.
• Εκτελείται σε μία μόνο JVM.

2) Εγκατάσταση ψευδο-κατανεμημένου τρόπου λειτουργίας (σύστημα Hadoop ενός κόμβου + εγκατάσταση HBase)

• Συνεχίζει Hadoop HDFS.
• Όλοι οι δαίμονες εκτελούνται σε έναν μόνο κόμβο.
• Συνιστάται για περιβάλλον παραγωγής.

3) Εγκατάσταση πλήρως κατανεμημένης λειτουργίας (περιβάλλον Hadoop πολλαπλών κόμβων + εγκατάσταση HBase)

• Συνεχίζει Hadoop HDFS.
• Όλοι οι δαίμονες εκτελούνται σε όλους τους κόμβους που υπάρχουν στο σύμπλεγμα.
• Συνιστάται ανεπιφύλακτα για περιβάλλον παραγωγής.

Για την εγκατάσταση του Hadoop, ανατρέξτε σε αυτό Οδηγός εγκατάστασης Hadoop.

Τα παρακάτω στιγμιότυπα οθόνης χρησιμοποιούν το HBase 1.1.2. Οι τρέχουσες σταθερές εκδόσεις είναι οι σειρές HBase 2.5.x και 2.6.x (Java 8 ή 11), αλλά τα βήματα εγκατάστασης και τα αρχεία διαμόρφωσης παραμένουν ουσιαστικά τα ίδια.

Πώς να κατεβάσετε τη σταθερή έκδοση του αρχείου tar HBase

Βήμα 1) Μεταβείτε στο Επίσημη σελίδα λήψεων Apache HBase για να κατεβάσετε το HBase. Θα ανοίξει η ιστοσελίδα λήψεων όπως φαίνεται παρακάτω.

Βήμα 2) Επιλέξτε την σταθερή έκδοση όπως φαίνεται παρακάτω, έκδοση HBase 1.1.2.

Βήμα 3) Κάντε κλικ στο hbase-1.1.2-bin.tar.gz. Θα γίνει λήψη του αρχείου tar. Αντιγράψτε το αρχείο tar σε μια θέση εγκατάστασης.

Πώς να εγκαταστήσετε το HBase σε Ubuntu με αυτόνομη λειτουργία

Ακολουθεί η βήμα προς βήμα διαδικασία εγκατάστασης της αυτόνομης λειτουργίας HBase στο Ubuntu:

Βήμα 1) Τοποθετήστε την παρακάτω εντολή. Τοποθετήστε το hbase-1.1.2-bin.tar.gz στο /home/hduser.

Βήμα 2) Αποσυμπιέστε το εκτελώντας την εντολή $tar -xvf hbase-1.1.2-bin.tar.gz. Θα αποσυμπιέσει τα περιεχόμενα και θα δημιουργήσει το hbase-1.1.2 στην τοποθεσία /home/hduser.

Βήμα 3) Ανοίξτε το hbase-env.sh όπως παρακάτω και αναφέρετε τη διαδρομή JAVA_HOME στην τοποθεσία, όπως φαίνεται παρακάτω.

Βήμα 4) Ανοίξτε το αρχείο ~/.bashrc και αναφέρετε τη διαδρομή HBASE_HOME όπως φαίνεται παρακάτω.

export HBASE_HOME=/home/hduser/hbase-1.1.1
export PATH= $PATH:$HBASE_HOME/bin

Το ενημερωμένο αρχείο ~/.bashrc με την καταχώρηση HBASE_HOME εμφανίζεται παρακάτω.

Βήμα 5) Προσθέστε ιδιότητες στο αρχείο. Ανοίξτε το hbase-site.xml και τοποθετήστε τις ακόλουθες ιδιότητες μέσα στο αρχείο.

hduser@ubuntu$ gedit hbase-site.xml (κωδικός όπως παρακάτω)

<property>

<name>hbase.rootdir</name>

<value>file:///home/hduser/HBASE/hbase</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/home/hduser/HBASE/zookeeper</value>

</property>

Το αρχείο hbase-site.xml άνοιξε σε gedit φαίνεται παρακάτω.

Εδώ τοποθετούμε δύο ιδιότητες:

• Ένα για τον ριζικό κατάλογο HBase και
• Το δεύτερο για τον κατάλογο δεδομένων που αντιστοιχεί σε ZooKeeper.

Όλες οι δραστηριότητες του HMaster και του ZooKeeper οδηγούν σε αυτό το αρχείο hbase-site.xml.

Βήμα 6) Αναφέρετε τις IP. Ανοίξτε το αρχείο hosts που υπάρχει στη θέση /etc. και αναφέρετε τις IP όπως φαίνεται παρακάτω.

Βήμα 7) Τώρα εκτελέστε το start-hbase.sh στη θέση hbase-1.1.1/bin όπως φαίνεται παρακάτω. Στη συνέχεια, μπορείτε να ελέγξετε με την εντολή jps για να δείτε αν το HMaster εκτελείται ή όχι.

Βήμα 8) Ξεκινήστε το HBase Shell. Το HBase shell μπορεί να ξεκινήσει χρησιμοποιώντας το κέλυφος hbase εντολή και θα εισέλθει σε λειτουργία διαδραστικού κελύφους όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης. Μόλις εισέλθει σε λειτουργία κελύφους, μπορούμε να εκτελέσουμε όλους τους τύπους εντολών.

Η αυτόνομη λειτουργία δεν απαιτεί να ξεκινήσουν οι δαίμονες Hadoop. Το HBase μπορεί να λειτουργήσει ανεξάρτητα.

HBase Pseudo Distributed Mode of Installation

Αυτή είναι μια άλλη μέθοδος εγκατάστασης του Apache HBase, γνωστή ως Pseudo Distributed mode εγκατάστασης. Παρακάτω παρατίθενται τα βήματα για την εγκατάσταση του HBase μέσω της Pseudo Distributed mode.

Βήμα 1) Τοποθετήστε το hbase-1.1.2-bin.tar.gz στο /home/hduser.

Βήμα 2) Αποσυμπιέστε το εκτελώντας την εντολή $tar -xvf hbase-1.1.2-bin.tar.gz. Θα αποσυμπιέσει τα περιεχόμενα και θα δημιουργήσει το hbase-1.1.2 στην τοποθεσία /home/hduser.

Βήμα 3) Ανοίξτε το hbase-env.sh όπως παρακάτω, αναφέρετε τη διαδρομή JAVA_HOME και τη διαδρομή των Region Servers στην τοποθεσία και εξαγάγετε την εντολή όπως φαίνεται παρακάτω.

Βήμα 4) Σε αυτό το βήμα, θα ανοίξουμε το αρχείο ~/.bashrc και θα αναφέρουμε τη διαδρομή HBASE_HOME όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης.

Βήμα 5) Ανοίξτε το hbase-site.xml και αναφέρετε τις παρακάτω ιδιότητες στο αρχείο (κωδικός όπως παρακάτω).

<property>

<name>hbase.rootdir</name>

<value>hdfs://localhost:9000/hbase</value>

</property>

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<property>

<name>hbase.zookeeper.quorum</name>

<value>localhost</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>hbase.zookeeper.property.clientPort</name>

<value>2181</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/home/hduser/hbase/zookeeper</value>

</property>

Το αρχείο hbase-site.xml με τις ψευδο-κατανεμημένες ιδιότητες εμφανίζεται παρακάτω.

Η υπόλοιπη διαμόρφωση του ZooKeeper εμφανίζεται παρακάτω.

Κάθε ιδιότητα στο αρχείο παίζει έναν συγκεκριμένο ρόλο:

• Ρύθμιση του ριζικού καταλόγου HBase στην ιδιότητα hbase.rootdir.
• Για μια κατανεμημένη ρύθμιση, η παράμετρος hbase.cluster.distributed πρέπει να οριστεί σε true.
• Η ιδιότητα απαρτίας ZooKeeper θα πρέπει να ρυθμιστεί εδώ.
• Η αναπαραγωγή ρυθμίζεται στην ιδιότητα dfs.replication. Από προεπιλογή, τοποθετούμε την αναπαραγωγή ως 1. Στην πλήρως κατανεμημένη λειτουργία, υπάρχουν πολλαπλοί κόμβοι δεδομένων, επομένως μπορείτε να αυξήσετε την αναπαραγωγή τοποθετώντας μια τιμή μεγαλύτερη από 1 στην ιδιότητα dfs.replication.
• Η θύρα-πελάτης θα πρέπει να αναφέρεται στην ιδιότητα hbase.zookeeper.property.clientPort.
• Ο κατάλογος δεδομένων του ZooKeeper μπορεί να αναφερθεί στην ιδιότητα hbase.zookeeper.property.dataDir.

Βήμα 6) Ξεκινήστε πρώτα τους δαίμονες Hadoop και στη συνέχεια ξεκινήστε τους δαίμονες HBase όπως φαίνεται παρακάτω. Πρώτα πρέπει να ξεκινήσετε τους δαίμονες Hadoop χρησιμοποιώντας την εντολή ./start-all.sh όπως φαίνεται παρακάτω.

Στη συνέχεια, ξεκινήστε τους δαίμονες HBase με το hbase-start.sh, όπως φαίνεται παρακάτω.

Τώρα ελέγξτε τις διεργασίες που εκτελούνται με την εντολή jps, όπως φαίνεται παρακάτω.

Εγκατάσταση πλήρως κατανεμημένης λειτουργίας HBase

Η πλήρως κατανεμημένη λειτουργία επεκτείνει την ψευδο-κατανεμημένη ρύθμιση σε ένα πραγματικό σύμπλεγμα.

• Αυτή η ρύθμιση λειτουργεί σε λειτουργία συμπλέγματος Hadoop, όπου πολλαπλοί κόμβοι εμφανίζονται και εκτελούνται σε όλο το σύμπλεγμα.
• Η εγκατάσταση είναι η ίδια με την ψευδοκατανεμημένη λειτουργία. Η μόνη διαφορά είναι ότι θα εκτελεστεί σε πολλαπλούς κόμβους.
• Τα αρχεία διαμόρφωσης που αναφέρονται στα hbase-site.xml και hbase-env.sh είναι τα ίδια με αυτά που αναφέρονται στην ψευδολειτουργία.

Σε πλήρως κατανεμημένη λειτουργία, βεβαιωθείτε ότι η έκδοση Hadoop στο σύμπλεγμά σας ταιριάζει με τις βιβλιοθήκες Hadoop που περιλαμβάνονται στο HBase, ώστε οι δαίμονες να επικοινωνούν σωστά.

Αντιμετώπιση προβλημάτων εγκατάστασης HBase

1) Δήλωση προβλήματος: Ο κύριος διακομιστής αρχικοποιείται, αλλά οι διακομιστές περιοχής δεν αρχικοποιούνται

Η επικοινωνία μεταξύ του Master και των περιφερειακών διακομιστών γίνεται μέσω των διευθύνσεων IP τους. Ο Master αναζητά περιφερειακούς διακομιστές που εκτελούνται ή που έχουν τη διεύθυνση IP 127.0.0.1. Η διεύθυνση IP 127.0.0.1 είναι ο τοπικός κεντρικός υπολογιστής και αντιστοιχεί στον τοπικό κεντρικό υπολογιστή του Master διακομιστή.

Αιτία:

Στη διπλή επικοινωνία μεταξύ των διακομιστών περιοχής και του Κύριου, ο διακομιστής περιοχής ενημερώνει συνεχώς τον Κύριο διακομιστή ότι η διεύθυνση IP του είναι 127.0.0.1.

Λύση:

• Καταργήστε τον κόμβο ονόματος κύριου διακομιστή από την καταχώρηση τοπικού κεντρικού υπολογιστή που υπάρχει στο αρχείο hosts.
• Τοποθεσία αρχείου κεντρικού υπολογιστή: /etc/hosts.

Τι να αλλάξετε:

Ανοίξτε το /etc/hosts και μεταβείτε σε αυτήν την τοποθεσία.

127.0.0.1 fully.qualified.regionservernameregionservername localhost.localdomain localhost
: : 1              localhost3.localdomain3 localdomain3

Τροποποιήστε την παραπάνω διαμόρφωση όπως παρακάτω (αφαιρέστε το όνομα του διακομιστή περιοχής όπως επισημαίνεται παραπάνω).

127.0.0.1    localhost.localdomainlocalhost
: : 1 localhost3.localdomain3 localdomain3

2) Δήλωση προβλήματος: Δεν ήταν δυνατή η εύρεση της διεύθυνσής μου: XYZ στη λίστα των διακομιστών απαρτίας ZooKeeper

Αιτία:

• Ο διακομιστής ZooKeeper δεν ήταν δυνατό να ξεκινήσει και εμφανίζει ένα σφάλμα όπως .xyz στο όνομα του διακομιστή.
• Το HBase επιχειρεί να ξεκινήσει έναν διακομιστή ZooKeeper σε έναν υπολογιστή, αλλά ταυτόχρονα ο υπολογιστής δεν μπορεί να βρεθεί στη διαμόρφωση απαρτίας που υπάρχει στη διαμόρφωση hbase.zookeeper.quorum.

Λύση:

• Αντικαταστήστε το όνομα κεντρικού υπολογιστή με ένα όνομα κεντρικού υπολογιστή που εμφανίζεται στο μήνυμα σφάλματος.
• Εάν έχετε διακομιστή DNS, μπορείτε να ορίσετε τις παρακάτω διαμορφώσεις στο hbase-site.xml: hbase.zookeeper.dns.interface και hbase.zookeeper.dns.nameserver.

3) Δήλωση προβλήματος: Δημιουργήθηκε ένας ριζικός κατάλογος για το HBase μέσω του Hadoop DFS

• Ο Master λέει ότι πρέπει να εκτελέσετε το σενάριο μετεγκαταστάσεων HBase.
• Κατά την εκτέλεση αυτού, το σενάριο μετεγκαταστάσεων HBase απαντά ότι δεν υπάρχουν αρχεία στον ριζικό κατάλογο.

Αιτία:

• Δημιουργήθηκε ένας νέος κατάλογος για το HBase χρησιμοποιώντας το Hadoop Distributed File System.
• Εδώ, η HBase αναμένει δύο πιθανότητες:

1) Ο ριζικός κατάλογος δεν υπάρχει.

2) Μια προηγούμενη εκτελούμενη παρουσία HBase είχε αρχικοποιηθεί προηγουμένως.

Λύση:

• Επιβεβαιώστε ότι ο ριζικός κατάλογος HBase δεν υπάρχει αυτήν τη στιγμή ή έχει αρχικοποιηθεί από προηγούμενη εκτέλεση της παρουσίας HBase.
• Ως μέρος της λύσης, ακολουθήστε αυτά τα βήματα.

Βήμα 1) Χρησιμοποιήστε το Hadoop dfs για να διαγράψετε τον ριζικό κατάλογο HBase.

Βήμα 2) Το HBase δημιουργεί και αρχικοποιεί τον κατάλογο από μόνο του.

4) Δήλωση προβλήματος: Συμβάντα λήξης περιόδου λειτουργίας ZooKeeper

Αιτία:

• Οι διακομιστές HMaster ή HRegion τερματίστηκαν δημιουργώντας εξαιρέσεις.
• Αν παρατηρήσετε τα αρχεία καταγραφής, μπορείτε να εντοπίσετε τις πραγματικές εξαιρέσεις που δημιουργήθηκαν.

Τα παρακάτω δείχνουν την εξαίρεση που προέκυψε λόγω ενός συμβάντος λήξης του ZooKeeper. Τα επισημασμένα συμβάντα είναι μερικές από τις εξαιρέσεις που προέκυψαν στο αρχείο καταγραφής.

Κώδικας αρχείων καταγραφής όπως εμφανίζεται παρακάτω:

WARN org.apache.zookeeper.ClientCnxn: Exception
closing session 0x278bd16a96000f to sun.nio.ch.SelectionKeyImpl@355811ec

java.io.IOException: TIMED OUT	
at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:906)
WARN org.apache.hadoop.hbase.util.Sleeper: We slept 79410ms, ten times longer than scheduled: 5000
INFO org.apache.zookeeper.ClientCnxn: Attempting connection to server hostname/IP:PORT
INFO org.apache.zookeeper.ClientCnxn: Priming connection to java.nio.channels.SocketChannel[connected local=/IP:PORT remote=hostname/IP:PORT]
INFO org.apache.zookeeper.ClientCnxn: Server connection successful
WARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x278bd16a96000d to sun.nio.ch.SelectionKeyImpl@3544d65e

java.io.IOException: Session Expired	 
at org.apache.zookeeper.ClientCnxn$SendThread.readConnectResult(ClientCnxn.java:589)
at org.apache.zookeeper.ClientCnxn$SendThread.doIO(ClientCnxn.java:709)
at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:945)
ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired

Λύση:

• Το προεπιλεγμένο μέγεθος μνήμης RAM είναι 1 GB. Για εισαγωγές μεγάλης διάρκειας, διατηρήστε χωρητικότητα RAM μεγαλύτερη από 1 GB.
• Αυξήστε το χρονικό όριο λήξης της συνεδρίας για το ZooKeeper.
• Για να αυξήσετε το χρονικό όριο της περιόδου σύνδεσης του ZooKeeper, τροποποιήστε την ακόλουθη ιδιότητα στο hbase-site.xml, η οποία υπάρχει στη διαδρομή του φακέλου hbase/conf.
• Το προεπιλεγμένο χρονικό όριο λήξης της συνεδρίας είναι 60 δευτερόλεπτα. Μπορείτε να το αλλάξετε σε 120 δευτερόλεπτα όπως αναφέρεται παρακάτω.

<property>
    <name> zookeeper.session.timeout </name>
    <value>1200000</value>
</property>
<property>
    <name> hbase.zookeeper.property.tickTime </name>
    <value>6000</value>
</property>

Συχνές Ερωτήσεις