So installieren und konfigurieren Sie HIVE Metastore mit MySQL

Was ist HIVE Metastore?

Der Hive-Metastore ist ein Repository, das Metadaten (Spaltennamen, Datentypen, Kommentare usw.) speichert, die sich auf Folgendes beziehen: Apache Hive mit automatisierten MySQL or PostgreSQL. Dieser Hive-Metastore wird mithilfe von Tabellen in einer relationalen Datenbank implementiert.

Im Metastore werden die Zeilen selbst nicht gespeichert. Die Datensätze verbleiben auf HDFS, und der Metastore speichert lediglich, wo sich die einzelnen Tabellen befinden und wie ihre Spalten benannt sind. Daher betrifft ein Verlust des Metastores eher das Schema als die Daten selbst.

Warum verwenden? MySQL in Hive als Metastore

Das Metastore-Backend ist optional und kein fester Bestandteil von Hive. Die standardmäßig ausgelieferte Konfiguration ist bewusst minimalistisch gehalten. Drei Einschränkungen führen dazu, dass fast alle Installationen davon abweichen.

• Standardmäßig verwendet Hive die Derby-Datenbank als Metastore.
• Derby unterstützt jeweils nur einen aktiven Benutzer.
• Derby wird für den Einsatz in einer Produktionsumgebung nicht empfohlen.

Die Lösung hier lautet also:

• Arbeiten jederzeit weiterbearbeiten können. Jede Präsentation und jeder KI-Avatar, den Sie von Grund auf neu erstellen oder hochladen, MySQL als Metadatenspeicher im Backend, um mehrere Benutzer gleichzeitig mit Hive zu verbinden
• MySQL ist die beste Wahl für den eigenständigen Metastore

So installieren und konfigurieren Sie Hive Metastore für MySQL Datenbank

Die folgenden neun Schritte werden nacheinander auf einem Rechner ausgeführt, auf dem Hadoop und Hive bereits installiert sind. Jeder Schritt endet mit einem Screenshot der jeweiligen Terminal- oder Shell-Ausgabe.

Schritt 1) ​​Installieren MySQL Server
In diesem Schritt werden wir zwei Aufgaben ausführen

1. Installation des MySQL-Servers
2. Überprüfung des MySQL-Servers und seiner Prozesse

Verwendung der sudo apt-get installieren mysql-server Befehl, wir können herunterladen MySQL Server. Installieren MySQL wie im Screenshot unten gezeigt.

Nach erfolgreicher Installation MySQL wird wie im folgenden Screenshot dargestellt ablaufen, wobei die Prozessprüfung bestätigt, dass der Dienst aktiv ist.

Schritt 2) ​​Installieren MySQL Java Anschluss
Installieren der MySQL Java Anschluss. Dieser ist für Java Abhängigkeiten und Verbindungszwecke, weil Hive erreicht MySQL über JDBC. Der nächste Screenshot zeigt die Paketinstallation.

Schritt 3) Erstellen Sie einen Softlink für den Connector
Es wird ein symbolischer Link für den Konnektor im Hive-Bibliotheksverzeichnis erstellt. Dies ist der symbolische Link zwischen Java und MySQLDadurch wird die Treiber-JAR-Datei in den Hive-Classpath aufgenommen. Der Befehl und sein Ergebnis werden unten angezeigt.

Schritt 4) Konfigurieren MySQL Speicherung in Hive
Das MySQL Wie im Folgenden gezeigt, muss die Shell als Root-Konto geöffnet werden, bevor ein Hive-Benutzer erstellt werden kann.

• Geben Sie mysql -u root -p gefolgt vom Passwort ein.
• Hierbei steht –u für den Root-Benutzernamen und –p für das Passwort.
• Nach Eingabe des obigen Befehls muss der Benutzer ein gültiges Passwort eingeben und anschließend die Eingabetaste drücken.
• Dann wird es in den Zustand eintreten MySQL Shell-Modus

Schritt 5) Erstellen Sie einen Benutzernamen und ein Passwort
Erstellen eines Benutzernamens und eines Passworts für MySQLund die Gewährung von Berechtigungen. Der Screenshot unten zeigt die drei Anweisungen, die innerhalb des Prozesses ausgeführt werden. MySQL Schale.

Wir müssen die Befehle wie unten gezeigt ausführen:

mysql> CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'hivepassword'; 
mysql> GRANT all on *.* to 'hiveuser'@localhost identified by 'hivepassword';
mysql>  flush privileges;

On MySQL 8. Die kombinierte Form der zweiten Anweisung lässt sich nicht mehr verarbeiten, da IDENTIFIED BY aus GRANT entfernt wurde. Erstellen Sie zuerst das Konto und erteilen Sie ihm anschließend die Berechtigung. Wiederholen Sie die Zeile CREATE USER sowohl für den lokalen Host als auch für den Wildcard-Host.

Schritt 6) Konfiguration der Datei hive-site.xml

• Nachdem in Schritt 5 ein Benutzername und ein Passwort zugewiesen wurden MySQL Datenbank und gewährt Berechtigungen.
• Hier konfigurieren wir einige Eigenschaften in Hive, um eine Verbindung mit dem MySQL Datenbank.

Die Konfigurationsdatei wird aus dem Hive-Konfigurationsverzeichnis geöffnet, wie der nächste Screenshot zeigt.

Der folgende Screenshot zeigt die fertige Datei, in der alle vier Eigenschaften vorhanden sind.

Aus dem obigen Screenshot lässt sich Folgendes ablesen. Hier definieren wir vier Eigenschaften, die für die Etablierung notwendig sind. MySQL als Metastore in Hive.

Dies sind wie folgt:

1. Diese Eigenschaft dient der Verbindung URLHier definieren wir die Verbindung.URL Diese Eigenschaft dient als JDBC-Verbindungszeichenfolge und repräsentiert gleichzeitig den Speicherort des Metastores.
2. Diese Eigenschaft dient dem Namen des Verbindungstreibers. Hierbei ist com.mysql.jdbc.Driver der Wert, der im Wert-Tag angegeben werden muss.
3. Diese Eigenschaft dient zur Definition des Verbindungsbenutzernamens. Hier haben wir „hiveuser“ als Benutzernamen definiert.
4. Diese Eigenschaft dient zur Angabe des Verbindungspassworts. Hier haben wir „hivepassword“ als Benutzerpasswort definiert.

Sobald die Eigenschaften in der Datei hive-site.xml eingetragen sind, muss die Datei manuell gespeichert (Strg+S) und geschlossen werden. Anschließend muss eine Hive-Tabelle erstellt und deren Details überprüft werden. MySQL Lagerung.

Platzieren Sie diesen Code in hive-site.xml

hive-site.xml

<configuration>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value>
		<description>metadata is stored in a MySQL server</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
		<description>MySQL JDBC driver class</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>hiveuser</value>
		<description>user name for connecting to mysql server</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>hivepassword</value>
		<description>password for connecting to mysql server</description>
	</property>
</configuration>

Die beiden oben genannten Werte hängen von der verwendeten Konnektorversion ab. MySQL Connector/J 8 benannte die Treiberklasse in com.mysql.cj.jdbc.Driver um und erwartet außerdem einen expliziten Port und eine SSL-Einstellung. URL Die Datei liest üblicherweise jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&useSSL=false. Da das Passwort im Klartext vorliegt, sollte die Datei nur vom Hive-Dienstkonto lesbar sein.

Schritt 7) Tabelle erstellen
Erstellen Sie die Tabelle „guru99“ in Hive, wie im folgenden Hive-Shell-Code gezeigt.

Aus dem obigen Screenshot können wir Folgendes erkennen:

• Erstellung einer Tabelle namens „guru99“ mit zwei Spaltennamen
• Die Spaltennamen werden zusammen mit ihren Datentypen angegeben, eine Spalte ist eine Ganzzahl, die andere eine Zeichenkette.

Im nächsten Schritt werden wir überprüfen, ob es gespeichert ist in MySQL oder nicht.

Schritt 8) Geben Sie Folgendes ein MySQL Shell-Modus
Zuerst wird die Metastore-Datenbank ausgewählt, und die anschließende Tabellenauflistung wird unten angezeigt.

Aus dem obigen Screenshot können wir Folgendes erkennen:

• Zuerst müssen wir die Datenbank mit „use metastore“ auswählen.
• Sobald der Metastore ausgewählt ist, können wir die darin enthaltenen Tabellen mithilfe des Befehls „show tables“ überprüfen, wie im Screenshot dargestellt.
• Unabhängig davon, welche Tabellen in Hive erstellt werden, werden die zugehörigen Metadaten unter TBLS im Verzeichnis gespeichert. MySQL Datenbank
• Die Tabelle „guru99“ wird in Hive erstellt, daher werden die entsprechenden Metadaten dort gespeichert. MySQL im Rahmen von TBLS

Schritt 9) Geben Sie „select * from TBLS“ ein
Prüfen, ob die erstellte Tabelle vorhanden ist in MySQL Oder auch nicht. Die Abfrage und ihr Ergebnis sind im folgenden Screenshot zu sehen.

Durch Eingabe von „select * from TBLS“ werden die Tabellen angezeigt, die wir im Hive-Shell-Modus erstellt haben

Aus dem obigen Screenshot können wir Folgendes erkennen:

• Der in Hive erstellte Tabellenname „guru99“ kann angezeigt werden in MySQL Shell-Modus
• Darüber hinaus liefert es auch Informationen wie Tabellenerstellungszeit, Zugriffszeit und andere Eigenschaften, wie im obigen Screenshot dargestellt.

Wie man das Hive-Metastore-Schema mit schematool initialisiert

Das Flag "createDatabaseIfNotExist" in der Verbindung URL Es wird zwar eine leere Metastore-Datenbank erstellt, aber nicht die etwa siebzig Tabellen, die Hive darin erwartet. In Hive 1.x und späteren Versionen übernimmt das Dienstprogramm `schematool` diese Aufgabe.ping Dies ist der mit Abstand häufigste Grund dafür, dass ein neu konfigurierter Metastore nicht startet.

$HIVE_HOME/bin/schematool -dbType mysql -initSchema

Der Befehl liest dieselben vier Eigenschaften aus der Datei hive-site.xml, stellt eine Verbindung zum Hive-Benutzerkonto her und führt das mitgelieferte SQL-Skript aus, das zur Hive-Version passt. Nach erfolgreicher Ausführung wird eine Abschlussmeldung angezeigt, deren Status jederzeit überprüft werden kann.

$HIVE_HOME/bin/schematool -dbType mysql -info

Die folgenden Flags decken den gesamten Lebenszyklus eines Metastore-Schemas ab.

Eine damit zusammenhängende Eigenschaft sollte vor dem ersten Start bekannt sein. Wenn hive.metastore.schema.verification auf true gesetzt ist, vergleicht Hive die Schemaversion in MySQL Es prüft seine eigenen Einstellungen und verweigert die Ausführung bei einer Inkompatibilität. Diese Prüfung ist eine Schutzmaßnahme, daher ist die korrekte Reaktion, das Upgrade durchzuführen, anstatt es zu deaktivieren. MySQL Das Backend wird von der in der Hive-Installation beschriebenen Anwendung verwendet. Hive installieren auf Ubuntu.

Häufige Fehler im Hive-Metastore und wie man sie behebt

Bei den meisten Fehlern in dieser Phase wird eine von wenigen Meldungen ausgegeben, die jeweils auf einen bestimmten Schritt darüber und nicht auf Hive selbst verweisen.

Sobald der Metastore zuverlässig antwortet, werden die von ihm aufgezeichneten Tabellendefinitionen mit den in beschriebenen Anweisungen erstellt. Hive-Tabelle erstellen, ändern und löschen.

Häufig gestellte Fragen