Hoe HIVE Metastore met MYSQL te installeren en configureren
⚡ Slimme samenvatting
De Hive-metastore slaat elke tabeldefinitie, kolomnaam en gegevenstype op achter Apache Hive, en het verplaatsen van die repository van de standaard Derby-database naar... MySQL Dit maakt het mogelijk dat meerdere gebruikers tegelijkertijd verbinding maken.

Wat is HIVE Metastore?
De Hive metastore is een opslagplaats voor metadata (kolomnamen, gegevenstypen, opmerkingen, enz.) met betrekking tot gegevenstypen. Apache-bijenkorf gebruik MySQL or PostgreSQL. Deze Hive-metastore wordt geïmplementeerd met behulp van tabellen in een relationele database.
De metastore bevat geen gegevens die daadwerkelijk rijen bevatten. De records blijven op HDFS staan en de metastore registreert alleen waar elke tabel zich bevindt en hoe de kolommen heten. Daarom kost het verlies van de metastore het schema, en niet de data zelf.
Waarom gebruiken? MySQL in Hive als Metastore
De metastore-backend is een optie, geen vast onderdeel van Hive, en de standaardversie is bewust minimaal. Drie beperkingen zorgen ervoor dat vrijwel geen enkele installatie deze optie gebruikt.
- Standaard wordt Hive geleverd met de Derby-database als metastore.
- Derby kan slechts één actieve gebruiker tegelijk ondersteunen.
- Derby wordt niet aanbevolen in een productieomgeving.
De oplossing is dus:
- Gebruik MySQL als meta-opslag aan de achterkant om meerdere gebruikers tegelijkertijd met Hive te verbinden.
- MySQL is de beste keuze voor de zelfstandige metastore.
Hive Metastore installeren en configureren voor MySQL Database
De negen onderstaande stappen worden in de aangegeven volgorde uitgevoerd op een machine waarop Hadoop en Hive al zijn geïnstalleerd. Elke stap eindigt met een schermafbeelding van de daadwerkelijke uitvoer in de terminal of shell.
Stap 1) Installeren MySQL Server
In deze stap gaan we twee taken uitvoeren
- Installatie van mysql-server
- Controleren van de mysql-server en zijn proces
De sudo apt-get install mysql-server commando, we kunnen downloaden MySQL server. Install MySQL zoals getoond in de onderstaande screenshot.
Na een succesvolle installatie, MySQL Het proces zal verlopen zoals weergegeven in de onderstaande schermafbeelding, waar de procescontrole bevestigt dat de service actief is.
Stap 2) Installeren MySQL Java connector
Het installeren van de MySQL Java connector. Dit is voor Java afhankelijkheden en verbindingsdoeleinden, omdat Hive MySQL via JDBC. De volgende schermafbeelding toont de pakketinstallatie.
Stap 3) Maak een zachte link voor de connector
Een symbolische link aanmaken voor de connector in de Hive lib-directory. Dit is de symbolische link tussen Java en MySQLEn dat is wat het driver-JAR-bestand op het Hive-classpath plaatst. Het commando en het resultaat ervan staan hieronder.
Stap 4) Configureren MySQL opslag in Hive
De MySQL Voordat een Hive-gebruiker kan worden aangemaakt, moet de shell worden geopend als root-account, zoals hieronder wordt weergegeven.
- Typ mysql –u root –p gevolgd door het wachtwoord
- Hier staat –u voor de root-gebruikersnaam en –p voor het wachtwoord.
- Na het invoeren van bovenstaande opdracht moet de gebruiker een geldig wachtwoord invoeren en vervolgens op Enter drukken.
- Dan zal het binnengaan in MySQL shell-modus
Stap 5) Maak een gebruikersnaam en wachtwoord aan
Een gebruikersnaam en wachtwoord aanmaken voor MySQLen het verlenen van privileges. De onderstaande schermafbeelding toont de drie instructies die binnenin worden uitgevoerd. MySQL schelp.
We moeten de opdrachten uitvoeren zoals hieronder weergegeven,
mysql> CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'hivepassword'; mysql> GRANT all on *.* to 'hiveuser'@localhost identified by 'hivepassword'; mysql> flush privileges;
On MySQL 8. De gecombineerde vorm van de tweede instructie wordt niet langer correct geparseerd, omdat IDENTIFIED BY is verwijderd uit GRANT. Maak eerst het account aan en verleen het vervolgens rechten. Herhaal de CREATE USER-regel voor zowel de localhost-host als de wildcard-host.
Stap 6) Hive-site.xml configureren
- Na stap 5 worden een gebruikersnaam en wachtwoord toegewezen aan de MySQL database en verleent toegangsrechten.
- Hier configureren we enkele eigenschappen in Hive om een verbinding tot stand te brengen met de MySQL database.
Het configuratiebestand wordt geopend vanuit de map Hive conf, zoals de volgende schermafbeelding laat zien.
De onderstaande schermafbeelding toont het voltooide bestand met alle vier de eigenschappen op hun plaats.
Uit de bovenstaande schermafbeelding kunnen we het volgende afleiden. Hier definiëren we 4 eigenschappen die nodig zijn om vast te stellen MySQL als de metastore in Hive.
Dit zijn de volgende:
- Deze eigenschap is voor de verbinding. URLHier definiëren we verbinding.URL in deze eigenschap. Het fungeert als de JDBC-verbindingsreeks en vertegenwoordigt tevens de locatie van de metastore.
- Deze eigenschap is voor de naam van het verbindingsstuurprogramma. Hier is com.mysql.jdbc.Driver de waarde die we in de waardetag moeten vermelden.
- Deze eigenschap wordt gebruikt om de gebruikersnaam van de verbinding te definiëren. Hier hebben we "hiveuser" als gebruikersnaam ingesteld.
- Deze eigenschap wordt gebruikt om het verbindingswachtwoord op te geven. Hierin hebben we "hivepassword" gedefinieerd als het gebruikerswachtwoord.
Nadat de eigenschappen in hive-site.xml zijn geplaatst, moeten we het bestand handmatig opslaan (Ctrl+S) en sluiten. Na het sluiten van dit bestand moeten we een Hive-tabel aanmaken en de tabelgegevens controleren. MySQL opslag.
Plaats deze code in hive-site.xml
hive-site.xml
<configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value> <description>metadata is stored in a MySQL server</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>MySQL JDBC driver class</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hiveuser</value> <description>user name for connecting to mysql server</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>hivepassword</value> <description>password for connecting to mysql server</description> </property> </configuration>
De twee bovenstaande waarden zijn afhankelijk van de gebruikte connectorversie. MySQL Connector/J 8 heeft de driverklasse hernoemd naar com.mysql.cj.jdbc.Driver, en verwacht nu ook een expliciete poort- en SSL-instelling, dus een moderne URL Normaal gesproken staat er jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&useSSL=false. Omdat het wachtwoord in platte tekst staat, zou het bestand alleen leesbaar moeten zijn voor het Hive-serviceaccount.
Stap 7) Maak een tabel
Maak in Hive de tabel “guru99” aan, zoals weergegeven in de onderstaande Hive-shell.
Uit de bovenstaande schermafbeelding kunnen we het volgende opmaken
- Het aanmaken van een tabel met de naam "guru99" met twee kolomnamen
- De kolomnamen worden vermeld met hun gegevenstypen, de ene een geheel getal en de andere een tekenreeks.
In de volgende stap gaan we controleren of het is opgeslagen in MySQL of niet.
Stap 8) Ga naar MySQL shell-modus
Eerst wordt de metastore-database geselecteerd, waarna de tabelweergave hieronder te zien is.
Uit de bovenstaande schermafbeelding kunnen we het volgende opmaken
- Eerst moeten we de database selecteren met de optie "metastore gebruiken".
- Zodra de metastore is gekozen, kunnen we de tabellen die erin aanwezig zijn controleren met behulp van de opdracht "show tables", zoals weergegeven in de schermafbeelding.
- Ongeacht welke tabellen in Hive worden aangemaakt, de bijbehorende metadata wordt opgeslagen onder TBLS in de MySQL databank
- De tabel "guru99" wordt in Hive aangemaakt, dus de bijbehorende metadata wordt daarin opgeslagen. MySQL onder TBLS
Stap 9) Voer select * from TBLS in
Controleren of de aangemaakte tabel aanwezig is in MySQL of niet. De zoekopdracht en het resultaat ervan zijn te zien in de onderstaande schermafbeelding.
Door select * uit TBLS in te voeren, worden de tabellen weergegeven die we in de Hive-shellmodus hebben gemaakt
Uit de bovenstaande schermafbeelding kunnen we het volgende opmaken:
- De tabelnaam "guru99" die in Hive is aangemaakt, kan worden weergegeven in MySQL shell-modus
- Daarnaast geeft het ook informatie weer zoals de aanmaaktijd van de tabel, de toegangstijd en andere eigenschappen, zoals te zien is in de bovenstaande schermafbeelding.
Hoe initialiseer je het Hive Metastore-schema met schematool?
De vlag createDatabaseIfNotExist in de verbinding URL Het programma maakt een lege metastore-database aan, maar creëert niet de circa zeventig tabellen die Hive daarin verwacht. In Hive 1.x en latere versies is die taak weggelegd voor het hulpprogramma schematool, en kan daarom worden overgeslagen.ping Dit is de meest voorkomende reden waarom een zojuist geconfigureerde metastore weigert op te starten.
$HIVE_HOME/bin/schematool -dbType mysql -initSchema
De opdracht leest dezelfde vier eigenschappen uit hive-site.xml, maakt verbinding met het hiveuser-account en voert het meegeleverde SQL-script uit dat overeenkomt met de Hive-versie. Een succesvolle uitvoering eindigt met een voltooiingsbericht, waarna de status op elk moment kan worden gecontroleerd.
$HIVE_HOME/bin/schematool -dbType mysql -info
De onderstaande vlaggen hebben betrekking op de gehele levenscyclus van een metastore-schema.
| Keuze | Wat het doet |
|---|---|
| -dbType | Geeft de naam van de backend aan, zoals mysql, derby, postgres, oracle of mssql. |
| -initSchema | Maakt de metastore-tabellen aan voor de huidige Hive-versie. |
| -info | Geeft de schemaversie weer die in de database is opgeslagen. |
| -upgradeSchema | Migreert een bestaand schema na een Hive-upgrade. |
| -valideren | Controleert het schema op ontbrekende tabellen en versieconflicten. |
Een belangrijke eigenschap om te weten voordat je begint: wanneer hive.metastore.schema.verification waar is, vergelijkt Hive de schemaversie in MySQL Het systeem controleert zichzelf en weigert te starten bij een mismatch. Die controle is een beveiliging, dus de juiste reactie is om de upgrade uit te voeren in plaats van deze uit te schakelen. MySQL De backend wordt gebruikt door de Hive-installatie die wordt beschreven in Hive installeren op Ubuntu.
Veelvoorkomende Hive Metastore-fouten en hoe u ze kunt oplossen
De meeste fouten in dit stadium leveren een van de weinige foutmeldingen op, die elk verwijzen naar een specifieke stap daarboven in plaats van naar Hive zelf.
| Symptoom | Oorzaak en oplossing |
|---|---|
| Versie-informatie niet gevonden in de metastore. | Het schema is nooit aangemaakt. Voer schematool uit met -initSchema op dezelfde database die in de verbinding is genoemd. URL |
| ClassNotFoundException voor het JDBC-stuurprogramma | Het connector-JAR-bestand ontbreekt in de Hive-bibliotheekmap, of Connector/J 8 is in gebruik en de klasse heet nu com.mysql.cj.jdbc.Driver. Controleer de symbolische link uit stap 3 opnieuw. |
| Toegang geweigerd voor gebruiker hiveuser | Er zijn slechts aan één host privileges toegekend. Maak een account aan voor zowel localhost als de wildcard-host en voer vervolgens flush privileges uit. |
| Syntaxfout in de buurt van IDENTIFIED BY | MySQL 8. Verwijder IDENTIFIED BY uit de GRANT-instructie. Voer eerst CREATE USER uit en daarna GRANT. |
| Het ophalen van de publieke sleutel is niet toegestaan. | Connector/J 8 weigert standaard een niet-versleutelde handshake. Voeg useSSL=false en allowPublicKeyRetrieval=true toe aan de JDBC-configuratie. URL op een vertrouwd netwerk |
| Na een Hive-upgrade ontbreken er tabellen. | Het schema komt nog steeds overeen met de oude versie. Voer schematool uit met -upgradeSchema in plaats van de schemaverificatie uit te schakelen. |
Zodra de metastore betrouwbaar antwoord geeft, worden de tabeldefinities die deze vastlegt, aangemaakt met behulp van de instructies die worden beschreven in Hive-tabel aanmaken, wijzigen en verwijderen.








