Hoe HIVE Metastore met MYSQL te installeren en configureren

⚡ Slimme samenvatting

De Hive-metastore slaat elke tabeldefinitie, kolomnaam en gegevenstype op achter Apache Hive, en het verplaatsen van die repository van de standaard Derby-database naar... MySQL Dit maakt het mogelijk dat meerdere gebruikers tegelijkertijd verbinding maken.

  • ️ Wat het bevat: De metastore bewaart schema-metadata in relationele tabellen, terwijl de tabelgegevens zelf op HDFS blijven staan.
  • ???? Waarom Derby faalt: De meegeleverde Derby-metastore accepteert slechts één actieve sessie, waardoor deze ongeschikt is voor gedeelde of productieclusters.
  • 🔧 Vier eigenschappen: AansluitingURLDe parameters ConnectionDriverName, ConnectionUserName en ConnectionPassword in hive-site.xml verwijzen naar Hive op MySQL.
  • 🔗 Plaatsing van de bestuurder: De MySQL De JDBC-connector moet aan de Hive-bibliotheekdirectory worden gekoppeld voordat een verbindingspoging kan slagen.
  • 🧱 Schema eerst: Het hulpprogramma schematool maakt de metastore-tabellen aan, maar Hive weigert te starten met een niet-geïnitialiseerd schema.
  • 🔎 Verifieer in MySQL: Een tabel die in Hive is aangemaakt, verschijnt direct als een rij in de TBLS-tabel van de metastore-database.

Hoe installeer en configureer je de Hive-metastore met MySQL

Wat is HIVE Metastore?

De Hive metastore is een opslagplaats voor metadata (kolomnamen, gegevenstypen, opmerkingen, enz.) met betrekking tot gegevenstypen. Apache-bijenkorf gebruik MySQL or PostgreSQL. Deze Hive-metastore wordt geïmplementeerd met behulp van tabellen in een relationele database.

De metastore bevat geen gegevens die daadwerkelijk rijen bevatten. De records blijven op HDFS staan ​​en de metastore registreert alleen waar elke tabel zich bevindt en hoe de kolommen heten. Daarom kost het verlies van de metastore het schema, en niet de data zelf.

Waarom gebruiken? MySQL in Hive als Metastore

De metastore-backend is een optie, geen vast onderdeel van Hive, en de standaardversie is bewust minimaal. Drie beperkingen zorgen ervoor dat vrijwel geen enkele installatie deze optie gebruikt.

  • Standaard wordt Hive geleverd met de Derby-database als metastore.
  • Derby kan slechts één actieve gebruiker tegelijk ondersteunen.
  • Derby wordt niet aanbevolen in een productieomgeving.

De oplossing is dus:

  • Gebruik MySQL als meta-opslag aan de achterkant om meerdere gebruikers tegelijkertijd met Hive te verbinden.
  • MySQL is de beste keuze voor de zelfstandige metastore.

Hive Metastore installeren en configureren voor MySQL Database

De negen onderstaande stappen worden in de aangegeven volgorde uitgevoerd op een machine waarop Hadoop en Hive al zijn geïnstalleerd. Elke stap eindigt met een schermafbeelding van de daadwerkelijke uitvoer in de terminal of shell.

Stap 1) Installeren MySQL Server
In deze stap gaan we twee taken uitvoeren

  1. Installatie van mysql-server
  2. Controleren van de mysql-server en zijn proces

De sudo apt-get install mysql-server commando, we kunnen downloaden MySQL server. Install MySQL zoals getoond in de onderstaande screenshot.

Terminal voert sudo apt-get install mysql-server uit op Ubuntu

Na een succesvolle installatie, MySQL Het proces zal verlopen zoals weergegeven in de onderstaande schermafbeelding, waar de procescontrole bevestigt dat de service actief is.

Terminal bevestigt dat het mysql-server-proces actief is na de installatie.

Stap 2) Installeren MySQL Java connector
Het installeren van de MySQL Java connector. Dit is voor Java afhankelijkheden en verbindingsdoeleinden, omdat Hive MySQL via JDBC. De volgende schermafbeelding toont de pakketinstallatie.

Terminal installeert libmysql-java MySQL Java connectorpakket

Stap 3) Maak een zachte link voor de connector
Een symbolische link aanmaken voor de connector in de Hive lib-directory. Dit is de symbolische link tussen Java en MySQLEn dat is wat het driver-JAR-bestand op het Hive-classpath plaatst. Het commando en het resultaat ervan staan ​​hieronder.

Terminal die een symbolische link aanmaakt voor de MySQL connector JAR in de Hive lib-directory

Stap 4) Configureren MySQL opslag in Hive
De MySQL Voordat een Hive-gebruiker kan worden aangemaakt, moet de shell worden geopend als root-account, zoals hieronder wordt weergegeven.

Terminalopening MySQL shell met het commando mysql -u root -p

  • Typ mysql –u root –p gevolgd door het wachtwoord
  • Hier staat –u voor de root-gebruikersnaam en –p voor het wachtwoord.
  • Na het invoeren van bovenstaande opdracht moet de gebruiker een geldig wachtwoord invoeren en vervolgens op Enter drukken.
  • Dan zal het binnengaan in MySQL shell-modus

Stap 5) Maak een gebruikersnaam en wachtwoord aan
Een gebruikersnaam en wachtwoord aanmaken voor MySQLen het verlenen van privileges. De onderstaande schermafbeelding toont de drie instructies die binnenin worden uitgevoerd. MySQL schelp.

MySQL Het aanmaken van het hiveuser-account en het toekennen van privileges via de shell.

We moeten de opdrachten uitvoeren zoals hieronder weergegeven,

mysql> CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'hivepassword'; 
mysql> GRANT all on *.* to 'hiveuser'@localhost identified by 'hivepassword';
mysql>  flush privileges;

On MySQL 8. De gecombineerde vorm van de tweede instructie wordt niet langer correct geparseerd, omdat IDENTIFIED BY is verwijderd uit GRANT. Maak eerst het account aan en verleen het vervolgens rechten. Herhaal de CREATE USER-regel voor zowel de localhost-host als de wildcard-host.

Stap 6) Hive-site.xml configureren

  • Na stap 5 worden een gebruikersnaam en wachtwoord toegewezen aan de MySQL database en verleent toegangsrechten.
  • Hier configureren we enkele eigenschappen in Hive om een ​​verbinding tot stand te brengen met de MySQL database.

Het configuratiebestand wordt geopend vanuit de map Hive conf, zoals de volgende schermafbeelding laat zien.

Terminal opent hive-site.xml om te bewerken in de Hive-configuratiemap.

De onderstaande schermafbeelding toont het voltooide bestand met alle vier de eigenschappen op hun plaats.

hive-site.xml toont de vier verbindingseigenschappen javax.jdo.option

Uit de bovenstaande schermafbeelding kunnen we het volgende afleiden. Hier definiëren we 4 eigenschappen die nodig zijn om vast te stellen MySQL als de metastore in Hive.

Dit zijn de volgende:

  1. Deze eigenschap is voor de verbinding. URLHier definiëren we verbinding.URL in deze eigenschap. Het fungeert als de JDBC-verbindingsreeks en vertegenwoordigt tevens de locatie van de metastore.
  2. Deze eigenschap is voor de naam van het verbindingsstuurprogramma. Hier is com.mysql.jdbc.Driver de waarde die we in de waardetag moeten vermelden.
  3. Deze eigenschap wordt gebruikt om de gebruikersnaam van de verbinding te definiëren. Hier hebben we "hiveuser" als gebruikersnaam ingesteld.
  4. Deze eigenschap wordt gebruikt om het verbindingswachtwoord op te geven. Hierin hebben we "hivepassword" gedefinieerd als het gebruikerswachtwoord.

Nadat de eigenschappen in hive-site.xml zijn geplaatst, moeten we het bestand handmatig opslaan (Ctrl+S) en sluiten. Na het sluiten van dit bestand moeten we een Hive-tabel aanmaken en de tabelgegevens controleren. MySQL opslag.

Plaats deze code in hive-site.xml

hive-site.xml

<configuration>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value>
		<description>metadata is stored in a MySQL server</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
		<description>MySQL JDBC driver class</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>hiveuser</value>
		<description>user name for connecting to mysql server</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>hivepassword</value>
		<description>password for connecting to mysql server</description>
	</property>
</configuration>

De twee bovenstaande waarden zijn afhankelijk van de gebruikte connectorversie. MySQL Connector/J 8 heeft de driverklasse hernoemd naar com.mysql.cj.jdbc.Driver, en verwacht nu ook een expliciete poort- en SSL-instelling, dus een moderne URL Normaal gesproken staat er jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&useSSL=false. Omdat het wachtwoord in platte tekst staat, zou het bestand alleen leesbaar moeten zijn voor het Hive-serviceaccount.

Stap 7) Maak een tabel
Maak in Hive de tabel “guru99” aan, zoals weergegeven in de onderstaande Hive-shell.

Hive shell maakt de tabel guru99 aan met een kolom voor gehele getallen en een kolom voor tekenreeksen.

Uit de bovenstaande schermafbeelding kunnen we het volgende opmaken

  • Het aanmaken van een tabel met de naam "guru99" met twee kolomnamen
  • De kolomnamen worden vermeld met hun gegevenstypen, de ene een geheel getal en de andere een tekenreeks.

In de volgende stap gaan we controleren of het is opgeslagen in MySQL of niet.

Stap 8) Ga naar MySQL shell-modus
Eerst wordt de metastore-database geselecteerd, waarna de tabelweergave hieronder te zien is.

MySQL Het uitvoeren van shell-opdrachten zoals `use metastore` en `show tables` geeft een overzicht van de metastore-tabellen.

Uit de bovenstaande schermafbeelding kunnen we het volgende opmaken

  • Eerst moeten we de database selecteren met de optie "metastore gebruiken".
  • Zodra de metastore is gekozen, kunnen we de tabellen die erin aanwezig zijn controleren met behulp van de opdracht "show tables", zoals weergegeven in de schermafbeelding.
  • Ongeacht welke tabellen in Hive worden aangemaakt, de bijbehorende metadata wordt opgeslagen onder TBLS in de MySQL databank
  • De tabel "guru99" wordt in Hive aangemaakt, dus de bijbehorende metadata wordt daarin opgeslagen. MySQL onder TBLS

Stap 9) Voer select * from TBLS in
Controleren of de aangemaakte tabel aanwezig is in MySQL of niet. De zoekopdracht en het resultaat ervan zijn te zien in de onderstaande schermafbeelding.

MySQL De shell voert `select * from TBLS` uit en toont de rij uit de tabel guru99.

Door select * uit TBLS in te voeren, worden de tabellen weergegeven die we in de Hive-shellmodus hebben gemaakt

Uit de bovenstaande schermafbeelding kunnen we het volgende opmaken:

  • De tabelnaam "guru99" die in Hive is aangemaakt, kan worden weergegeven in MySQL shell-modus
  • Daarnaast geeft het ook informatie weer zoals de aanmaaktijd van de tabel, de toegangstijd en andere eigenschappen, zoals te zien is in de bovenstaande schermafbeelding.

Hoe initialiseer je het Hive Metastore-schema met schematool?

De vlag createDatabaseIfNotExist in de verbinding URL Het programma maakt een lege metastore-database aan, maar creëert niet de circa zeventig tabellen die Hive daarin verwacht. In Hive 1.x en latere versies is die taak weggelegd voor het hulpprogramma schematool, en kan daarom worden overgeslagen.ping Dit is de meest voorkomende reden waarom een ​​zojuist geconfigureerde metastore weigert op te starten.

$HIVE_HOME/bin/schematool -dbType mysql -initSchema

De opdracht leest dezelfde vier eigenschappen uit hive-site.xml, maakt verbinding met het hiveuser-account en voert het meegeleverde SQL-script uit dat overeenkomt met de Hive-versie. Een succesvolle uitvoering eindigt met een voltooiingsbericht, waarna de status op elk moment kan worden gecontroleerd.

$HIVE_HOME/bin/schematool -dbType mysql -info

De onderstaande vlaggen hebben betrekking op de gehele levenscyclus van een metastore-schema.

Keuze Wat het doet
-dbType Geeft de naam van de backend aan, zoals mysql, derby, postgres, oracle of mssql.
-initSchema Maakt de metastore-tabellen aan voor de huidige Hive-versie.
-info Geeft de schemaversie weer die in de database is opgeslagen.
-upgradeSchema Migreert een bestaand schema na een Hive-upgrade.
-valideren Controleert het schema op ontbrekende tabellen en versieconflicten.

Een belangrijke eigenschap om te weten voordat je begint: wanneer hive.metastore.schema.verification waar is, vergelijkt Hive de schemaversie in MySQL Het systeem controleert zichzelf en weigert te starten bij een mismatch. Die controle is een beveiliging, dus de juiste reactie is om de upgrade uit te voeren in plaats van deze uit te schakelen. MySQL De backend wordt gebruikt door de Hive-installatie die wordt beschreven in Hive installeren op Ubuntu.

Veelvoorkomende Hive Metastore-fouten en hoe u ze kunt oplossen

De meeste fouten in dit stadium leveren een van de weinige foutmeldingen op, die elk verwijzen naar een specifieke stap daarboven in plaats van naar Hive zelf.

Symptoom Oorzaak en oplossing
Versie-informatie niet gevonden in de metastore. Het schema is nooit aangemaakt. Voer schematool uit met -initSchema op dezelfde database die in de verbinding is genoemd. URL
ClassNotFoundException voor het JDBC-stuurprogramma Het connector-JAR-bestand ontbreekt in de Hive-bibliotheekmap, of Connector/J 8 is in gebruik en de klasse heet nu com.mysql.cj.jdbc.Driver. Controleer de symbolische link uit stap 3 opnieuw.
Toegang geweigerd voor gebruiker hiveuser Er zijn slechts aan één host privileges toegekend. Maak een account aan voor zowel localhost als de wildcard-host en voer vervolgens flush privileges uit.
Syntaxfout in de buurt van IDENTIFIED BY MySQL 8. Verwijder IDENTIFIED BY uit de GRANT-instructie. Voer eerst CREATE USER uit en daarna GRANT.
Het ophalen van de publieke sleutel is niet toegestaan. Connector/J 8 weigert standaard een niet-versleutelde handshake. Voeg useSSL=false en allowPublicKeyRetrieval=true toe aan de JDBC-configuratie. URL op een vertrouwd netwerk
Na een Hive-upgrade ontbreken er tabellen. Het schema komt nog steeds overeen met de oude versie. Voer schematool uit met -upgradeSchema in plaats van de schemaverificatie uit te schakelen.

Zodra de metastore betrouwbaar antwoord geeft, worden de tabeldefinities die deze vastlegt, aangemaakt met behulp van de instructies die worden beschreven in Hive-tabel aanmaken, wijzigen en verwijderen.

Veelgestelde vragen

Hive-schepen ondersteunen Derby. MySQL, PostgreSQL, Oracle en Microsoft SQL ServerEn schematool accepteert ze alle drie via de vlag -dbType. Derby blijft de standaard en is beperkt tot één sessie.

Embedded voert Derby uit binnen het Hive-proces. Local voert de metastore-code uit binnen Hive, maar tegen een externe database zoals... MySQLRemote beheert de metastore als een eigen Thrift-service die door meerdere clients wordt gedeeld.

DBS-records verwijzen naar databases, TBLS-records naar tabellen, COLUMNS_V2-records naar kolomdefinities, SDS-records naar opslagbeschrijvingen en PARTITIONS-records naar partitie-items. Deze namen zijn intern, dus raadpleeg ze voor inspectie in plaats van ze handmatig te bewerken.

Sla het op in een Hadoop-referentieprovider-keystore en verwijs hive.metastore.credential.provider.path naar dat bestand, en verwijder vervolgens de onversleutelde waarde. Het beperken van bestandsrechten op hive-site.xml is de minimale noodoplossing.

De bestanden op HDFS blijven behouden, maar alle tabel-, partitie- en kolomdefinities verdwijnen en Hive kan ze niet meer lezen. MySQL Het maken van back-ups van de metastore-database maakt daarom deel uit van een normale clusterback-up.

De Thrift metastore-service luistert standaard op poort 9083, ingesteld via hive.metastore.port. Clients bereiken deze service via hive.metastore.uris in plaats van met directe JDBC-gegevens, waardoor het databasewachtwoord niet op de clientmachines hoeft te worden opgeslagen.

Ja. Anomaliedetectie op basis van metastore-querylogboeken signaleert plotselinge pieken in het aantal aanroepen, trage partitie-weergaven en ongecontroleerde tabelgroei voordat taken een time-out bereiken. Het model markeert mogelijke oorzaken, waarna een beheerder de oorzaak alsnog bevestigt.

Copilot genereert het eigenschapsblok javax.jdo.option op basis van een korte opmerking, en agentische assistenten kunnen de volledige configuratie scripten. Controleer de driverklasse en de poort, omdat trainingsgegevens nog steeds de voorkeur geven aan de oudere connectornaam.

Vat dit bericht samen met: