Hur man installerar och konfigurerar HIVE Metastore med MYSQL

Vad är HIVE Metastore?

Hive-metastore är ett arkiv som lagrar metadata (kolumnnamn, datatyper, kommentarer etc.) relaterade till Apache-bikupan med hjälp av MySQL or PostgreSQL. Denna Hive-metastore är implementerad med hjälp av tabeller i en relationsdatabas.

Ingenting i metaarkivet lagrar själva raderna. Posterna stannar på HDFS, och metaarkivet registrerar bara var varje tabell finns och vad dess kolumner heter, vilket är anledningen till att det kostar schemat snarare än data att förlora den.

Varför använda MySQL i Hive som Metastore

Metastore-backend är ett val, inte en fast del av Hive, och den levererade standarden är avsiktligt minimal. Tre begränsningar driver nästan alla installationer bort från den.

• Som standard levereras Hive med Derby-databasen som metastore.
• Derby kan endast stödja en aktiv användare åt gången.
• Derby rekommenderas inte i en produktionsmiljö.

Så lösningen här är

• Använda MySQL som metalagring i backend för att ansluta flera användare till Hive samtidigt
• MySQL är det bästa valet för den fristående metabutiken

Hur man installerar och konfigurerar Hive Metastore till MySQL Databas

De nio stegen nedan körs i ordning på en maskin som redan har Hadoop och Hive installerade. Varje steg avslutas med en skärmdump av den faktiska terminal- eller skalutdata.

Steg 1) Installera MySQL server
I detta steg kommer vi att utföra två uppgifter

1. Installation av mysql-server
2. Kontrollerar mysql-servern och dess process

Använda sudo apt-get installera mysql-server kommando, vi kan ladda ner MySQL server. Installera MySQL som visas i skärmdumpen nedan.

Efter lyckad installation, MySQL kommer att köras som visas på skärmdumpen nedan, där processkontrollen bekräftar att tjänsten är aktiv.

Steg 2) Installera MySQL Java kontakt
Installera MySQL Java kontakt. Detta är för Java beroenden och anslutningsändamål, eftersom Hive når MySQL över JDBC. Nästa skärmdump visar paketinstallationen.

Steg 3) Skapa mjuk länk för anslutning
Skapar en mjuk länk för kopplingen i Hive lib-katalogen. Detta är den mjuka länken mellan Java och MySQL, och det är det som placerar drivrutins-JAR-filen på Hive-klassvägen. Kommandot och dess resultat visas nedan.

Steg 4) Konfigurering MySQL lagring i Hive
Ocuco-landskapet MySQL Shell måste öppnas som root-konto innan någon Hive-användare kan skapas, som visas nedan.

• Skriv mysql –u root –p följt av lösenordet
• Här representerar –u root-användarnamnet och –p betecknar lösenordet
• Efter att ha angett ovanstående kommando måste användaren ange ett giltigt lösenord och sedan trycka på enter.
• Sedan kommer den att gå in i MySQL skalläge

Steg 5) Skapa användarnamn och lösenord
Skapa ett användarnamn och lösenord för MySQLoch bevilja behörigheter. Skärmdumpen nedan visar de tre satser som körs inuti MySQL skal.

Vi måste utföra kommandona som visas nedan,

mysql> CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'hivepassword'; 
mysql> GRANT all on *.* to 'hiveuser'@localhost identified by 'hivepassword';
mysql>  flush privileges;

On MySQL 8 Den kombinerade formen av den andra satsen tolkas inte längre, eftersom IDENTIFIED BY togs bort från GRANT. Skapa kontot först och ge det sedan beviljat beviljande, och upprepa raden CREATE USER för localhost-värden såväl som för jokerteckenvärden.

Steg 6) Konfigurera hive-site.xml

• Efter steg 5 tilldelas ett användarnamn och lösenord till MySQL databas och ger behörigheter.
• Här kommer vi att konfigurera några egenskaper i Hive för att få en anslutning till MySQL databas.

Konfigurationsfilen öppnas från Hive conf-katalogen, som nästa skärmdump visar.

Skärmdumpen som följer visar den färdiga filen med alla fyra egenskaper på plats.

Från skärmdumpen ovan ser vi följande. Här definierar vi fyra egenskaper som är nödvändiga för att etablera MySQL som metabutiken i Hive.

Dessa är följande:

1. Den här egenskapen är för anslutningen URLHär definierar vi anslutningURL i den här egenskapen. Den fungerar som JDBC-anslutningssträngen och representerar även metaarkivets plats.
2. Den här egenskapen är för namnet på anslutningsdrivrutinen. Här är com.mysql.jdbc.Driver det värde vi måste ange i värdetaggen.
3. Den här egenskapen används för att definiera användarnamnet för anslutningen. I detta definierade vi "hiveuser" som användarnamnet
4. Den här egenskapen används för att ange anslutningslösenordet. I detta definierade vi "hivepassword" som användarlösenordet.

När egenskaperna är placerade i hive-site.xml måste vi manuellt spara (Ctrl+S) och stänga filen. Efter att ha stängt filen måste vi skapa en Hive-tabell och kontrollera tabellinformationen i MySQL lagring.

Placera den här koden i hive-site.xml

hive-site.xml

<configuration>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value>
		<description>metadata is stored in a MySQL server</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
		<description>MySQL JDBC driver class</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>hiveuser</value>
		<description>user name for connecting to mysql server</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>hivepassword</value>
		<description>password for connecting to mysql server</description>
	</property>
</configuration>

Två värden ovan beror på vilken kontaktversion som används. MySQL Connector/J 8 döpte om drivrutinsklassen till com.mysql.cj.jdbc.Driver, och den förväntar sig också en explicit port och SSL-inställning, så en modern URL brukar läsa jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&useSSL=false. Eftersom lösenordet är i klartext bör filen endast kunna läsas av Hive-tjänstkontot.

Steg 7) Skapa tabell
Skapa tabellen "guru99" i Hive, som visas i Hive-skalet nedan.

Från ovanstående skärmdump kan vi observera följande

• Skapande av en tabell med namnet "guru99" med två kolumnnamn
• Kolumnnamnen anges med sina datatyper, den ena ett heltal och den andra en sträng

I nästa steg ska vi kontrollera om den är lagrad i MySQL eller inte.

Steg 8) Gå in i MySQL skalläge
Metaarkivdatabasen väljs först, och tabellen som följer visas nedan.

Från ovanstående skärmdump kan vi observera följande

• Först måste vi välja databasen med "använd metastore"
• När metaarkivet har valts kan vi kontrollera tabellerna som finns i det genom att använda kommandot "visa tabeller" som visas på skärmdumpen.
• Oavsett vilka tabeller som skapas i Hive lagras metadata som motsvarar dessa tabeller under TBLS i MySQL databas
• Tabellen ”guru99” skapas i Hive, så motsvarande metadata lagras i MySQL enligt TBLS

Steg 9) Ange välj * från TBLS
Kontrollerar om den skapade tabellen finns i MySQL eller inte. Frågan och dess resultat visas på skärmbilden nedan.

Genom att ange välj * från TBLS kommer den att visa tabellerna som vi skapade i Hive-skalläget

Från ovanstående skärmdump kan vi observera följande saker:

• Tabellnamnet ”guru99” som skapades i Hive kan visas i MySQL skalläge
• Utöver detta kommer den också att ge information som tidpunkten för tabellskapning, åtkomsttid och andra egenskaper som visas på skärmdumpen ovan.

Så här initierar du Hive-metastore-schemat med schematool

Flaggan createDatabaseIfNotExist i anslutningen URL skapar en tom metastore-databas, men den skapar inte de ungefär sjuttio tabeller som Hive förväntar sig inuti den. I Hive 1.x och senare tillhör det jobbet schematool-verktyget, och hoppa överping Det är den enskilt vanligaste orsaken till att en nyligen konfigurerad metaarkiv vägrar att starta.

$HIVE_HOME/bin/schematool -dbType mysql -initSchema

Kommandot läser samma fyra egenskaper från hive-site.xml, ansluter till hiveuser-kontot och kör det medföljande SQL-skriptet som matchar Hive-versionen. En lyckad körning avslutas med ett meddelande om slutförande, varefter tillståndet kan bekräftas när som helst.

$HIVE_HOME/bin/schematool -dbType mysql -info

Flaggorna nedan täcker hela livslängden för ett metaarkivschema.

En relaterad egenskap är värd att känna till före första starten. När hive.metastore.schema.verification är sant jämför Hive schemaversionen i MySQL mot sin egen och vägrar att köras vid en avvikelse. Den kontrollen är en säkerhetsåtgärd, så rätt svar är att köra uppgraderingen snarare än att stänga av den. MySQL backend används av Hive-installationen som omfattas av installera Hive på Ubuntu.

Vanliga Hive Metastore-fel och hur man åtgärdar dem

De flesta fel i detta skede producerar ett av en handfull meddelanden, och varje meddelande pekar på ett specifikt steg ovan snarare än på Hive självt.

När metaarkivet svarar tillförlitligt skapas de tabelldefinitioner som registreras med de satser som beskrivs i Hive skapar, ändrar och tar bort tabell.

Vanliga frågor