Kuinka asentaa ja määrittää HIVE Metastore MYSQL:llä

Mikä on HIVE Metastore?

Hive-metastore on arkisto, joka tallentaa Apache Hiveen liittyviä metatietoja (sarakkeiden nimet, tietotyypit, kommentit jne.) käyttämällä MySQL or PostgreSQL. Tämä Hive-metastore on toteutettu relaatiotietokannan taulukoiden avulla.

Miksi käyttää MySQL Hive as Metastore:

• Oletuksena Hiven mukana tulee derby-tietokanta metastorena.
• Derby-tietokanta voi tukea vain yhtä aktiivista käyttäjää kerrallaan
• Derbyä ei suositella tuotantoympäristössä

Joten ratkaisu täällä on

• Käytä MYSQL:ää metatallennustilana taustajärjestelmässä yhdistääksesi useita käyttäjiä Hiveen kerralla
• MYSQL on paras valinta itsenäiseen metakauppaan

Hive Metastoren asentaminen ja määrittäminen MySQL tietokanta

Vaihe 1) install MySQL Server
Tässä vaiheessa suoritamme kaksi tehtävää

1. Mysql-serverin asennus
2. Tarkistetaan mysql-palvelin ja sen prosessi

1. Käyttäminen sudo apt-get install mysql-server -komento, voimme ladata mysql-palvelimen

install MySQL kuten kuvakaappauksessa näkyy

2. Onnistuneen asennuksen jälkeen MySQL toimii alla olevan kuvakaappauksen mukaisesti

Vaihe 2) install MySQL Java liitin
asentaminen MySQL Java Liitin. Tämä on tarkoitettu Java-riippuvuuksille ja yhteystarkoituksiin

Vaihe 3) Luo pehmeä linkki liittimelle
Luodaan pehmeä linkki liittimelle Hive lib -hakemistossa. Tämä on pehmeä linkki välillä Java ja MySql.

Vaihe 4) MySql-tallennustilan määrittäminen Hivessä

• Kirjoita MySql –u root –p ja sen jälkeen salasana
• Tässä –u edustaa pääkäyttäjätunnusta, p tarkoittaa salasanaa
• Yllä olevan komennon antamisen jälkeen käyttäjän on syötettävä kelvollinen salasana ja napsautettava Enter
• Sitten se siirtyy MySql-kuoritilaan

Vaihe 5) Luo käyttäjänimi ja salasana
Käyttäjätunnuksen ja salasanan luominen MySql:lle, oikeuksien myöntäminen.

Meidän on suoritettava komennot alla olevan kuvan mukaisesti,

mysql> CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'hivepassword'; 
mysql> GRANT all on *.* to 'hiveuser'@localhost identified by 'hivepassword';
mysql>  flush privileges;

Vaihe 6) Hive-site.xml:n määrittäminen

• Määritä vaiheen 5 jälkeen käyttäjätunnus ja salasana MySQL tietokanta ja annetut oikeudet.
• Tässä määritämme joitain Hiven ominaisuuksia yhteyden muodostamiseksi MySQL tietokanta.

Yllä olevasta kuvakaappauksesta huomaamme seuraavan. Tässä määritämme 4 ominaisuutta, jotka voivat olla tarpeen MYSQL:n perustamiseksi metamuistiksi Hive

Nämä ovat seuraavat:

1. Tämä ominaisuus on tarkoitettu yhteyden URL-osoitteeseen. Tässä määritämme tämän ominaisuuden ConnectionURL-osoitteen. Se toimii JDBC-yhteydenä ja myös sitä edustavana metastore-sijaintina
2. Tämä ominaisuus on yhteysohjaimen nimelle. Tässä mysql.jdbc.Driver on arvostettu arvo, joka meidän on mainittava arvotunnisteessa
3. Tätä ominaisuutta käytetään yhteyden käyttäjänimen määrittämiseen. Tässä määritimme käyttäjätunnukseksi "hiveguru".
4. Tätä ominaisuutta käytetään yhteyden salasanan mainitsemiseen. Tässä määritimme salasanan käyttäjän salasanaksi.

Kun ominaisuudet on sijoitettu hive –site.xml -tiedostoon, meidän on tallennettava manuaalisesti (Ctrl+S) ja suljettava tiedosto. Tämän tiedoston sulkemisen jälkeen meidän on luotava Hive-taulukko ja tarkistettava taulukon tiedot MySQL varastointi.

Aseta tämä koodi tiedostoon hive-site.xml

hive-site.xml

<configuration>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value>
		<description>metadata is stored in a MySQL server</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
		<description>MySQL JDBC driver class</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>hiveuser</value>
		<description>user name for connecting to mysql server</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>hivepassword</value>
		<description>password for connecting to mysql server</description>
	</property>
</configuration>

Vaihe 7) Luo taulukko
Luo taulukko "guru99" Hiveen.

Yllä olevasta kuvakaappauksesta voimme havaita seuraavan

• Taulukon nimen ”guru99” luominen kahdella sarakkeen nimellä
• Sarakkeiden nimet, jotka mainitaan tietotyypeineen, on kokonaisluku ja toinen merkkijonotyyppinen

Seuraavassa vaiheessa aiomme tarkistaa, onko se tallennettu MySql:iin vai ei

Vaihe 8) Siirry MySql shell -tilaan

Yllä olevasta kuvakaappauksesta voimme havaita seuraavan

• Ensin meidän on käytettävä tietokantaa "käyttö metastorena"
• Kun se on valinnut metakaupan, voimme tarkistaa tässä olevat taulukot käyttämällä "show" tables -komentoa kuten kuvakaappauksessa
• Riippumatta Hiveen luoduista taulukoista, metatiedot vastaavat sitä, että taulukot on tallennettu TBLS:ään MySQL tietokanta.
• "Guur99-taulukko" luodaan Hiveen, joten vastaavat metatiedot tallennetaan MySQL TBLS:n alla.

Vaihe 9) Syötä valitse * TBLS:stä
Tarkistetaan, näyttääkö luotu taulukko MySQL tai ei

Kun kirjoitat select * TBLS:stä, se näyttää taulukot, jotka loimme Hive-kuoritilassa

Yllä olevasta kuvakaappauksesta voimme havaita seuraavat asiat:

• Luodun taulukon nimi "guru99" voidaan näyttää Hivessa MySQL kuoritila
• Tämän lisäksi se tarjoaa myös tietoja, kuten taulukon luomisajan, käyttöajan ja muut ominaisuudet, kuten yllä olevassa kuvakaappauksessa näkyy.