Kako instalirati i konfigurirati HIVE Metastore s MYSQL-om

Što je HIVE Metastore?

Hive metastore je repozitorij koji pohranjuje metapodatke (nazive stupaca, tipove podataka, komentare itd.) koji se odnose na Apache Hive korištenjem MySQL or PostgreSQL. Ovo Hive metastore implementirano je pomoću tablica u relacijskoj bazi podataka.

Zašto koristiti MySQL u Hive kao Metastore:

• Prema zadanim postavkama, Hive dolazi s bazom podataka derby kao metastore.
• Derby baza podataka može podržati samo jednog aktivnog korisnika u isto vrijeme
• Derby se ne preporučuje u proizvodnom okruženju

Tako je otopina ovdje je

• Koristite MYSQL kao Meta pohranu na pozadini za povezivanje više korisnika s Hiveom u isto vrijeme
• MYSQL je najbolji izbor za samostalno metastore

Kako instalirati i konfigurirati Hive Metastore za MySQL Baza podataka

Korak 1) Instalirati MySQL Server
U ovom koraku izvršit ćemo dva zadatka

1. Instalacija mysql-servera
2. Provjera mysql-poslužitelja i njegovog procesa

1. Korištenje sudo apt-get install mysql-server naredba, možemo preuzeti mysql server

Instalirati MySQL kao što je prikazano na snimci zaslona

2. Nakon uspješne instalacije na kraju, MySQL pokrenut će se kao što je prikazano na snimci zaslona u nastavku

Korak 2) Instalirati MySQL Java konektor
Instaliranje MySQL Java Priključak. Ovo je za ovisnosti o Javi i svrhu povezivanja

Korak 3) Stvorite meku vezu za konektor
Stvaranje meke veze za konektor u direktoriju Hive lib. Ovo je za meku vezu između Java i MySql.

Korak 4) Konfiguriranje MySql pohrane u Hiveu

• Upišite MySql –u root –p nakon čega slijedi lozinka
• Ovdje –u predstavlja root korisničko ime, p označava lozinku
• Nakon unosa gornje naredbe, korisnik mora unijeti važeću lozinku i zatim kliknuti enter
• Zatim će ući u način rada MySql ljuske

Korak 5) Stvorite korisničko ime i lozinku
Kreiranje korisničkog imena i lozinke za MySql, dodjeljivanje privilegija.

Moramo izvršiti naredbe kao što je prikazano u nastavku,

mysql> CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'hivepassword'; 
mysql> GRANT all on *.* to 'hiveuser'@localhost identified by 'hivepassword';
mysql>  flush privileges;

Korak 6) Konfiguriranje hive-site.xml

• Nakon koraka 5 dodijelite korisničko ime i lozinku MySQL baza podataka i dane privilegije.
• Ovdje ćemo konfigurirati neka svojstva u Hiveu za uspostavljanje veze MySQL baza podataka.

Iz gornje snimke zaslona vidimo sljedeće. Ovdje definiramo 4 svojstva koja bi mogla biti potrebna za uspostavljanje MYSQL-a kao Meta trgovine Košnica

To su kako slijedi:

1. Ovo svojstvo služi za URL veze. Ovdje definiramo ConnectionURL u ovom svojstvu. Djeluje kao JDBC veza, a predstavlja i metastore lokaciju
2. Ovo svojstvo je za naziv upravljačkog programa veze. Ovdje je mysql.jdbc.Driver poštovana vrijednost koju moramo spomenuti u oznaci vrijednosti
3. Ovo se svojstvo koristi za definiranje korisničkog imena veze. U ovom smo definirali "hiveguru" kao korisničko ime
4. Ovo se svojstvo koristi za spominjanje lozinke za povezivanje. Ovdje smo lozinku definirali kao korisničku lozinku.

Nakon što se svojstva smjeste u hive –site.xml, moramo ručno spremiti (Ctrl+S) i zatvoriti datoteku. Nakon zatvaranja ove datoteke, moramo stvoriti Hive tablicu i provjeriti detalje tablice MySQL skladištenje.

Postavite ovaj kod u hive-site.xml

stranica-košnice.xml

<configuration>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value>
		<description>metadata is stored in a MySQL server</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
		<description>MySQL JDBC driver class</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>hiveuser</value>
		<description>user name for connecting to mysql server</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>hivepassword</value>
		<description>password for connecting to mysql server</description>
	</property>
</configuration>

Korak 7) Izradi tablicu
Napravite tablicu “guru99” u Hive-u.

Iz gornje snimke zaslona možemo vidjeti sljedeće

• Izrada tablice naziva „guru99″ s dva imena stupaca
• Imena stupaca spomenuta su s njihovim tipom podataka jer je jedan cijeli broj, a drugi tipa niza

U sljedećem koraku ćemo provjeriti je li pohranjen u MySql ili ne

Korak 8) Uđite u MySql način rada ljuske

Iz gornje snimke zaslona možemo vidjeti sljedeće

• Prvo moramo koristiti bazu podataka kao "koristi metastore"
• Nakon što odabere meta pohranu, možemo provjeriti tablice prisutne u ovome pomoću naredbe "prikaži" tablice kao što je prikazano na snimci zaslona
• Bez obzira na tablice koje su stvorene u Hiveu, metapodaci odgovaraju da su tablice pohranjene pod TBLS u MySQL baza podataka.
• “Guur99 tablica” kreirana je u Hiveu, tako da su odgovarajući metapodaci pohranjeni u MySQL pod TBLS.

Korak 9) Unesite odaberite * iz TBLS
Provjera predstavlja li kreirana tablica MySQL ili ne

Unosom select * from TBLS, prikazat će se tablice koje smo stvorili u Hive shell modu

Iz gornje snimke zaslona možemo vidjeti sljedeće stvari:

• Ime tablice "guru99" koja je kreirana je košnica u kojoj se može prikazati MySQL režim ljuske
• Osim toga, također će pružiti informacije kao što su vrijeme izrade tablice, vrijeme pristupa i druga svojstva kao što je prikazano na gornjoj snimci zaslona.