Kuidas installida ja konfigureerida HIVE metastore MYSQL-iga

Mis on HIVE metastore?

Hive metastore on hoidla, mis salvestab Apache Hive'iga seotud metaandmeid (veergude nimed, andmetüübid, kommentaarid jne), kasutades MySQL or PostgreSQL. See Hive'i metapood on realiseeritud relatsiooniandmebaasi tabelite abil.

Miks kasutada MySQL tarus kui metastore:

  • Vaikimisi on Hive'i metapoodina kaasas derby andmebaas.
  • Derby andmebaas toetab korraga ainult ühte aktiivset kasutajat
  • Derby ei ole tootmiskeskkonnas soovitatav

Seega lahendus siin on

  • Kasutage MYSQL-i metamäluna taustaprogrammis, et ühendada Hive'iga korraga mitu kasutajat
  • MYSQL on parim valik eraldiseisva metapoe jaoks

Kuidas installida ja konfigureerida Hive metastore MySQL andmebaas

Step 1) paigaldama MySQL server
Selles etapis täidame kaks ülesannet

  1. Mysql-serveri installimine
  2. Mysql-serveri ja selle protsessi kontrollimine
  1. Kasutamine sudo apt-get install mysql-server käsuga saame alla laadida mysql serveri

paigaldama MySQL nagu on näidatud ekraanipildil

Installige ja konfigureerige Hive metastore MySQL andmebaas

  1. Pärast edukat installimist MySQL töötab nagu näidatud alloleval ekraanipildil

Installige ja konfigureerige Hive metastore MySQL andmebaas

Step 2) paigaldama MySQL Java Connector
paigaldamine MySQL Java Ühendus. See on mõeldud Java-sõltuvuste ja ühenduse eesmärgil

Installige ja konfigureerige Hive metastore MySQL andmebaas

Step 3) Looge konnektori jaoks pehme link
Pehme lingi loomine konnektori jaoks Hive lib kataloogis. See on pehme seose jaoks Java ja MySql.

Installige ja konfigureerige Hive metastore MySQL andmebaas

Step 4) MySql-i salvestusruumi konfigureerimine Hive'is

Installige ja konfigureerige Hive metastore MySQL andmebaas

  • Tippige MySql –u root –p ja seejärel parool
  • Siin –u tähistab juurkasutajanime , p tähistab parooli
  • Pärast ülaltoodud käsu sisestamist peab kasutaja sisestama kehtiva parooli ja seejärel klõpsama sisestusklahvi
  • Seejärel siseneb see MySql-i kestarežiimi

Step 5) Loo kasutajanimi ja parool
MySqli kasutajanime ja parooli loomine, õiguste andmine.

Installige ja konfigureerige Hive metastore MySQL andmebaas

Peame täitma käsud, nagu allpool näidatud,

mysql> CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'hivepassword'; 
mysql> GRANT all on *.* to 'hiveuser'@localhost identified by 'hivepassword';
mysql>  flush privileges;

Step 6) Hive-site.xml konfigureerimine

  • Pärast 5. sammu määrake kasutajanimi ja parool MySQL andmebaasi ja antud privileege.
  • Siin konfigureerime mõned Hive atribuudid, millega ühenduse luua MySQL andmebaas.

Installige ja konfigureerige Hive metastore MySQL andmebaas

Installige ja konfigureerige Hive metastore MySQL andmebaas

Ülaltoodud ekraanipildi põhjal jälgime järgmist. Siin määratleme 4 atribuuti, mis võivad olla vajalikud MYSQL-i metapoena loomiseks Mesilaspere

Need on järgmised.

  1. See atribuut on mõeldud ühenduse URL-i jaoks. Siin määratleme selles atribuudis ühenduse URL-i. See toimib JDBC ühendusena ja seda esindava metastore asukohana
  2. See atribuut on ühenduse draiveri nime jaoks. Siin on mysql.jdbc.Driver lugupeetud väärtus, mida peame väärtussildis mainima
  3. Seda atribuuti kasutatakse ühenduse kasutajanime määratlemiseks. Selles määratlesime kasutajanimena "hiveguru".
  4. Seda atribuuti kasutatakse ühenduse parooli mainimiseks. Selles määratlesime parooli kasutaja paroolina.

Kui atribuudid on sisestatud faili hive –site.xml, peame käsitsi salvestama (Ctrl+S) ja faili sulgema. Pärast selle faili sulgemist peame looma Hive tabeli ja kontrollima tabeli üksikasju MySQL Ladustamine.

Asetage see kood faili hive-site.xml

hive-site.xml

<configuration>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value>
		<description>metadata is stored in a MySQL server</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
		<description>MySQL JDBC driver class</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>hiveuser</value>
		<description>user name for connecting to mysql server</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>hivepassword</value>
		<description>password for connecting to mysql server</description>
	</property>
</configuration>

Samm 7) Loo tabel
Looge tarus tabel "guru99".

Installige ja konfigureerige Hive metastore MySQL andmebaas

Ülaltoodud ekraanipildi põhjal võime jälgida järgmist

  • Kahe veerunimega tabeli nime "guru99" loomine
  • Veergude nimed, mille andmetüüp on üks, on täisarv ja teine ​​on stringi tüüpi

Järgmises etapis kontrollime, kas see on MySqli salvestatud või mitte

Step 8) Sisenege MySql-i kestarežiimi

Installige ja konfigureerige Hive metastore MySQL andmebaas

Ülaltoodud ekraanipildi põhjal võime jälgida järgmist

  • Kõigepealt peame kasutama andmebaasi kui "kasuta metapoodi"
  • Kui see on valinud metapoe, saame kontrollida selles olevaid tabeleid, kasutades käsku "show" tabelid, nagu on näidatud ekraanipildil
  • Ükskõik millised tabelid Hive'is luuakse, vastavad metaandmed sellele, et tabelid salvestatakse TBLS-i alla MySQL andmebaas.
  • "Guur99 tabel" luuakse Hive'is, seega salvestatakse vastavad metaandmed MySQL TBLS-i alusel.

Step 9) Sisestage vali * TBLS-ist
Kontrollitakse, kas loodud tabel esitab MySQL või mitte

Installige ja konfigureerige Hive metastore MySQL andmebaas

Sisestades TBLS-ist vali *, kuvatakse tabelid, mille lõime Hive kestarežiimis

Ülaltoodud ekraanipildilt võime jälgida järgmisi asju:

  • Loodud tabeli nime "guru99" saab kuvada taru MySQL kesta režiim
  • Lisaks pakub see teavet, nagu tabeli loomise aeg, juurdepääsuaeg ja muud omadused, nagu on näidatud ülaltoodud ekraanipildil.