Kuidas installida ja konfigureerida HIVE metastore MYSQL-iga

Mis on HIVE metastore?

Hive'i metasalvestus on hoidla, mis salvestab metaandmeid (veergude nimed, andmetüübid, kommentaarid jne), mis on seotud Apache taru kasutamine MySQL or PostgreSQL. See Hive'i metapood on realiseeritud relatsiooniandmebaasi tabelite abil.

Metasalvestuses ei ole ridu endid. Kirjed jäävad HDFS-i ja metasalvestus salvestab ainult iga tabeli asukoha ja veergude nimed, mistõttu selle kaotamine maksab pigem skeemi kui andmeid.

Miks kasutada MySQL tarus metasalvestusena

Metastore'i taustsüsteem on valik, mitte Hive'i fikseeritud osa, ja tehaseseaded on tahtlikult minimaalsed. Kolm piirangut lükkavad peaaegu iga installi sellest eemale.

• Vaikimisi on Hive'il metasalvestusena kaasas Derby andmebaas.
• Derby saab korraga toetada ainult ühte aktiivset kasutajat.
• Derbyt ei soovitata tootmiskeskkonnas kasutada.

Seega lahendus on siin

• Kasutama MySQL metasalvestusruumina taustsüsteemis, et ühendada korraga mitu kasutajat Hive'iga
• MySQL on parim valik eraldiseisva metasalvestusruumi jaoks

Kuidas installida ja konfigureerida Hive metastore MySQL andmebaas

Allolevad üheksa sammu toimivad järjekorras masinas, kuhu on juba installitud Hadoop ja Hive. Iga sammu lõpus on ekraanipilt terminali või shelli väljundist.

Samm 1) Installige MySQL server
Selles etapis täidame kaks ülesannet

1. Mysql-serveri installimine
2. Mysql-serveri ja selle protsessi kontrollimine

kasutades sudo apt-get install mysql-server käsuga saame alla laadida MySQL server. Installi MySQL nagu on näidatud alloleval ekraanipildil.

Pärast edukat installimist MySQL käivitub nagu alloleval ekraanipildil näidatud, kus protsessikontroll kinnitab teenuse toimimist.

Samm 2) Installige MySQL Java Connector
Paigaldamine MySQL Java pistik. See on mõeldud Java sõltuvuste ja ühenduse eesmärgil, kuna Hive jõuab MySQL JDBC kaudu. Järgmine ekraanipilt näitab paketi installimist.

Samm 3) Looge konnektori jaoks pehme link
Hive'i lib-kataloogis oleva konnektori jaoks pehme lingi loomine. See on pehme link järgmiste vahel: Java ja MySQL, ja see asetab draiveri JAR-i Hive'i klassiteele. Käsk ja selle tulemus on toodud allpool.

4. samm) Konfigureerimine MySQL hoiustamine tarus
. MySQL Enne mis tahes Hive'i kasutaja loomist tuleb shell avada juurkasutajana, nagu järgmisena näidatud.

• Tippige mysql –u root –p ja seejärel parool
• Siin tähistab –u root kasutajanime ja –p tähistab parooli
• Pärast ülaltoodud käsu sisestamist peab kasutaja sisestama kehtiva parooli ja seejärel vajutama sisestusklahvi.
• Siis siseneb see MySQL kesta režiim

Samm 5) Loo kasutajanimi ja parool
Kasutajanime ja parooli loomine MySQLja õiguste andmist. Allolev ekraanipilt näitab kolme lauset, mis töötavad MySQL kest.

Peame täitma käsud, nagu allpool näidatud,

mysql> CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'hivepassword'; 
mysql> GRANT all on *.* to 'hiveuser'@localhost identified by 'hivepassword';
mysql>  flush privileges;

On MySQL 8. Teise lause kombineeritud vorm enam ei parsi, kuna IDENTIFIED BY eemaldati käsust GRANT. Looge esmalt konto ja seejärel andke sellele õigused ning korrake CREATE USER rida nii localhost hosti kui ka metamärgiga hosti jaoks.

6. samm) Hive-site.xml-i seadistamine

• Pärast 5. sammu määrab kasutajanimi ja parool MySQL andmebaas ja annab õigused.
• Siin konfigureerime Hive'is mõned omadused, et luua ühendus MySQL andmebaas.

Konfiguratsioonifail avatakse Hive'i konfiguratsioonikataloogist, nagu on näha järgmisel ekraanipildil.

Järgnev ekraanipilt näitab valmis faili, millel on kõik neli atribuuti paigas.

Ülaltoodud ekraanipildilt näeme järgmist. Siin defineerime 4 omadust, mis on vajalikud järgmise loomiseks: MySQL kui metasalvestus Hive'is.

Need on järgmised.

1. See omadus on ühenduse jaoks URLSiin me defineerime ühendustURL selles atribuudis. See toimib JDBC ühendusstringina ja esindab ka metasalvestuse asukohta.
2. See omadus on ühenduse draiveri nime jaoks. Siin on com.mysql.jdbc.Driver väärtus, mida peame väärtuse sildil mainima.
3. Seda omadust kasutatakse ühenduse kasutajanime määratlemiseks. Selles defineerisime kasutajanimeks „hiveuser”.
4. Seda omadust kasutatakse ühenduse parooli mainimiseks. Selles defineerisime kasutaja paroolina „hivepassword”.

Kui omadused on faili hive-site.xml paigutatud, peame faili käsitsi salvestama (Ctrl+S) ja sulgema. Pärast faili sulgemist peame looma Hive'i tabeli ja kontrollima tabeli üksikasju. MySQL Ladustamine.

Asetage see kood faili hive-site.xml

hive-site.xml

<configuration>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value>
		<description>metadata is stored in a MySQL server</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
		<description>MySQL JDBC driver class</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>hiveuser</value>
		<description>user name for connecting to mysql server</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>hivepassword</value>
		<description>password for connecting to mysql server</description>
	</property>
</configuration>

Kaks ülaltoodud väärtust sõltuvad kasutatavast pistiku versioonist. MySQL Connector/J 8 nimetas draiveriklassi ümber com.mysql.cj.jdbc.Driver ja see ootab ka selgesõnalist porti ja SSL-i seadistust, seega moodne URL Tavaliselt loetakse parooli jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&useSSL=false. Kuna parool on selge tekstina, peaks faili saama lugeda ainult Hive'i teenusekonto.

Samm 7) Looge tabel
Loo Hive'is tabel „guru99”, nagu on näidatud alloleval Hive'i kestal.

Ülaltoodud ekraanipildi põhjal võime jälgida järgmist

• Kahe veerunimega tabeli „guru99” loomine
• Veergude nimed on nimetatud koos nende andmetüüpidega, üks on täisarv ja teine ​​string

Järgmises etapis kontrollime, kas see on salvestatud MySQL või mitte.

8. samm) Sisesta MySQL kesta režiim
Esmalt valitakse metasalvestuse andmebaas ja järgnev tabeli loend on näidatud allpool.

Ülaltoodud ekraanipildi põhjal võime jälgida järgmist

• Esmalt peame valima andmebaasi, kasutades käsku „kasuta metastore’i”.
• Kui metasalvestus on valitud, saame selles olevaid tabeleid kontrollida käsuga „näita tabeleid”, nagu ekraanipildil näidatud.
• Ükskõik, milliseid tabeleid Hive'is luuakse, salvestatakse nendele tabelitele vastavad metaandmed TBLS-i alla. MySQL andmebaas
• „Guru99” tabel luuakse Hive'is, seega salvestatakse vastavad metaandmed sinna MySQL TBLS-i all

Samm 9) Sisestage TBLS-ist vali *
Kontrollitakse, kas loodud tabel on olemas MySQL või mitte. Päring ja selle tulemus kuvatakse alloleval ekraanipildil.

Sisestades TBLS-ist vali *, kuvatakse tabelid, mille lõime Hive kestarežiimis

Ülaltoodud ekraanipildilt võime jälgida järgmisi asju:

• Hive'is loodud tabeli nime „guru99” saab kuvada MySQL kesta režiim
• Lisaks pakub see ka teavet tabeli loomise aja, juurdepääsuaja ja muude omaduste kohta, nagu on näidatud ülaltoodud ekraanipildil.

Kuidas Hive'i metasalvestusskeemi schematooliga initsialiseerida

Ühenduse lipp createDatabaseIfNotExist URL loob tühja metasalvestusandmebaasi, aga ei loo umbes seitsekümmend tabelit, mida Hive selle sees ootab. Hive 1.x ja hilisemates versioonides kuulub see ülesanne schematool utiliidile ja jäetakse vahele.ping See on kõige levinum põhjus, miks värskelt konfigureeritud metasalvestus keeldub käivitumast.

$HIVE_HOME/bin/schematool -dbType mysql -initSchema

Käsk loeb failist hive-site.xml samad neli atribuuti, loob ühenduse hiveuseri kontoga ja käivitab Hive'i versioonile vastava komplekteeritud SQL-skripti. Edukas käivitamine lõpeb lõpuleviimisteatega, mille järel saab olekut igal ajal kinnitada.

$HIVE_HOME/bin/schematool -dbType mysql -info

Allolevad lipud hõlmavad kogu metasalvestusskeemi eluiga.

Enne esmakordset käivitamist tasub teada ühte seotud omadust. Kui hive.metastore.schema.verification on tõene, võrdleb Hive skeemi versiooni MySQL omaenda vastu ja keeldub mittevastavuse korral töötamast. See kontroll on kaitsemeede, seega on õige vastus uuenduse käivitamine, mitte selle väljalülitamine. Sama MySQL Hive'i installatsioon kasutab taustsüsteemi, mida käsitletakse jaotises installige Hive'i Ubuntu.

Levinumad Hive'i metasalvestuse vead ja kuidas neid parandada

Enamik selles etapis esinevatest ebaõnnestumistest annab ühe vähestest teadetest ja igaüks neist osutab pigem konkreetsele sammule eespool, mitte Hive'ile endale.

Kui metasalvestus annab usaldusväärse vastuse, luuakse selle salvestatud tabeli definitsioonid, kasutades jaotises kirjeldatud lauseid. Taru loomine, muutmine ja tabeli kustutamine.

KKK