Kuidas installida ja konfigureerida HIVE metastore MYSQL-iga
Mis on HIVE metastore?
Hive metastore on hoidla, mis salvestab Apache Hive'iga seotud metaandmeid (veergude nimed, andmetüübid, kommentaarid jne), kasutades MySQL or PostgreSQL. See Hive'i metapood on realiseeritud relatsiooniandmebaasi tabelite abil.
Miks kasutada MySQL tarus kui metastore:
- Vaikimisi on Hive'i metapoodina kaasas derby andmebaas.
- Derby andmebaas toetab korraga ainult ühte aktiivset kasutajat
- Derby ei ole tootmiskeskkonnas soovitatav
Seega lahendus siin on
- Kasutage MYSQL-i metamäluna taustaprogrammis, et ühendada Hive'iga korraga mitu kasutajat
- MYSQL on parim valik eraldiseisva metapoe jaoks
Kuidas installida ja konfigureerida Hive metastore MySQL andmebaas
Step 1) paigaldama MySQL server
Selles etapis täidame kaks ülesannet
- Mysql-serveri installimine
- Mysql-serveri ja selle protsessi kontrollimine
- Kasutamine sudo apt-get install mysql-server käsuga saame alla laadida mysql serveri
paigaldama MySQL nagu on näidatud ekraanipildil
- Pärast edukat installimist MySQL töötab nagu näidatud alloleval ekraanipildil
Step 2) paigaldama MySQL Java Connector
paigaldamine MySQL Java Ühendus. See on mõeldud Java-sõltuvuste ja ühenduse eesmärgil
Step 3) Looge konnektori jaoks pehme link
Pehme lingi loomine konnektori jaoks Hive lib kataloogis. See on pehme seose jaoks Java ja MySql.
Step 4) MySql-i salvestusruumi konfigureerimine Hive'is
- Tippige MySql –u root –p ja seejärel parool
- Siin –u tähistab juurkasutajanime , p tähistab parooli
- Pärast ülaltoodud käsu sisestamist peab kasutaja sisestama kehtiva parooli ja seejärel klõpsama sisestusklahvi
- Seejärel siseneb see MySql-i kestarežiimi
Step 5) Loo kasutajanimi ja parool
MySqli kasutajanime ja parooli loomine, õiguste andmine.
Peame täitma käsud, nagu allpool näidatud,
mysql> CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'hivepassword'; mysql> GRANT all on *.* to 'hiveuser'@localhost identified by 'hivepassword'; mysql> flush privileges;
Step 6) Hive-site.xml konfigureerimine
- Pärast 5. sammu määrake kasutajanimi ja parool MySQL andmebaasi ja antud privileege.
- Siin konfigureerime mõned Hive atribuudid, millega ühenduse luua MySQL andmebaas.
Ülaltoodud ekraanipildi põhjal jälgime järgmist. Siin määratleme 4 atribuuti, mis võivad olla vajalikud MYSQL-i metapoena loomiseks Mesilaspere
Need on järgmised.
- See atribuut on mõeldud ühenduse URL-i jaoks. Siin määratleme selles atribuudis ühenduse URL-i. See toimib JDBC ühendusena ja seda esindava metastore asukohana
- See atribuut on ühenduse draiveri nime jaoks. Siin on mysql.jdbc.Driver lugupeetud väärtus, mida peame väärtussildis mainima
- Seda atribuuti kasutatakse ühenduse kasutajanime määratlemiseks. Selles määratlesime kasutajanimena "hiveguru".
- Seda atribuuti kasutatakse ühenduse parooli mainimiseks. Selles määratlesime parooli kasutaja paroolina.
Kui atribuudid on sisestatud faili hive –site.xml, peame käsitsi salvestama (Ctrl+S) ja faili sulgema. Pärast selle faili sulgemist peame looma Hive tabeli ja kontrollima tabeli üksikasju MySQL Ladustamine.
Asetage see kood faili hive-site.xml
hive-site.xml
<configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value> <description>metadata is stored in a MySQL server</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>MySQL JDBC driver class</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hiveuser</value> <description>user name for connecting to mysql server</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>hivepassword</value> <description>password for connecting to mysql server</description> </property> </configuration>
Samm 7) Loo tabel
Looge tarus tabel "guru99".
Ülaltoodud ekraanipildi põhjal võime jälgida järgmist
- Kahe veerunimega tabeli nime "guru99" loomine
- Veergude nimed, mille andmetüüp on üks, on täisarv ja teine on stringi tüüpi
Järgmises etapis kontrollime, kas see on MySqli salvestatud või mitte
Step 8) Sisenege MySql-i kestarežiimi
Ülaltoodud ekraanipildi põhjal võime jälgida järgmist
- Kõigepealt peame kasutama andmebaasi kui "kasuta metapoodi"
- Kui see on valinud metapoe, saame kontrollida selles olevaid tabeleid, kasutades käsku "show" tabelid, nagu on näidatud ekraanipildil
- Ükskõik millised tabelid Hive'is luuakse, vastavad metaandmed sellele, et tabelid salvestatakse TBLS-i alla MySQL andmebaas.
- "Guur99 tabel" luuakse Hive'is, seega salvestatakse vastavad metaandmed MySQL TBLS-i alusel.
Step 9) Sisestage vali * TBLS-ist
Kontrollitakse, kas loodud tabel esitab MySQL või mitte
Sisestades TBLS-ist vali *, kuvatakse tabelid, mille lõime Hive kestarežiimis
Ülaltoodud ekraanipildilt võime jälgida järgmisi asju:
- Loodud tabeli nime "guru99" saab kuvada taru MySQL kesta režiim
- Lisaks pakub see teavet, nagu tabeli loomise aeg, juurdepääsuaeg ja muud omadused, nagu on näidatud ülaltoodud ekraanipildil.