Jak nainstalovat a nakonfigurovat HIVE Metastore s MYSQL

Co je HIVE Metastore?

Hive metastore je repozitář, který ukládá metadata (názvy sloupců, datové typy, komentáře atd.) související s Úl Apache použitím MySQL or PostgreSQL. Toto metaúložiště Hive je implementováno pomocí tabulek v relační databázi.

V metaúložišti nic neobsahuje samotné řádky. Záznamy zůstávají v HDFS a metaúložiště zaznamenává pouze to, kde se která tabulka nachází a jak se nazývají její sloupce, a proto ztráta těchto dat stojí spíše schéma než data.

Proč používat MySQL v Hive jako Metastore

Backend metastore je volbou, nikoli pevnou součástí Hive, a dodávaná výchozí hodnota je záměrně minimální. Tři omezení od něj odvádějí téměř každou instalaci.

• Ve výchozím nastavení je Hive dodáván s databází Derby jako metaúložištěm.
• Derby může podporovat pouze jednoho aktivního uživatele v daném okamžiku.
• Derby se nedoporučuje v produkčním prostředí.

Takže řešení je zde

• Použijte MySQL jako meta úložiště na backendu pro připojení více uživatelů k Hive současně
• MySQL je nejlepší volbou pro samostatný metastore

Jak nainstalovat a nakonfigurovat Hive Metastore MySQL Databáze

Devět níže uvedených kroků se provádí postupně na počítači, na kterém je již nainstalován Hadoop a Hive. Každý krok končí snímkem obrazovky skutečného výstupu terminálu nebo shellu.

Krok 1) Nainstalujte MySQL Server
V tomto kroku provedeme dva úkoly

1. Instalace mysql-serveru
2. Kontrola mysql-serveru a jeho procesu

Za použití sudo apt-get nainstalovat mysql-server příkaz, můžeme si stáhnout MySQL server. Instalace MySQL jak je znázorněno na snímku obrazovky níže.

Po úspěšné instalaci, MySQL proběhne, jak je znázorněno na snímku obrazovky níže, kde kontrola procesu potvrdí, že je služba spuštěná.

Krok 2) Nainstalujte MySQL Java konektor
Instalace MySQL Java konektor. Toto je pro Java závislosti a účely připojení, protože Hive dosahuje MySQL přes JDBC. Následující snímek obrazovky ukazuje instalaci balíčku.

Krok 3) Vytvořte měkký odkaz pro konektor
Vytvoření softwarového odkazu pro konektor v adresáři Hive lib. Toto je softwarový odkaz mezi Java a MySQL, a to je to, co umístí JAR ovladače do třídní cesty Hive. Příkaz a jeho výsledek jsou uvedeny níže.

Krok 4) Konfigurace MySQL úložiště v Hive
Jedno MySQL Před vytvořením jakéhokoli uživatele Hive je nutné otevřít shell jako root účet, jak je znázorněno dále.

• Zadejte mysql –u root –p a poté heslo.
• Zde –u představuje uživatelské jméno root a –p označuje heslo.
• Po zadání výše uvedeného příkazu musí uživatel zadat platné heslo a poté stisknout klávesu Enter.
• Pak vstoupí do MySQL shellový režim

Krok 5) Vytvořte uživatelské jméno a heslo
Vytvoření uživatelského jména a hesla pro MySQLa udělení oprávnění. Snímek obrazovky níže ukazuje tři příkazy spuštěné uvnitř MySQL skořápky.

Musíme provést příkazy, jak je uvedeno níže,

mysql> CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'hivepassword'; 
mysql> GRANT all on *.* to 'hiveuser'@localhost identified by 'hivepassword';
mysql>  flush privileges;

On MySQL 8 kombinovaná forma druhého příkazu se již neanalyzuje, protože IDENTIFIED BY byl z příkazu GRANT odstraněn. Nejprve vytvořte účet a poté mu udělte oprávnění a opakujte řádek CREATE USER pro hostitele localhost i pro hostitele se zástupným znakem.

Krok 6) Konfigurace souboru hive-site.xml

• Po kroku 5 přiřadí uživatelské jméno a heslo MySQL databázi a uděluje oprávnění.
• Zde nakonfigurujeme některé vlastnosti v Hive pro získání připojení k MySQL databáze.

Konfigurační soubor se otevírá z adresáře Hive conf, jak ukazuje následující snímek obrazovky.

Následující snímek obrazovky ukazuje hotový soubor se všemi čtyřmi vlastnostmi.

Z výše uvedeného snímku obrazovky pozorujeme následující. Zde definujeme 4 vlastnosti, které jsou nezbytné pro stanovení MySQL jako metaúložiště v Hive.

Jedná se o následující:

1. Tato vlastnost je pro připojení URLZde definujeme připojení.URL v této vlastnosti. Funguje jako připojovací řetězec JDBC a také představuje umístění metaúložiště.
2. Tato vlastnost je pro název ovladače připojení. Zde je com.mysql.jdbc.Driver hodnota, kterou musíme uvést v tagu value.
3. Tato vlastnost se používá k definování uživatelského jména pro připojení. V tomto případě jsme definovali „hiveuser“ jako uživatelské jméno.
4. Tato vlastnost se používá k zadání hesla pro připojení. V tomto případě jsme definovali „hivepassword“ jako heslo uživatele.

Jakmile jsou vlastnosti umístěny v souboru hive-site.xml, musíme soubor ručně uložit (Ctrl+S) a zavřít. Po zavření tohoto souboru musíme vytvořit tabulku Hive a zkontrolovat podrobnosti tabulky v MySQL úložný prostor.

Umístěte tento kód do souboru hive-site.xml

hive-site.xml

<configuration>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value>
		<description>metadata is stored in a MySQL server</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
		<description>MySQL JDBC driver class</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>hiveuser</value>
		<description>user name for connecting to mysql server</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>hivepassword</value>
		<description>password for connecting to mysql server</description>
	</property>
</configuration>

Dvě výše uvedené hodnoty závisí na použité verzi konektoru. MySQL Connector/J 8 přejmenoval třídu ovladače na com.mysql.cj.jdbc.Driver a také očekává explicitní nastavení portu a SSL, takže moderní URL obvykle zní jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&useSSL=false. Protože heslo je v prostém textu, měl by být soubor čitelný pouze pro účet služby Hive.

Krok 7) Vytvořte tabulku
Vytvořte v Hive tabulku „guru99“, jak je znázorněno v shellu Hive níže.

Z výše uvedeného snímku obrazovky můžeme pozorovat následující

• Vytvoření tabulky s názvem „guru99“ se dvěma názvy sloupců
• Názvy sloupců jsou uvedeny s jejich datovými typy, jeden je celé číslo a druhý je řetězec.

V dalším kroku zkontrolujeme, zda je uložen v MySQL nebo ne.

Krok 8) Vstupte do MySQL shellový režim
Databáze metastore je vybrána jako první a níže je zobrazen následující tabulkový výpis.

Z výše uvedeného snímku obrazovky můžeme pozorovat následující

• Nejprve musíme vybrat databázi pomocí „použít metastore“.
• Jakmile je metastore vybráno, můžeme zkontrolovat tabulky v něm obsažené pomocí příkazu „show tables“, jak je znázorněno na snímku obrazovky.
• Ať už jsou v Hive vytvořeny jakékoli tabulky, metadata odpovídající těmto tabulkám jsou uložena v TBLS v MySQL databáze
• Tabulka „guru99“ je vytvořena v Hive, takže odpovídající metadata jsou uložena v MySQL pod TBLS

Krok 9) Zadejte vybrat * z TBLS
Kontrola, zda je vytvořená tabulka přítomna v MySQL nebo ne. Dotaz a jeho výsledek se zobrazují na snímku obrazovky níže.

Zadáním select * z TBLS se zobrazí tabulky, které jsme vytvořili v režimu Hive shell

Z výše uvedeného snímku obrazovky můžeme pozorovat následující věci:

• Název tabulky „guru99“, která byla vytvořena v Hive, lze zobrazit v MySQL shellový režim
• Kromě toho bude také poskytovat informace, jako je čas vytvoření tabulky, čas přístupu a další vlastnosti, jak je znázorněno na snímku obrazovky výše.

Jak inicializovat schéma Hive Metastore pomocí schematool

Příznak createDatabaseIfNotExist v připojení URL vytvoří prázdnou databázi metastore, ale nevytvoří zhruba sedmdesát tabulek, které Hive v ní očekává. V Hive 1.x a novějších verzích patří tato úloha nástroji schematool a přeskočí ji.ping Je to nejčastější důvod, proč se čerstvě nakonfigurované metastore odmítá spustit.

$HIVE_HOME/bin/schematool -dbType mysql -initSchema

Příkaz načte stejné čtyři vlastnosti ze souboru hive-site.xml, připojí se k účtu hiveuser a spustí dodaný SQL skript, který odpovídá verzi Hive. Úspěšné spuštění končí zprávou o dokončení, po které lze stav kdykoli potvrdit.

$HIVE_HOME/bin/schematool -dbType mysql -info

Níže uvedené příznaky pokrývají celou dobu životnosti schématu metastore.

Před prvním spuštěním je dobré znát jednu související vlastnost. Pokud je vlastnost hive.metastore.schema.verification nastavena na hodnotu true, Hive porovná verzi schématu v MySQL proti svým vlastním a odmítá se spustit při neshodě. Tato kontrola je ochranou, takže správnou reakcí je spustit aktualizaci, nikoli ji vypnout. Stejné MySQL Backend je používán instalací Hive popsanou v nainstalujte Hive na Ubuntu.

Běžné chyby v metaúložišti Hive a jak je opravit

Většina selhání v této fázi vygeneruje jednu z mála zpráv a každá ukazuje na konkrétní krok výše, nikoli na samotný Hive.

Jakmile metaúložiště spolehlivě odpoví, zaznamenané definice tabulek se vytvoří pomocí příkazů popsaných v Vytváření, úprava a odstraňování tabulek v Hive.

Nejčastější dotazy