Datové typy úlu: Jak vytvářet a rušit databáze v úlu

Datové typy jsou velmi důležitými prvky v dotazovacím jazyce Hive a modelování dat. Pro definování typů sloupců tabulky musíme znát datové typy a jejich použití.

Následuje stručný přehled některých datových typů přítomných v Hive:

• Číselné typy
• Typy řetězců
• Typy data/času
• Komplexní typy

Datové typy v Hive

Každý sloupec Hive je deklarován s jedním z níže uvedených typů. Primitivní rodiny jsou uvedeny jako první, následované komplexními typy, které obsahují více než jednu hodnotu v jednom sloupci.

Číselné datové typy podregistru

Číselné sloupce mají velikost od jednoho bajtu do osmi bajtů, takže výběr nejmenšího typu, který odpovídá hodnotám, snižuje náklady na úložiště i skenování.

Datové typy řetězce podregistru

Sloupce znaků se dodávají ve třech tvarech a rozdíl spočívá v tom, zda Hive vynucuje deklarovanou délku.

Typy dat data/času podregistru

Časové sloupce jsou uloženy bez jakéhokoli časového posunu, což je dobré si pamatovat před porovnáváním hodnot zapsaných různými klastry.

Různé datové typy Hive

Dva další primitiva se nacházejí mimo numerické, řetězcové a datové rodiny, ale pravidelně se objevují v reálných schématech.

Komplexní datové typy podregistru

Komplexní typy vnořují hodnoty do jednoho sloupce, což eliminuje dodatečné spojení, které by relační návrh potřeboval.

Příklad komplexních datových typů Hive

Výše uvedená tabulka uvádí formulář deklarace. Následující příkaz vkládá tři komplexní typy do jedné tabulky, takže oddělovací klauzule a syntaxe přístupu lze vidět společně.

CREATE TABLE employees (
  name      STRING,
  skills    ARRAY<STRING>,
  deductions MAP<STRING, FLOAT>,
  address   STRUCT<street:STRING, city:STRING, pin:INT>
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

Zde jsou potřeba tři samostatné oddělovače: jeden mezi sloupci, druhý mezi položkami ARRAY nebo STRUCT a třetí mezi klíčem MAP a jeho hodnotou. Jakmile tabulka existuje, každý komplexní sloupec se čte s vlastním přístupovým objektem.

SELECT name, skills[0], deductions['tax'], address.city
FROM employees;

Níže uvedená tabulka shrnuje, který přístupový objekt patří do kterého typu.

Složité typy mohou být vnořené, například ARRAY. > je platná deklarace sloupce. Jakmile je rozvržení sloupců nastaveno, samotné tabulky se sestaví pomocí příkazů uvedených v Vytváření, úprava a odstraňování tabulek v Hive.

Jak vytvářet a rušit databáze v Hive

Databáze v Hive je jednoduše jmenný prostor, který seskupuje tabulky, takže je to první objekt, který se vytvoří před zahájením jakékoli práce s tabulkami. Následují kroky, jak v Hive vytvářet a odstraňovat databáze.

Krok 1) Vytvoření databáze v Hive

Pro vytvoření databáze v shellu Hive musíme použít příkaz, jehož syntaxe je znázorněna níže:

Syntaxe:

Create database <DatabaseName>

Příklad: Vytvoření databáze „guru99“

Níže uvedený snímek obrazovky ukazuje příkaz create následovaný příkazem show, který vypíše všechny databáze v clusteru.

Z výše uvedeného snímku obrazovky vyplývá, že děláme dvě věci:

1. Vytvoření databáze „guru99“ v Hive
2. Zobrazení existujících databází pomocí příkazu „show“

Na stejné obrazovce se na konci po spuštění příkazu show zobrazí databáze „guru99“, což znamená, že databáze „guru99“ byla úspěšně vytvořena.

Krok 2) Vložení databáze do Hive

Pro poklesping Pro databázi v shellu Hive musíme použít příkaz „drop“, jak je znázorněno v následující syntaxi:

Syntaxe:

Drop database <DatabaseName>

Příklad: Zrušit databázi guru99

Na dalším snímku obrazovky se příkaz drop spustí jako první a následující příkaz show již nezobrazuje databázi.

Na výše uvedeném snímku obrazovky děláme dvě věci:

1. Jsme kapkaping databáze 'guru99' z Hive
2. Zkontrolujte totéž pomocí příkazu „show“

Na stejné obrazovce se po kontrole databází příkazem show databáze „guru99“ v Hive nezobrazuje. Nyní tedy můžeme potvrdit, že databáze „guru99“ byla odstraněna.

Příkazy databáze Hive: USE, DESCRIBE, SHOW a ALTER DATABASE

Dva výše uvedené příkazy používají svou nejkratší formu. Zdokumentovaná syntaxe obsahuje volitelné klauzule, které určují, kam soubory skončí a co se stane, když je název již obsazený.

CREATE DATABASE [IF NOT EXISTS] database_name
  [COMMENT database_comment]
  [LOCATION hdfs_path]
  [WITH DBPROPERTIES (property_name=property_value, ...)];

DROP DATABASE [IF EXISTS] database_name [RESTRICT|CASCADE];

Klíčová slova DATABASE a SCHEMA jsou v celém textu zaměnitelná, takže příkazy CREATE SCHEMA a CREATE DATABASE dělají přesně totéž. Zbývající příkazy doplňují každodenní práci s jmenným prostorem.

Za zapamatování stojí dvě výchozí hodnoty. Bez klauzule LOCATION se soubory nacházejí v adresáři datového skladu, obvykle /user/hive/warehouse/database_name.db, a bez IF EXISTS odstranění chybějícího názvu vyvolá chybu, místo aby se tiše provedl proces. Obě nastavení jsou uložena v Metaúložiště Hive.

Konverze datových typů Hive a běžné chyby

Typy se ne vždy používají přesně tak, jak je deklarováno. Hive automaticky rozšiřuje hodnotu, když nelze ztratit žádnou informaci, a vše ostatní ponechává na explicitní konverzi.

• Implicitní rozšiřování se řídí řetězcem TINYINT na SMALLINT, poté INT, poté BIGINT, poté FLOAT a poté DOUBLE, přičemž řetězec STRING, který obsahuje číslice, je povýšen na DOUBLE.
• Zúžení se nikdy neděje samo od sebe, takže hodnota DOUBLE přiřazená sloupci typu INT vyžaduje písemnou konverzi.
• Funkce CAST provede tuto písemnou konverzi a v případě, že hodnotu nelze převést, vrátí hodnotu NULL, nikoli chybu.

SELECT CAST(salary AS DECIMAL(10,2)) FROM employees;

Níže uvedené chyby vysvětlují většinu překvapení, se kterými se začátečníci setkávají při tvorbě svého prvního schématu.

Jakmile se typy chovají správně, dalším krokem je načítání a dotazování samotných dat, což je popsáno v Dotazy na podregistr s funkcemi Řazení podle, Seskupení podle a Cluster By.

Nejčastější dotazy