Tipuri de date Hive: Cum să creați și să aruncați baze de date în Hive

Tipurile de date sunt elemente foarte importante în limbajul de interogare Hive și în modelarea datelor. Pentru a defini tipurile de coloane din tabel, trebuie să cunoaștem tipurile de date și utilizarea lor.

Următoarele oferă o scurtă prezentare generală a unor tipuri de date prezente în Hive:

• Tipuri numerice
• Tipuri de șiruri
• Tipuri de dată/oră
• Tipuri complexe

Tipuri de date în Hive

Fiecare coloană Hive este declarată cu unul dintre tipurile de mai jos. Familiile primitive sunt primele, urmate de tipurile complexe care dețin mai mult de o valoare într-o singură coloană.

Tipuri de date numerice Hive

Coloanele numerice variază de la un singur octet la opt octeți, așadar alegerea celui mai mic tip care se potrivește valorilor reduce atât costurile de stocare, cât și cele de scanare.

Tipuri de date șiruri de stup

Coloanele de caractere au trei forme, iar diferența constă în faptul dacă Hive impune o lungime declarată.

Tipuri de date Hive Data/Ora

Coloanele temporale sunt stocate fără nicio decalaj de fus orar, lucru care merită reținut înainte de a compara valorile scrise de diferite clustere.

Diverse tipuri de date Hive

Alte două primitive se află în afara familiilor numerice, de șiruri de caractere și de date, dar apar în mod regulat în schemele reale.

Tipuri de date complexe

Tipurile complexe imbricate valori într-o singură coloană, ceea ce elimină joncțiunea suplimentară de care ar avea nevoie un design relațional.

Exemplu de tipuri de date complexe Hive

Tabelul de mai sus prezintă forma declarației. Instrucțiunea de mai jos pune trei dintre tipurile complexe într-un singur tabel, astfel încât clauzele delimitatoare și sintaxa de acces pot fi văzute împreună.

CREATE TABLE employees (
  name      STRING,
  skills    ARRAY<STRING>,
  deductions MAP<STRING, FLOAT>,
  address   STRUCT<street:STRING, city:STRING, pin:INT>
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

Sunt necesari trei delimitatori separați: unul între coloane, un al doilea între elementele unui ARRAY sau STRUCT și un al treilea între o cheie MAP și valoarea sa. Odată ce tabelul există, fiecare coloană complexă este citită cu propriul accesor.

SELECT name, skills[0], deductions['tax'], address.city
FROM employees;

Tabelul de mai jos prezintă pe scurt ce accesor aparține fiecărui tip.

Tipurile complexe pot fi imbricate, deci ARRAY > este o declarație validă de coloană. Odată ce structura coloanelor este stabilită, tabelele în sine sunt construite cu instrucțiunile acoperite în Crearea, modificarea și eliminarea tabelelor în Hive.

Cum să creați și să aruncați baze de date în Hive

O bază de date în Hive este pur și simplu un spațiu de nume care grupează tabele, deci este primul obiect care trebuie creat înainte de a începe orice lucru cu tabelele. Următorii sunt pașii despre cum să creați și să eliminați baze de date în Hive.

Pasul 1) Creați baza de date în Hive

Pentru a crea o bază de date în Hive shell, trebuie să folosim comanda așa cum se arată în sintaxa de mai jos:

Sintaxă:

Create database <DatabaseName>

Exemplu: Creați baza de date „guru99”

Captura de ecran de mai jos prezintă instrucțiunea create urmată de o comandă show care listează fiecare bază de date din cluster.

Din captura de ecran de mai sus, facem două lucruri:

1. Crearea bazei de date „guru99” în Hive
2. Afișarea bazelor de date existente folosind comanda „show”

În același ecran, baza de date „guru99” este afișată la sfârșit când executăm comanda show, ceea ce înseamnă că baza de date „guru99” a fost creată cu succes.

Pasul 2) Plasați baza de date în Hive

Pentru picăturăping o bază de date în shell-ul Hive, trebuie să folosim comanda „drop” așa cum se arată în sintaxa de mai jos:

Sintaxă:

Drop database <DatabaseName>

Exemplu: Eliminare bază de date guru99

În următoarea captură de ecran, instrucțiunea drop rulează prima, iar comanda show care urmează nu mai listează baza de date.

În captura de ecran de mai sus, facem două lucruri:

1. Suntem o picăturăping baza de date „guru99” din Hive
2. Verificare încrucișată cu comanda „show”

În același ecran, după verificarea bazelor de date cu comanda show, baza de date „guru99” nu apare în Hive. Așadar, putem confirma acum că baza de date „guru99” a fost eliminată.

Comenzi pentru baza de date Hive: USE, DESCRIBE, SHOW și ALTER DATABASE

Cele două afirmații de mai sus folosesc forma lor cea mai scurtă. Sintaxa documentată conține clauze opționale care decid unde ajung fișierele și ce se întâmplă când numele este deja preluat.

CREATE DATABASE [IF NOT EXISTS] database_name
  [COMMENT database_comment]
  [LOCATION hdfs_path]
  [WITH DBPROPERTIES (property_name=property_value, ...)];

DROP DATABASE [IF EXISTS] database_name [RESTRICT|CASCADE];

Cuvintele cheie DATABASE și SCHEMA sunt interschimbabile, așadar CREATE SCHEMA și CREATE DATABASE fac exact același lucru. Comenzile rămase completează munca zilnică cu un spațiu de nume.

Două setări implicite merită memorate. Fără o clauză LOCATION, fișierele se află în directorul warehouse, în mod normal /user/hive/warehouse/database_name.db, iar fără IF EXISTS, o eliminare pentru un nume lipsă generează o eroare în loc să fie transmisă discret. Ambele setări sunt păstrate în Hive metastore.

Conversia tipurilor de date Hive și erorile comune

Tipurile nu sunt întotdeauna folosite exact așa cum sunt declarate. Hive lărgește automat o valoare atunci când nu se poate pierde nicio informație și lasă totul în seama unei conversii explicite.

• Lărgirea implicită urmează lanțul de la TINYINT la SMALLINT la INT la BIGINT la FLOAT la DOUBLE, iar un STRING care conține cifre este promovat la DOUBLE.
• Restrângerea nu se întâmplă niciodată de la sine, așa că un DOUBLE atribuit unei coloane INT necesită o conversie scrisă.
• CAST efectuează acea conversie scrisă și returnează NULL în loc de o eroare atunci când valoarea nu poate fi convertită.

SELECT CAST(salary AS DECIMAL(10,2)) FROM employees;

Erorile de mai jos explică majoritatea surprizelor pe care începătorii le întâmpină la prima lor schemă.

Odată ce tipurile se comportă corect, următorul pas este încărcarea și interogarea datelor în sine, lucru care este tratat în Interogări Hive cu Ordonare după, Grupare după și Cluster By.

Întrebări frecvente