Tipi di dati Hive: come creare ed eliminare database in Hive

I tipi di dati sono elementi molto importanti nel linguaggio di query Hive e nella modellazione dei dati. Per definire i tipi di colonna di una tabella, è necessario conoscere i tipi di dati e il loro utilizzo.

Di seguito viene fornita una breve panoramica di alcuni tipi di dati presenti in Hive:

• Tipi numerici
• Tipi di stringa
• Tipi di data/ora
• Tipi complessi

Tipi di dati in Hive

Ogni colonna di Hive è dichiarata con uno dei tipi elencati di seguito. Vengono prima le famiglie primitive, seguite dai tipi complessi che possono contenere più di un valore in una singola colonna.

Tipi di dati numerici Hive

Le colonne numeriche possono variare da un singolo byte a otto byte, quindi scegliere il tipo più piccolo che si adatti ai valori consente di ridurre sia lo spazio di archiviazione che i costi di scansione.

Tipi di dati stringa Hive

Le colonne di caratteri sono disponibili in tre forme, e la differenza sta nel fatto che Hive imponga o meno una lunghezza dichiarata.

Tipi di dati data/ora Hive

Le colonne temporali vengono memorizzate senza alcun offset di fuso orario, un aspetto da tenere presente prima di confrontare i valori scritti da cluster diversi.

Tipi di dati vari di Hive

Altri due tipi primitivi si trovano al di fuori delle famiglie numerica, stringa e data, ma compaiono regolarmente negli schemi reali.

Tipi di dati complessi di Hive

I tipi complessi annidano i valori all'interno di un'unica colonna, eliminando così l'ulteriore join che sarebbe necessaria in una struttura relazionale.

Esempio di tipi di dati complessi in Hive

La tabella sopra riporta la forma di dichiarazione. L'istruzione seguente raggruppa tre dei tipi complessi in un'unica tabella, in modo da poter visualizzare insieme le clausole delimitatrici e la sintassi di accesso.

CREATE TABLE employees (
  name      STRING,
  skills    ARRAY<STRING>,
  deductions MAP<STRING, FLOAT>,
  address   STRUCT<street:STRING, city:STRING, pin:INT>
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

Sono necessari tre delimitatori distinti: uno tra le colonne, un secondo tra gli elementi di un ARRAY o di una STRUCT e un terzo tra una chiave MAP e il suo valore. Una volta creata la tabella, ogni colonna complessa viene letta con il proprio metodo di accesso.

SELECT name, skills[0], deductions['tax'], address.city
FROM employees;

La tabella seguente riassume a quale tipo appartiene ciascun accessor.

I tipi complessi possono essere annidati, quindi ARRAY > è una dichiarazione di colonna valida. Una volta definito il layout delle colonne, le tabelle stesse vengono costruite con le istruzioni trattate in Creazione, modifica ed eliminazione di tabelle in Hive.

Come creare ed eliminare database in Hive

In Hive, un database è semplicemente uno spazio dei nomi che raggruppa le tabelle, quindi è il primo oggetto da creare prima di iniziare a lavorare con le tabelle. Di seguito sono riportati i passaggi per creare ed eliminare database in Hive.

Passaggio 1) Creare il database in Hive

Per creare un database nella shell di Hive, dobbiamo utilizzare il comando come mostrato nella sintassi seguente:

Sintassi:

Create database <DatabaseName>

Esempio: crea il database “guru99”

Lo screenshot qui sotto mostra l'istruzione CREATE seguita da un comando SHOW che elenca tutti i database presenti nel cluster.

Come si evince dalla schermata qui sopra, stiamo facendo due cose:

1. Creazione del database "guru99" in Hive
2. Visualizzazione dei database esistenti tramite il comando "show".

Nella stessa schermata, quando eseguiamo il comando show, viene visualizzato in fondo il database "guru99", il che significa che il database "guru99" è stato creato correttamente.

Passaggio 2) Trascinare il database in Hive

Per la cadutaping Per eliminare un database nella shell di Hive, dobbiamo usare il comando "drop" come mostrato nella sintassi seguente:

Sintassi:

Drop database <DatabaseName>

Esempio: Elimina il database guru99

Nella schermata successiva, l'istruzione drop viene eseguita per prima e il comando show che segue non elenca più il database.

Nella schermata qui sopra stiamo facendo due cose:

1. Siamo una gocciaping database 'guru99' da Hive
2. Verifica incrociata con il comando “show”

Nella stessa schermata, dopo aver controllato i database con il comando show, il database "guru99" non compare in Hive. Possiamo quindi confermare che il database "guru99" è stato eliminato.

Comandi del database Hive: USE, DESCRIBE, SHOW e ALTER DATABASE

Le due istruzioni precedenti utilizzano la loro forma più breve. La sintassi documentata include clausole opzionali che determinano la posizione dei file e cosa accade se il nome è già in uso.

CREATE DATABASE [IF NOT EXISTS] database_name
  [COMMENT database_comment]
  [LOCATION hdfs_path]
  [WITH DBPROPERTIES (property_name=property_value, ...)];

DROP DATABASE [IF EXISTS] database_name [RESTRICT|CASCADE];

Le parole chiave DATABASE e SCHEMA sono intercambiabili, quindi CREATE SCHEMA e CREATE DATABASE svolgono esattamente la stessa funzione. I comandi rimanenti completano le operazioni quotidiane con un namespace.

Due impostazioni predefinite sono importanti da ricordare. Senza una clausola LOCATION i file si trovano nella directory del data warehouse, normalmente /user/hive/warehouse/database_name.db, e senza IF EXISTS un drop in corrispondenza di un nome mancante genera un errore invece di passare silenziosamente. Entrambe le impostazioni sono contenute nel Metastore di Hive.

Conversione dei tipi di dati Hive ed errori comuni

I tipi non vengono sempre utilizzati esattamente come dichiarati. Hive espande automaticamente un valore quando non vi è alcuna perdita di informazioni e lascia tutto il resto a una conversione esplicita.

• L'allargamento implicito segue la catena TINYINT a SMALLINT a INT a BIGINT a FLOAT a DOUBLE, e una STRINGA che contiene cifre viene promossa a DOUBLE.
• Il restringimento non avviene mai automaticamente, quindi un DOUBLE assegnato a una colonna INT richiede una conversione scritta.
• CAST esegue la conversione in scrittura e restituisce NULL anziché un errore quando il valore non può essere convertito.

SELECT CAST(salary AS DECIMAL(10,2)) FROM employees;

Gli errori elencati di seguito rappresentano la maggior parte delle sorprese che i principianti incontrano al loro primo schema.

Una volta che i tipi si comportano correttamente, il passo successivo è caricare e interrogare i dati stessi, che è trattato in Query Hive con Order By, Group By e Cluster By.

DOMANDE FREQUENTI