Types de données Hive : comment créer et supprimer des bases de données dans Hive

Les types de données sont des éléments essentiels du langage de requêtes Hive et de la modélisation des données. Pour définir les types de colonnes d'une table, il est indispensable de connaître les types de données et leur utilisation.

Ce qui suit donne un bref aperçu de certains types de données présents dans Hive :

• Types numériques
• Types de chaîne
• Types de date/heure
• Types complexes

Types de données dans Hive

Chaque colonne Hive est déclarée avec l'un des types ci-dessous. Les types primitifs apparaissent en premier, suivis des types complexes qui peuvent contenir plusieurs valeurs dans une même colonne.

Types de données numériques Hive

Les colonnes numériques peuvent contenir de un à huit octets ; choisir le type le plus petit compatible avec les valeurs permet donc de réduire les coûts de stockage et d’analyse.

Types de données de chaîne Hive

Les colonnes de caractères se présentent sous trois formes, et la différence réside dans le fait que Hive impose ou non une longueur déclarée.

Types de données date/heure de la ruche

Les colonnes temporelles sont stockées sans décalage horaire, un point à garder à l'esprit avant de comparer des valeurs écrites par différents clusters.

Types de données divers de Hive

Deux autres primitives se situent en dehors des familles numériques, de chaînes de caractères et de dates, mais apparaissent régulièrement dans des schémas réels.

Types de données complexes Hive

Les types complexes imbriquent les valeurs dans une seule colonne, ce qui élimine la jointure supplémentaire nécessaire à une conception relationnelle.

Exemple de types de données complexes Hive

Le tableau ci-dessus présente la forme de déclaration. L'instruction ci-dessous regroupe trois types complexes dans un seul tableau afin de visualiser simultanément les clauses de délimitation et la syntaxe d'accès.

CREATE TABLE employees (
  name      STRING,
  skills    ARRAY<STRING>,
  deductions MAP<STRING, FLOAT>,
  address   STRUCT<street:STRING, city:STRING, pin:INT>
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

Trois délimiteurs distincts sont nécessaires : un entre les colonnes, un deuxième entre les éléments d’un tableau ou d’une structure, et un troisième entre la clé et la valeur d’une carte. Une fois la table créée, chaque colonne complexe est lue à l’aide de son propre accesseur.

SELECT name, skills[0], deductions['tax'], address.city
FROM employees;

Le tableau ci-dessous récapitule quel accesseur appartient à quel type.

Les types complexes peuvent être imbriqués, donc ARRAY > est une déclaration de colonne valide. Une fois la structure des colonnes définie, les tables sont construites à l'aide des instructions décrites dans Tables Hive : création, modification et suppression.

Comment créer et supprimer des bases de données dans Hive

Dans Hive, une base de données est simplement un espace de noms qui regroupe des tables ; c’est donc le premier objet à créer avant toute manipulation de tables. Voici les étapes à suivre pour créer et supprimer des bases de données dans Hive.

Étape 1) Créer une base de données dans Hive

Pour créer une base de données dans Hive Shell, nous devons utiliser la commande dont la syntaxe est indiquée ci-dessous :

syntaxe:

Create database <DatabaseName>

Exemple : Créer la base de données « guru99 »

La capture d'écran ci-dessous montre l'instruction de création suivie d'une commande d'affichage listant toutes les bases de données du cluster.

D'après la capture d'écran ci-dessus, nous faisons deux choses :

1. Création de la base de données « guru99 » dans Hive
2. Affichage des bases de données existantes à l'aide de la commande « show »

Sur le même écran, la base de données « guru99 » s'affiche à la fin lorsque nous exécutons la commande show, ce qui signifie que la base de données « guru99 » a été créée avec succès.

Étape 2) Déposer la base de données dans Hive

Pour la chuteping Dans l'interface Hive, pour supprimer une base de données, il faut utiliser la commande « drop » comme indiqué dans la syntaxe ci-dessous :

syntaxe:

Drop database <DatabaseName>

Exemple : Supprimer la base de données guru99

Dans la capture d'écran suivante, l'instruction DROP s'exécute en premier, et la commande SHOW qui suit n'affiche plus la base de données.

Dans la capture d'écran ci-dessus, nous faisons deux choses :

1. Nous sommes en train de lâcherping base de données 'guru99' de Hive
2. Vérification croisée avec la commande « show »

Sur le même écran, après avoir vérifié les bases de données avec la commande show, la base de données « guru99 » n'apparaît pas dans Hive. Nous pouvons donc confirmer que la base de données « guru99 » a été supprimée.

Commandes de la base de données Hive : USE, DESCRIBE, SHOW et ALTER DATABASE

Les deux instructions ci-dessus utilisent leur forme la plus courte. La syntaxe documentée comporte des clauses optionnelles qui déterminent l'emplacement des fichiers et le comportement du système lorsque le nom est déjà utilisé.

CREATE DATABASE [IF NOT EXISTS] database_name
  [COMMENT database_comment]
  [LOCATION hdfs_path]
  [WITH DBPROPERTIES (property_name=property_value, ...)];

DROP DATABASE [IF EXISTS] database_name [RESTRICT|CASCADE];

Les mots clés DATABASE et SCHEMA sont interchangeables ; CREATE SCHEMA et CREATE DATABASE font donc exactement la même chose. Les autres commandes permettent de gérer les opérations courantes avec un espace de noms.

Deux valeurs par défaut sont à retenir. Sans clause LOCATION, les fichiers sont placés dans le répertoire de l'entrepôt de données, généralement /user/hive/warehouse/database_name.db. Sans IF EXISTS, une suppression d'un fichier portant sur un nom introuvable génère une erreur au lieu de se dérouler sans incident. Ces deux paramètres sont stockés dans le fichier de configuration. Métastore Hive.

Conversion des types de données Hive et erreurs courantes

Les types ne sont pas toujours utilisés exactement comme déclarés. Hive élargit automatiquement une valeur lorsqu'aucune information ne risque d'être perdue, et laisse toutes les autres situations à une conversion explicite.

• L'élargissement implicite suit la chaîne TINYINT à SMALLINT à INT à BIGINT à FLOAT à DOUBLE, et une STRING contenant des chiffres est promue en DOUBLE.
• Le rétrécissement ne se fait jamais automatiquement, donc une valeur DOUBLE affectée à une colonne INT nécessite une conversion écrite.
• La fonction CAST effectue cette conversion écrite et renvoie NULL plutôt qu'une erreur lorsque la valeur ne peut pas être convertie.

SELECT CAST(salary AS DECIMAL(10,2)) FROM employees;

Les erreurs ci-dessous expliquent la plupart des surprises que rencontrent les débutants lors de leur premier schéma.

Une fois que les types de données se comportent correctement, l'étape suivante consiste à charger et à interroger les données elles-mêmes, ce qui est traité dans Requêtes Hive avec Order By, Group By et Cluster By.

FAQ