Commandes HBase Shell avec exemples

Comment interagir avec HBase à l'aide des commandes Shell et Java API

Après l'installation réussie de HBase sur Hadoop, nous obtenons un shell interactif permettant d'exécuter diverses commandes et d'effectuer plusieurs opérations. Grâce à ces commandes, nous pouvons réaliser de multiples opérations sur les tables de données, ce qui améliore l'efficacité du stockage des données et offre une interaction plus flexible avec le client.

Nous pouvons interagir avec HBase de deux manières :

• Mode shell interactif HBase, et
• Avec Java API.

Dans HBase, le mode shell interactif est utilisé pour interagir avec HBase pour les opérations sur les tables, la gestion des tables et la modélisation des données. Java Avec le modèle API, nous pouvons effectuer tous les types d'opérations sur les tables et les données dans HBase. Nous pouvons interagir avec HBase en utilisant ces deux méthodes. La seule différence entre les deux est que… Java L'API utilise Java Le code permet de se connecter à HBase, tandis que le mode shell utilise des commandes shell pour se connecter à HBase.

Petit rappel rapide concernant HBase avant de continuer :

• HBase utilise Hadoop HBase utilise les fichiers comme système de stockage pour stocker de grandes quantités de données. Il est composé de serveurs maîtres et de serveurs de région.
• Les données stockées dans HBase seront organisées en régions. Ces régions seront ensuite réparties sur plusieurs serveurs de régions.
• Ces commandes shell permettent au programmeur de définir des schémas de tables et des opérations sur les données en utilisant une interaction complète en mode shell.
• Quelle que soit la commande utilisée, elle se reflétera dans le modèle de données HBase.
• Nous utilisons les commandes shell HBase dans des interpréteurs de scripts du système d'exploitation comme le shell Bash.
• Le shell Bash est l'interpréteur de commandes par défaut pour la plupart des systèmes. Linux et les distributions du système d'exploitation Unix.
• Les versions avancées de HBase fournissent des commandes shell avec des références orientées objet de type JRuby pour les tables.
• Les variables de référence de table peuvent être utilisées pour effectuer des opérations sur les données en mode shell HBase.

Par exemple :

• Dans ce tutoriel, nous avons créé un tableau dans lequel « éducation » représente le nom du tableau et correspond au nom de la colonne « guru99 ».
• Dans certaines commandes, « guru99 » représente lui-même un nom de table.

Commandes générales

Dans HBase, les commandes générales sont classées dans les catégories suivantes :

• Statut
• Version
• Table_help (analyser, supprimer, obtenir, mettre, désactiver, etc.)
• Qui suis je

Pour accéder à la ligne de commande HBase, il faut tout d'abord exécuter le code mentionné ci-dessous.

hbase Shell

Une fois dans l'interface HBase, nous pouvons exécuter toutes les commandes mentionnées ci-dessous. Grâce à ces commandes, nous pouvons effectuer tous types d'opérations sur les tables en mode HBase. L'invite de commande interactive s'affiche comme suit :

Examinons toutes ces commandes et leur utilisation une par une avec un exemple.

Statut

Syntax:status

Cette commande fournit des informations détaillées sur l'état du système, comme le nombre de serveurs présents dans le cluster, le nombre de serveurs actifs et la charge moyenne. Vous pouvez également spécifier des paramètres pour obtenir un niveau de détail plus précis. Les options possibles sont « summary », « simple » et « detailed » ; le paramètre par défaut est « summary ».

Nous illustrons ci-dessous comment transmettre différents paramètres à la commande status. La capture d'écran ci-dessous vous permettra de mieux comprendre.

hbase(main):001:0>status
hbase(main):002:0>status 'simple'
hbase(main):003:0>status 'summary'
hbase(main):004:0> status 'detailed'

Le résultat de l'état est affiché ci-dessous :

L'exécution de cette commande d'état fournit des informations sur le nombre de serveurs actifs, les serveurs hors service et la charge moyenne du serveur. La capture d'écran ci-contre affiche des informations telles que : 1 serveur actif, 1 serveur hors service et une charge moyenne de 7.0000.

Version

Syntax: version

Le résultat de la version est affiché ci-dessous :

• Cette commande affichera la version HBase actuellement utilisée en mode commande.
• Si vous exécutez la commande de version, elle affichera un résultat similaire à celui indiqué ci-dessus.

Tableau d'aide

Syntax:table_help

Le résultat de la commande table_help est affiché ci-dessous :

Ce guide de commande :

• Que sont les commandes référencées par table et comment les utiliser ?
• Il fournira des exemples d'utilisation des différentes commandes shell HBase et leurs syntaxes.
• La capture d'écran ci-dessus illustre la syntaxe des commandes « create » et « get_table » ainsi que leur utilisation. Ces commandes permettent de manipuler la table une fois créée dans HBase.
• Il fournira des commandes de manipulation de tables telles que put, get, et toutes les autres informations relatives aux commandes.

whoami

Syntax: Whoami

Le résultat de la commande whoami est affiché ci-dessous :

La commande « whoami » permet d'obtenir les informations de l'utilisateur HBase actuel du cluster HBase. Elle fournit notamment les informations suivantes :

• Groupes présents dans HBase.
• Les informations de l'utilisateur ; par exemple, dans ce cas, « hduser » représente le nom d'utilisateur tel qu'il apparaît dans la capture d'écran.

TTL (Time To Live) – Attribut

Dans HBase, les familles de colonnes peuvent être configurées avec des valeurs temporelles en secondes grâce à l'attribut TTL. HBase supprime automatiquement les lignes une fois le délai d'expiration atteint. Cet attribut s'applique à toutes les versions d'une ligne, y compris la version actuelle.

La durée de vie (TTL) encodée dans HBase pour la ligne est spécifiée en UTC. Cet attribut est utilisé avec les commandes de gestion des tables. Les principales différences entre la gestion de la TTL et les TTL des familles de colonnes sont décrites ci-dessous :

• Les durées de vie des cellules sont exprimées en millisecondes au lieu de secondes.
• La durée de vie (TTL) d'une cellule ne peut pas prolonger la durée de vie effective d'une cellule au-delà d'un paramètre TTL défini au niveau de la famille de colonnes.

Commandes de gestion des tables

Ces commandes permettent aux programmeurs de créer des tables et des schémas de table avec des familles de lignes et de colonnes. Voici les commandes de gestion des tables :

• Créer
• Liste
• Décrire
• Désactiver
• Désactiver tous les
• Permettre
• Activer_tout
• Goutte
• Drop_all
• Afficher_filtres
• Alter
• Modifier_statut

Examinons les différentes utilisations des commandes dans HBase à l'aide d'un exemple.

Créer

Syntax: create <tablename>, <columnfamilyname>

Exemple:-

hbase(main):001:0> create 'education' ,'guru99'
0 rows(s) in 0.312 seconds
=>Hbase::Table – education

Le résultat de la commande de création est affiché ci-dessous :

L'exemple ci-dessus explique comment créer une table dans HBase avec le nom spécifié, conformément aux règles de chaque famille de colonnes. Il est également possible de lui transmettre des attributs de portée table. Pour vérifier si la table « education » a été créée, utilisez la commande « list » ci-dessous. Voir aussi création de tables HBase avec Java et coquillage.

Liste

Syntax:list

La liste des résultats est affichée ci-dessous :

• La commande « list » affichera toutes les tables présentes ou créées dans HBase.
• La capture d'écran ci-dessus affiche actuellement les tables existantes dans HBase.
• Ici, sur cette capture d'écran, on peut voir qu'il y a un total de 8 tables présentes dans HBase.
• Nous pouvons filtrer les valeurs de sortie des tableaux en passant des paramètres d'expression régulière optionnels.

Décrire

Syntax:describe <table name>

hbase(main):010:0>describe 'education'

Le résultat de la commande describe est affiché ci-dessous :

Cette commande décrit la table nommée.

• Elle fournira davantage d'informations sur les familles de colonnes présentes dans le tableau mentionné.
• Dans notre cas, elle donne la description du tableau « éducation ».
• Il fournira des informations sur le nom de la table, les familles de colonnes, les filtres associés, les versions et d'autres détails.

désactiver

Syntax: disable <tablename>

hbase(main):011:0>disable 'education'

Le résultat de la désactivation est affiché ci-dessous :

• Cette commande va commencer à désactiver la table nommée.
• Si une table doit être supprimée, elle doit d'abord être désactivée.

Ici, dans la capture d'écran ci-dessus, nous désactivons le tableau d'éducation.

désactiver tous les

 Syntax: disable_all<"matching regex"

• Cette commande désactivera toutes les tables correspondant à l'expression régulière donnée.
• L'implémentation est la même que pour la commande drop (à l'exception de l'ajout d'une expression régulière pour la correspondance).
• Une fois la table désactivée, l'utilisateur peut la supprimer de HBase.
• Avant de supprimer ou de laisser tomberping une table, elle devrait d'abord être désactivée.

Permettre

Syntax: enable <tablename>

hbase(main):012:0>enable 'education'

Le résultat de l'activation est affiché ci-dessous :

• Cette commande activera la table nommée.
• Quelle que soit la table désactivée, pour la rétablir dans son état précédent, nous utilisons cette commande.
• Si une table est désactivée initialement et n'est ni supprimée ni effacée, et si nous voulons réutiliser la table désactivée, nous devons alors l'activer à l'aide de cette commande.
• Ici, dans la capture d'écran ci-dessus, nous activons le tableau « éducation ».

show_filters

Syntax: show_filters

Le résultat de la commande show_filters est affiché ci-dessous :

Cette commande affiche tous les filtres présents dans HBase, tels que ColumnPrefixFilter, TimestampsFilter, PageFilter, FamilyFilter, etc.

déposer

Syntax:drop <table name>

hbase(main):017:0>drop 'education'

Le résultat de la chute est indiqué ci-dessous :

Concernant la commande drop, nous devons respecter les points suivants :

• Pour supprimer une table présente dans HBase, il faut d'abord la désactiver.
• Pour supprimer la table présente dans HBase, il faut d'abord la désactiver.
• Pour supprimer une table, il faut d'abord la désactiver à l'aide de la commande disable.
• Ici, dans la capture d'écran ci-dessus, nous sommes déposésping le tableau « éducation ».
• Avant d'exécuter cette commande, il est nécessaire de désactiver la table « éducation ».

drop_all

Syntax: drop_all<"regex">

• Cette commande supprimera toutes les tables correspondant à l'expression régulière donnée.
• Les tables doivent d'abord être désactivées avant d'exécuter cette commande, en utilisant disable_all.
• Les tables contenant des expressions régulières de correspondance vont être supprimées de HBase.

est autorisé

Syntax: is_enabled 'education'

Cette commande vérifie si la table spécifiée est activée ou non. Il existe souvent une légère confusion entre les actions des commandes « enable » et « is_enabled », que nous allons clarifier ici :

• Supposons qu'une table soit désactivée ; pour utiliser cette table, nous devons l'activer à l'aide de la commande enable.
• La commande is_enabled vérifie si la table est activée ou non.

modifier

Syntax: alter <tablename>, NAME=><column familyname>, VERSIONS=>5

Cette commande modifie le schéma de la famille de colonnes. Pour comprendre exactement ce qu'il fait, nous l'avons expliqué ici avec un exemple.

Exemples : Dans ces exemples, nous allons effectuer des opérations de commande ALTER sur des tables et leurs colonnes. Nous effectuerons des opérations telles que :

• Modification des noms de famille sur une ou plusieurs colonnes.
• Suppression des noms de familles de colonnes d'une table.
• Plusieurs autres opérations utilisant des attributs de portée avec un tableau.

Pour modifier ou ajouter la famille de colonnes « guru99_1 » à la table « education » afin de limiter à 5 le nombre de versions de cellules, nous allons modifier le schéma de la famille de colonnes en remplaçant « guru99 » par « guru99_1 ». « education » est la table créée précédemment avec la colonne nommée « guru99 ». À l'aide d'une commande ALTER, nous allons remplacer « guru99 » par « guru99_1 », comme indiqué ci-dessous :

hbase> alter 'education', NAME='guru99_1', VERSIONS=>5

Vous pouvez également appliquer la commande ALTER à plusieurs familles de colonnes. Par exemple, nous allons définir deux nouvelles colonnes pour notre table existante « éducation », comme indiqué ci-dessous :

 hbase> alter 'edu', 'guru99_1', {NAME => 'guru99_2', IN_MEMORY => true}, {NAME => 'guru99_3', VERSIONS => 5}

• Cette commande permet de modifier simultanément le schéma de plusieurs colonnes.
• guru99_2 et guru99_3, comme indiqué dans la capture d'écran ci-dessus, sont les deux nouveaux noms de colonnes que nous avons définis pour la table education.
• La capture d'écran précédente illustre la manière d'utiliser cette commande.

Dans cette étape, nous verrons comment supprimer une famille de colonnes d'une table. Pour supprimer la famille de colonnes « f1 » de la table « education », utilisez l'une des commandes ci-dessous. Le résultat est illustré dans la capture d'écran suivante :

hbase> alter 'education', NAME => 'f1', METHOD => 'delete'

hbase> alter 'education', 'delete' =>' guru99_1'

Cette commande vise à supprimer l'espace de colonne nommé guru99_1 créé précédemment. Comme illustré dans les captures d'écran ci-dessous, elle comporte deux étapes : la modification et la suppression d'un attribut de portée de table.

Syntax: alter <'tablename'>, MAX_FILESIZE=>'132545224'

Étape 1) Vous pouvez modifier les attributs de portée table tels que MAX_FILESIZE, READONLY, MEMSTORE_FLUSHSIZE, DEFERRED_LOG_FLUSH, etc. Ceux-ci peuvent être placés à la fin ; par exemple, pour modifier la taille maximale d'une région à 128 Mo ou à toute autre valeur de mémoire, nous utilisons cette commande.

Usage:

• Nous pouvons utiliser MAX_FILESIZE avec le tableau comme attribut de portée, comme ci-dessus.
• La valeur représentée par MAX_FILESIZE correspond à la taille de la mémoire en octets.

REMARQUE : La taille maximale des fichiers (MAX_FILESIZE) est déterminée par certains attributs présents dans HBase. MAX_FILESIZE fait également partie des attributs de portée de table.

Étape 2) Vous pouvez également supprimer un attribut de portée table à l'aide de la méthode table_att_unset. Voir la commande ci-dessous :

alter 'education', METHOD => 'table_att_unset', NAME => 'MAX_FILESIZE'

• La capture d'écran ci-dessus montre le nom de la table modifié avec les attributs de portée.
• La méthode table_att_unset est utilisée pour supprimer les attributs présents dans la table.
• Dans le second cas, nous désactivons l'attribut MAX_FILESIZE.
• Après l'exécution de la commande, l'attribut MAX_FILESIZE de la table « education » sera simplement supprimé.

alter_status

 Syntax: alter_status 'education'

Le résultat de la commande alter_status est affiché ci-dessous :

• Cette commande vous permet d'obtenir l'état de la commande alter.
• Il indique le nombre de régions de la table ayant reçu le schéma mis à jour. Vous devez indiquer le nom de la table.
• La capture d'écran ci-dessus indique que 1/1 région a été mise à jour. Cela signifie qu'une seule région a été mise à jour. Si l'opération réussit, le message « Terminé » s'affichera.

Commandes de manipulation de données

Ces commandes permettent de manipuler les données de la table, notamment en y insérant des données, en les récupérant ou en supprimant des éléments du schéma. Voici les commandes concernées :

• que vous avez
• mettre
• Prendre
• Supprimer
• tout effacer
• Tronquer
• Scanner

Examinons l'utilisation de ces commandes à l'aide d'un exemple. Voir aussi lecture et écriture de données HBase.

que vous avez

Syntax: count <'tablename'>, CACHE =>1000

• Cette commande permet de récupérer le nombre de lignes d'une table. La valeur renvoyée correspond à ce nombre de lignes.
• Le nombre actuel est affiché par défaut toutes les 1000 lignes.
• L'intervalle de comptage peut être spécifié de manière facultative.
• La taille du cache par défaut est de 10 lignes.
• La commande de comptage fonctionnera rapidement si elle est configurée avec le cache approprié.

Exemple :

hbase> count 'guru99', CACHE=>1000

Le résultat du comptage est affiché ci-dessous :

Cet exemple extrait 1 000 lignes à la fois de la table « guru99 ». On peut réduire la taille du cache si la table contient plus de lignes. Par défaut, une seule ligne est extraite à la fois.

hbase>count 'guru99', INTERVAL => 100000
hbase> count 'guru99', INTERVAL =>10, CACHE=> 1000

Supposons que la table « guru99 » contienne une référence à une autre table, par exemple « g ». Nous pouvons également exécuter la commande de comptage sur cette référence, comme ci-dessous :

hbase>g.count INTERVAL=>100000
hbase>g.count INTERVAL=>10, CACHE=>1000

mettre

Syntax:  put <'tablename'>,<'rowname'>,<'columnvalue'>,<'value'>

Cette commande sert aux opérations suivantes :

• Il placera une « valeur » de cellule dans une table, une ligne ou une colonne définie ou spécifiée.
• Il permettra éventuellement de coordonner un horodatage.

Exemple : Ici, nous plaçons des valeurs dans le tableau « guru99 » sous la ligne r1 et la colonne c1.

hbase> put 'guru99', 'r1', 'c1', 'value', 10

Nous avons placé trois valeurs, 10, 15 et 30, dans le tableau « guru99 », comme indiqué dans la capture d'écran ci-dessous.

Supposons que la table « guru99 » contienne une référence à une autre table, par exemple « g ». Nous pouvons également exécuter la commande sur cette référence, comme ceci :

hbase> g.put 'guru99', 'r1', 'c1', 'value', 10

Le résultat sera identique à celui de la capture d'écran ci-dessus après la saisie des valeurs dans « guru99 ». Pour vérifier que les valeurs saisies sont correctement insérées dans le tableau, nous utilisons la commande « scan ». La capture d'écran ci-dessous montre que les valeurs sont correctement insérées.

Code Extrait : Pour s'entraîner

create 'guru99', {NAME=>'Edu', VERSIONS=>213423443}
put 'guru99', 'r1', 'Edu:c1', 'value', 10
put 'guru99', 'r1', 'Edu:c1', 'value', 15
put 'guru99', 'r1', 'Edu:c1', 'value', 30

D'après cet extrait de code, nous effectuons les opérations suivantes :

• Ici, nous créons une table nommée « guru99 » avec la colonne nommée « Edu ».
• En utilisant la commande « put », nous plaçons des valeurs dans la ligne nommée r1 dans la colonne « Edu » de la table « guru99 ».

Prendre

Syntax: get <'tablename'>, <'rowname'>, {< Additional parameters>}

Ici, Incluez TIMERANGE, TIMESTAMP, VERSIONS et FILTERS. Cette commande vous permet d'obtenir le contenu d'une ligne ou d'une cellule du tableau. Vous pouvez également y ajouter des paramètres supplémentaires, tels que TIMESTAMP, TIMERANGE, VERSIONS, FILTERS, etc., pour obtenir le contenu d'une ligne ou d'une cellule en particulier.

La fonction get output ci-dessous renvoie les valeurs de la ligne r1 et de la colonne c1 :

Exemples:-

hbase> get 'guru99', 'r1', {COLUMN => 'c1'}

Pour le tableau « guru99 », les valeurs de la ligne r1 et de la colonne c1 s'afficheront à l'aide de cette commande, comme indiqué dans la capture d'écran ci-dessus.

hbase> get 'guru99', 'r1'

Pour le tableau « guru99 », les valeurs de la ligne r1 seront affichées à l'aide de cette commande.

hbase> get 'guru99', 'r1', {TIMERANGE => [ts1, ts2]}

Pour le tableau « guru99 », les valeurs de la ligne r1 dans la plage de temps ts1 à ts2 seront affichées à l'aide de cette commande.

hbase> get 'guru99', 'r1', {COLUMN => ['c1', 'c2', 'c3']}

Pour le tableau « guru99 », les valeurs de la ligne r1 et des familles de colonnes c1, c2 et c3 seront affichées à l'aide de cette commande.

Supprimer

Syntax:delete <'tablename'>,<'row name'>,<'column name'>

• Cette commande supprimera la valeur de la cellule à une ligne ou une colonne définie dans un tableau.
• La suppression doit et devrait correspondre exactement aux coordonnées de la cellule supprimée.
• Lors de l'analyse, la suppression d'une cellule efface les anciennes versions des valeurs.

Exemple : La commande delete ci-dessous supprime les cellules r1 et c1 du tableau guru99 :

hbase(main):)020:0> delete 'guru99', 'r1', 'c1''.

• L'exécution ci-dessus supprimera la ligne r1 de la famille de colonnes c1 dans la table « guru99 ».
• Supposons que la table « guru99 » contienne une référence à une table, par exemple g.
• Nous pouvons également exécuter la commande sur la référence de table, comme hbase> g.delete 'guru99', 'r1', 'c1'".

supprimer tout

Syntax: deleteall <'tablename'>, <'rowname'>

• Cette commande supprimera toutes les cellules d'une ligne donnée.
• Nous pouvons définir, de manière optionnelle, les noms de colonnes et un horodatage dans la syntaxe.

Exemple : La commande deleteall ci-dessous supprime toutes les cellules de la ligne r1 :

hbase>deleteall 'guru99', 'r1', 'c1'

Cette commande supprimera toutes les lignes et colonnes présentes dans le tableau. Il est possible, si vous le souhaitez, de spécifier les noms des colonnes.

Tronquer

Syntax:  truncate <tablename>

La commande truncate ci-dessous vide la table tandis que keeping son schéma :

Après la troncature d'une table HBase, le schéma est conservé mais pas les enregistrements. Cette commande remplit trois fonctions, décrites ci-dessous :

• Désactive la table si elle existe déjà.
• Supprime la table si elle existe déjà.
• Recrée le tableau mentionné.

Scanner

Syntax: scan <'tablename'>, {Optional parameters}

Cette commande analyse l'intégralité du tableau et affiche son contenu.

• Nous pouvons transmettre plusieurs spécifications facultatives à cette commande scan pour obtenir plus d'informations sur les tables présentes dans le système.
• Les spécifications du scanner peuvent inclure un ou plusieurs des attributs suivants.
• Il s'agit de TIMERANGE, FILTER, TIMESTAMP, LIMIT, MAXLENGTH, COLUMNS, CACHE, STARTROW et STOPROW.

scan 'guru99'

Le résultat de l'analyse est affiché ci-dessous :

Dans la capture d'écran ci-dessus :

• Elle affiche le tableau « guru99 » avec le nom et les valeurs des colonnes.
• Il se compose de trois valeurs de ligne, r1, r2 et r3, pour la valeur de colonne unique c1.
• Il affiche les valeurs associées aux lignes.

Exemples : - Les différentes utilisations de la commande scan :

Code Exemple : Commencez par créer un tableau et saisissez-y des valeurs. La saisie est illustrée dans la capture d’écran ci-dessous :

create 'guru99', {NAME=>'e', VERSIONS=>2147483647}
put 'guru99', 'r1', 'e:c1', 'value', 10
put 'guru99', 'r1', 'e:c1', 'value', 12
put 'guru99', 'r1', 'e:c1', 'value', 14
delete 'guru99', 'r1', 'e:c1', 11

Si nous exécutons la commande de scan :

Query: scan 'guru99', {RAW=>true, VERSIONS=>1000}

Le résultat affiché sera celui indiqué ci-dessous :

Le résultat affiché dans la capture d'écran ci-dessus fournit les informations suivantes :

• Analyse de la table guru99 avec les attributs RAW=>true, VERSIONS=>1000.
• Affichage des lignes avec familles de colonnes et valeurs.
• Sur la troisième ligne, les valeurs affichées correspondent à la valeur supprimée présente dans la colonne.
• Le résultat affiché est aléatoire ; il ne peut pas correspondre à l'ordre des valeurs que nous avons insérées dans le tableau.

Cluster Commandes de réplication

• Ces commandes fonctionnent en mode de configuration de cluster de HBase.
• Ces commandes permettent généralement d'ajouter et de supprimer des pairs dans un cluster, ainsi que de démarrer et d'arrêter la réplication.

FAQ