Avantages, inconvénients et goulot d'étranglement des performances de HBase

Par : David Carter David Carter
Hours Le kit de préparation mis à jour

⚡ Résumé intelligent

HBase est la base de données NoSQL distribuée et orientée colonnes construite sur Hadoop HDFSet il offre un accès en lecture et en écriture aléatoire en temps réel à des milliards de lignes, tout en présentant des compromis évidents en matière de requêtes, d'indexation et de coût matériel.

  • 🇧🇷 Foundation: HBase est un système de stockage NoSQL orienté colonnes, basé sur HDFS, pour les tables éparses et très volumineuses.
  • ✅ Avantages : Il s'adapte horizontalement, prend en charge les lectures et écritures aléatoires en temps réel et agrège des milliards de lignes.
  • ⚠️ Inconvénients : Il ne prend pas en charge SQL, les jointures et les index secondaires, et reste gourmand en ressources CPU et mémoire.
  • ???? Goulots d'étranglement : Un seul HMaster actif et un basculement lent créent des goulots d'étranglement de performance reconnus.
  • ???? Par rapport aux SGBDR : Contrairement à une base de données relationnelle, HBase privilégie la scalabilité au détriment des transactions et des requêtes complexes.
  • 🤖 Point de vue de l'IA : Les pipelines d'apprentissage automatique lisent les tables HBase pour obtenir des fonctionnalités en temps réel et détecter les anomalies.
En savoir plus

Avantages, inconvénients et goulots d'étranglement des performances de HBase

Qu'est-ce que HBase ?

HBase est une base de données NoSQL open source, distribuée et orientée colonnes, qui s'exécute sur le système de fichiers distribué Hadoop (HDFS). Elle est basée sur… Google Bigtable stocke les données dans des tables composées de lignes et de familles de colonnes, et il est conçu pour les ensembles de données épars pouvant atteindre des milliards de lignes et des millions de colonnes.

Contrairement à une base de données relationnelle, HBase n'utilise pas de schéma fixe ni d'optimiseur de requêtes. Chaque valeur est identifiée par une clé de ligne, une famille de colonnes, un qualificateur de colonne et un horodatage, ce qui permet des lectures et écritures aléatoires en temps réel rapides, même à très grande échelle.

Un cluster HBase repose sur quelques composants essentiels. Le HMaster coordonne le cluster et attribue les régions, les serveurs de régions stockent et servent les données, et Apache Gardien de zoo tracHBase permet de savoir quels serveurs sont opérationnels et facilite la reprise après incident. Intégré à l'écosystème Hadoop, il fonctionne avec des outils tels que… MapReduce, Rucheet Pig pour l'analyse par lots. Pour un aperçu plus détaillé du fonctionnement interne, consultez la documentation. Architecture HBase.

Avantages de HBase

Voici les principaux avantages de l'utilisation de HBase :

  • Stocke de très grands ensembles de données sur HDFS et peut agréger et analyser des milliards de lignes contenues dans des tables HBase.
  • La base de données peut être partagée entre de nombreux clients dans un environnement distribué.
  • La lecture et le traitement des données prennent moins de temps qu'avec les modèles relationnels traditionnels.
  • Prend en charge les opérations de lecture et d'écriture aléatoires rapides.
  • HBase est largement utilisé pour les opérations analytiques en ligne.
  • Dans les applications bancaires, telles que les mises à jour en temps réel des soldes des distributeurs automatiques de billets, HBase gère de manière fiable les lectures et les écritures à volume élevé.

Inconvénients de HBase

Voici les principales limitations de HBase :

  • HBase ne remplace pas complètement les modèles relationnels traditionnels ; certaines fonctionnalités relationnelles ne sont pas prises en charge.
  • HBase ne peut pas effectuer des fonctions comme SQLIl ne prend pas en charge la structure SQL, il ne possède donc pas d'optimiseur de requêtes.
  • HBase est gourmand en ressources CPU et mémoire, avec des accès séquentiels importants en entrées/sorties, tandis que les tâches MapReduce sont principalement limitées par les E/S et utilisent une mémoire fixe. L'intégration de HBase avec des tâches MapReduce peut engendrer des latences imprévisibles.
  • L'intégration de HBase avec les tâches Pig et Hive peut parfois entraîner des problèmes de mémoire sur le cluster.
  • Dans un environnement de cluster partagé, la configuration nécessite moins d'emplacements de tâches par nœud à allouer aux besoins en processeur de HBase.

ARTICLES LIÉS

Goulots d'étranglement en matière de performances dans HBase

HBase offre une grande évolutivité, mais plusieurs choix architecturaux créent des goulots d'étranglement en matière de performances que les équipes doivent prendre en compte :

Dans un environnement de production de grande envergure, un cluster HBase peut s'étendre sur des milliers de nœuds, mais seul le HMaster fait office de maître pour tous les serveurs de région esclaves. Si le HMaster tombe en panne, la récupération peut être longue, même si les clients peuvent toujours accéder à un serveur de région. Il est possible de déployer un maître de secours, mais un seul HMaster est actif à la fois, et la promotion du second HMaster après une panne n'est pas instantanée. Par conséquent, le HMaster constitue un goulot d'étranglement reconnu en termes de performances.

HBase ne prend pas en charge directement les opérations de jointure entre tables. Les jointures peuvent être implémentées avec MapReduce, mais cela allonge considérablement le temps de conception et de développement, et certaines jointures de tables sont en pratique impraticables dans HBase.

La migration de données depuis un SGBDR externe vers HBase nécessite généralement la conception d'un nouveau schéma, et ce processus peut être long. Les requêtes sont également complexes : de nombreuses équipes ajoutent une couche SQL, telle qu'Apache Phoenix, à HBase pour pouvoir… lire et écrire des données avec des questions familières.

HBase ne prend en charge qu'un seul index (la clé de ligne faisant office de clé primaire), ce qui ralentit les recherches sur tout autre champ. Les équipes contournent ce problème en écrivant du code MapReduce ou en intégrant Apache. Solr et Apache Phoenix pour l'indexation secondaire.

  • Les contrôles de sécurité pour l'accès aux données multi-utilisateurs ne se sont améliorés que lentement.
  • HBase ne prend pas entièrement en charge les clés partielles.
  • Un seul ordre de tri par défaut est autorisé par table.
  • Stocker de gros fichiers binaires dans HBase est difficile.
  • Le stockage HBase limite les requêtes et le tri en temps réel.
  • Les recherches par clé et les recherches par plage sur le contenu des tables peuvent contraindre les requêtes qui doivent s'exécuter en temps réel.
  • L'indexation par défaut est absente ; les programmeurs doivent écrire du code ou des scripts supplémentaires pour ajouter l'indexation.
  • Les exigences matérielles et l'allocation des blocs de mémoire rendent l'exécution de HBase coûteuse.
  • Un cluster distribué nécessite de nombreux serveurs : des nœuds distincts pour le NameNode, les DataNodes, ZooKeeper et les serveurs de région.
  • Des machines à grande capacité de mémoire sont nécessaires pour de bonnes performances.
  • Le coût global et la maintenance sont plus élevés que pour des solutions plus simples.

HBase vs SGBDR

L'article compare à plusieurs reprises HBase aux bases de données relationnelles traditionnelles. Le tableau ci-dessous résume les principales différences afin de vous aider à choisir le modèle le plus adapté à votre charge de travail :

Fonctionnalité HBase RDBMS
Modèle de données Base de données NoSQL orientée colonnes et à schéma flexible Tables orientées lignes avec un schéma fixe
Langage de requête Pas de SQL natif ; API ou couches additionnelles comme Apache Phoenix SQL complet avec optimiseur de requêtes
écaillage Horizontalement, à travers les nœuds de produits de base (pétaoctets) Principalement vertical ; plus difficile à mettre à l'échelle
Transactions Atomicité au niveau des lignes uniquement ; pas d'ACID multi-lignes Transactions ACID complètes
Jointures et index Aucune jointure native ; index à clé de ligne unique Jointures natives et index secondaires multiples
Meilleur ajustement Données en temps réel éparses, très volumineuses et à fréquence d'écriture élevée Données structurées nécessitant des requêtes complexes

En résumé, HBase privilégie la scalabilité et l'accès en temps réel, tandis qu'un SGBDR privilégie les requêtes complexes et une forte cohérence. Choisissez HBase lorsque le volume de données et le débit d'écriture dépassent les capacités d'une base de données relationnelle.

FAQ

Oui. HBase est une base de données NoSQL distribuée et orientée colonnes, construite sur Hadoop HDFS et inspiré par Google Bigtable. Il stocke les données éparses dans des familles de colonnes plutôt que dans des tables relationnelles fixes, et il privilégie l'évolutivité et l'accès en temps réel aux jointures SQL et aux transactions.

HBase est une base de données NoSQL temps réel à accès aléatoire pour les lectures et les écritures, tandis que Hive est une couche d'entrepôt de données qui exécute des requêtes par lots de type SQL sur Hadoop. HBase permet des recherches en temps réel ; Hive est adapté aux analyses de grande envergure. De nombreux pipelines utilisent les deux conjointement.

HBase est idéal pour les charges de travail à haut volume et en temps réel : mises à jour des transactions bancaires et des distributeurs automatiques, historique des messages et des conversations, données IoT et de capteurs, moteurs de recommandation, détection de fraude et stockage de séries temporelles ou de flux de clics. Il convient à tous les cas nécessitant des opérations de lecture et d’écriture aléatoires rapides sur des milliards de lignes éparses.

HBase ne possède pas de SQL natif, mais Apache Phoenix ajoute une couche SQL qui traduit les requêtes en analyses et lectures HBase. Apache Solr permet d'ajouter la recherche plein texte. Ces couches facilitent l'interrogation de HBase sans remplacer son moteur de stockage.

Ce sont deux bases de données NoSQL à colonnes larges, mais HBase fonctionne sur Hadoop HDFS avec un seul HMaster actif et une forte constance, tandis que Cassandra HBase est sans maître et offre une cohérence éventuelle paramétrable. Il privilégie la cohérence en lecture et l'intégration Hadoop ; Cassandra favorise la disponibilité en écriture et des configurations multi-centres de données plus simples.

HDFS est un système de fichiers distribué qui stocke les fichiers volumineux sous forme de blocs immuables pour un accès par lots. HBase s'exécute sur HDFS et ajoute une couche de base de données permettant un accès aléatoire en lecture et en écriture en temps réel aux lignes et cellules individuelles. Ces deux systèmes sont complémentaires.

Les pipelines d'apprentissage automatique lisent les tables HBase comme un magasin de fonctionnalités à faible latence, extrayant des fonctionnalités en temps réel pour les modèles et rédigeant des prédictions. Spark Les tâches MLlib et TensorFlow peuvent être entraînées sur des données HBase, tandis que la détection d'anomalies par IA analyse les métriques stockées pour signaler rapidement les schémas inhabituels.

Oui. Copilote GitHub peut rédiger des commandes shell HBase, Java Le code client pour les opérations PUT, GET et SCAN, ainsi que l'utilisation d'Apache Phoenix SQL, est généré à partir d'un court commentaire. Il accélère la génération de code répétitif, mais vérifiez l'exactitude des noms de tables, des familles de colonnes et de la structure des clés de ligne avant de l'exécuter.

Résumez cet article avec :