HBase Archiarquitetura: casos de uso, componentes e modelo de dados

Por: David Carter David Carter
Hours Atualização do

⚡ Resumo Inteligente

A arquitetura do HBase é construída a partir de quatro componentes coordenadores — HMaster, Region Servers, ZooKeeper e HDFS — que armazenam dados em um modelo orientado a colunas, dividem-nos em regiões e oferecem leituras e gravações aleatórias de baixa latência.

  • 🧭 HMaster: Atribui regiões aos Servidores de Região, gerencia o balanceamento de carga e o failover, e administra as alterações de esquema e metadados.
  • 🗄️ Servidores regionais: Atenda às solicitações de leitura e gravação do cliente, hospede regiões e divida regiões automaticamente à medida que os dados aumentam.
  • 🧱 Regiões e lojas: Cada região mantém um armazenamento por família de colunas, construído a partir de um MemStore na memória e HFiles no disco.
  • 🔗 Funcionário do zoológico: Coordenadas do cluster, tracfalhas do servidor ks e armazena a configuração de quorum que os clientes usam para se conectar.
  • 🧮 Modelo de dados: As tabelas agrupam famílias de colunas e linhas, e uma chave de linha atua como chave primária para cada acesso.
  • ⚡ HBase vs HDFS: O HBase adiciona leituras e gravações aleatórias de baixa latência ao armazenamento em lote do HDFS.
Saiba Mais

Arquitetura do HBase com seus componentes, modelo de dados e fluxo de dados de leitura e gravação.

O Apache HBase é um banco de dados NoSQL distribuído e orientado a colunas que funciona sobre... Hadoop e o Hadoop Distributed File System (HDFS). Sua arquitetura combina um mestre coordenador, servidores de região e o ZooKeeper para armazenar tabelas muito grandes e atender a leituras e gravações aleatórias rápidas.

HBase Archiarquitetura e seus componentes importantes

A arquitetura do HBase possui os seguintes componentes principais:

  • H Master
  • ServidorHRegion
  • HRegiões
  • Funcionário do zoológico
  • HDFS

A seguir, encontra-se uma arquitetura detalhada do HBase com seus componentes, conforme mostrado no diagrama.

Diagrama da arquitetura do HBase mostrando o HMaster, os Region Servers, o ZooKeeper e o HDFS.

H Master

O HMaster no HBase é a implementação de um servidor Master na arquitetura do HBase. Ele atua como um agente de monitoramento para todas as instâncias do Region Server presentes no cluster e serve como interface para todas as alterações de metadados. Em um ambiente de cluster distribuído, o Master é executado no NameNode. O Master executa várias threads em segundo plano.

A seguir, apresentamos algumas funções importantes desempenhadas pelo HMaster no HBase:

  • Desempenha um papel vital em termos de desempenho e manutenção de nós no cluster.
  • HMaster fornece desempenho administrativo e distribui serviços para servidores de diferentes regiões.
  • HMaster atribui regiões a servidores de região.
  • O HMaster controla o balanceamento de carga e o failover para lidar com a carga nos nós presentes no cluster.
  • Quando um cliente deseja alterar qualquer esquema ou operação de metadados, o HMaster assume a responsabilidade por essas operações.

Alguns dos métodos expostos pela interface HMaster são principalmente métodos orientados a metadados:

  • Tabela (createTable, removeTable, ativar, desativar)
  • ColumnFamily (adicionar coluna, modificar coluna)
  • Região (mover, atribuir)

O cliente se comunica de forma bidirecional com o HMaster e o ZooKeeper. Para operações de leitura e gravação, ele contata diretamente os servidores HRegion. O HMaster atribui regiões aos servidores de região e, por sua vez, verifica o estado de integridade dos servidores de região.

Em toda a arquitetura, temos vários servidores regionais. Um HLog está presente nos servidores regionais, que armazena todos os arquivos de log.

Servidores de região HBase

Quando um servidor de região HBase recebe solicitações de leitura e gravação do cliente, ele atribui a solicitação a uma região específica, onde a família de colunas reside. O cliente pode contatar diretamente os servidores HRegion; não é necessária a permissão obrigatória de HMaster para que o cliente se comunique com eles. O cliente só precisa da ajuda do HMaster quando operações relacionadas a metadados e alterações de esquema são necessárias.

O HRegionServer é a implementação do Servidor de Região. Ele é responsável por servir e gerenciar regiões, ou seja, os dados presentes em um cluster distribuído. Os servidores de região são executados nos Nós de Dados presentes no cluster Hadoop.

O HMaster pode entrar em contato com vários servidores HRegion e executa as seguintes funções:

  • Hospedagem e gerenciamento de regiões
  • Dividindo regiões automaticamente
  • Tratamento de solicitações de leitura e gravação
  • Comunicando-se diretamente com o cliente

Regiões HBase

As HRegions são os elementos básicos de construção de um cluster HBase. Elas consistem na distribuição de tabelas e são compostas por famílias de colunas. Uma região contém múltiplos armazenamentos, um para cada família de colunas. Ela consiste principalmente em dois componentes: o MemStore e o HFile.

Funcionário do zoológico

HBase Funcionário do zoológico O ZooKeeper é um servidor de monitoramento centralizado que mantém informações de configuração e fornece sincronização distribuída. A sincronização distribuída coordena os aplicativos distribuídos em execução no cluster, fornecendo serviços de coordenação entre os nós. Se o cliente deseja se comunicar com regiões, ele precisa primeiro contatar o ZooKeeper.

É um projeto de código aberto que oferece muitos serviços importantes.

Serviços oferecidos pelo ZooKeeper:

  • Mantém informações de configuração
  • Fornece sincronização distribuída
  • Estabelece comunicação do cliente com os servidores da região.
  • Fornece nós efêmeros que representam servidores de diferentes regiões.
  • Permite que o servidor mestre utilize esses nós efêmeros para descobrir servidores disponíveis no cluster.
  • Tracfalha do servidor ks e partições de rede

Os nós mestre e escravo do HBase (servidores de região) se registram no ZooKeeper. O cliente precisa de acesso à configuração de quorum do ZooKeeper (ZK) para se conectar com os servidores mestre e de região.

Durante uma falha de nós presentes no cluster HBase, o quorum do ZooKeeper dispara mensagens de erro e inicia o reparo dos nós com falha.

HDFS

HDFS é o Sistema de Arquivos Distribuídos do Hadoop. Sistema de ArquivoComo o nome indica, ele fornece um ambiente distribuído para armazenamento e é um sistema de arquivos projetado para funcionar em hardware comum. Ele armazena cada arquivo em múltiplos blocos e, para manter a tolerância a falhas, os blocos são replicados em todo o cluster Hadoop.

O HDFS oferece um alto grau de tolerância a falhas e funciona em hardware de baixo custo. Ao adicionar nós ao cluster e realizar processamento e armazenamento usando hardware de baixo custo, o cliente obtém melhores resultados em comparação com a configuração existente.

Neste sistema, os dados armazenados em cada bloco são replicados em 3 nós, portanto, se algum nó falhar, não haverá perda de dados; ele possui um mecanismo adequado de backup e recuperação.

O HDFS entra em contato com os componentes do HBase e armazena uma grande quantidade de dados de forma distribuída.

Modelo de dados HBase

O modelo de dados do HBase é um conjunto de componentes que consiste em tabelas, linhas, famílias de colunas, células, colunas e versões. As tabelas do HBase contêm famílias de colunas e linhas, com elementos definidos como chaves primárias. Uma coluna na tabela do modelo de dados do HBase representa um atributo dos objetos.

O modelo de dados do HBase consiste nos seguintes elementos:

  • Conjunto de mesas
  • Cada tabela com famílias de colunas e linhas
  • Cada tabela deve ter um elemento definido como chave primária.
  • A chave da linha funciona como uma chave primária no HBase.
  • Qualquer acesso às tabelas do HBase utiliza essa chave primária.
  • Cada coluna presente no HBase denota um atributo correspondente a um objeto.

ARTIGOS RELACIONADOS

Casos de uso do HBase

A seguir, apresentamos exemplos de casos de uso do HBase com uma explicação detalhada da solução que o HBase oferece para diversos problemas técnicos.

Problema Declaração Solução
O setor de telecomunicações enfrenta os seguintes desafios técnicos: armazenar bilhões de registros de detalhes de chamadas (CDR) gerados pelo domínio de telecomunicações; fornecer acesso em tempo real aos registros de CDR e às informações de faturamento dos clientes; e oferecer uma solução com boa relação custo-benefício em comparação aos sistemas de banco de dados tradicionais. O HBase é usado para armazenar bilhões de linhas de registros detalhados de chamadas. Se 20 TB de dados forem adicionados por mês ao banco de dados RDBMS existente, o desempenho será prejudicado. Para lidar com uma grande quantidade de dados neste caso de uso, o HBase é a melhor solução. O HBase realiza consultas rápidas e exibe registros.
O setor bancário gera milhões de registros diariamente. Além disso, o setor bancário também precisa de uma solução analítica capaz de detectar fraudes em transações financeiras. Para armazenar, processar e atualizar grandes volumes de dados e realizar análises, uma solução ideal é o HBase integrado a diversos componentes do ecossistema Hadoop.

Além disso, o HBase pode ser usado:

  • Sempre que houver necessidade de aplicações que exijam muita escrita de dados.
  • Para realizar análises de logs online e gerar relatórios de conformidade.

Mecanismo de armazenamento em HBase

O HBase é um banco de dados orientado a colunas, e os dados são armazenados em tabelas. As tabelas são classificadas por RowId. Como mostrado abaixo, o HBase possui um RowId, que é o conjunto de várias famílias de colunas presentes na tabela.

As famílias de colunas presentes no esquema são pares chave-valor. Observando em detalhes, cada família de colunas possui múltiplas colunas. Os valores das colunas são armazenados na memória do disco. Cada célula da tabela possui seus próprios metadados, como um carimbo de data/hora e outras informações.

O layout de armazenamento orientado a colunas, com chaves de linha, famílias de colunas e células, é mostrado abaixo.

Mecanismo de armazenamento do HBase mostrando a chave da linha, famílias de colunas, colunas e células.

A seguir, apresentamos os principais termos que representam um esquema de tabela HBase:

  • Tabela: Conjunto de linhas presentes.
  • Linha: Conjunto de famílias de colunas.
  • Família de colunas: Conjunto de colunas.
  • Coluna: Conjunto de pares chave-valor.
  • Espaço de nomes: Grupo lógicoping de mesas.
  • Célula: Uma tupla {linha, coluna, versão} que especifica exatamente uma definição de célula no HBase.

Armazenamentos orientados a colunas versus armazenamentos orientados a linhas

Os armazenamentos orientados a colunas e orientados a linhas diferem em seu mecanismo de armazenamento. Como todos sabemos, os modelos relacionais tradicionais armazenam dados em um formato baseado em linhas, em termos de linhas de dados. Os armazenamentos orientados a colunas armazenam tabelas de dados em termos de colunas e famílias de colunas.

A tabela a seguir apresenta algumas diferenças importantes entre esses dois tipos de armazenamento.

Banco de dados orientado a colunas Banco de dados orientado a linhas
Utilizado quando a situação envolve processamento e análise, como o Processamento Analítico Online (OLAP) e suas aplicações. O processamento de transações online, como nos setores bancário e financeiro, utiliza essa abordagem.
A quantidade de dados que pode ser armazenada neste modelo é muito grande, em termos de petabytes. Ele foi projetado para um pequeno número de linhas e colunas.

Explicação de dados de leitura e gravação do HBase

As operações de leitura e gravação do cliente para o HFile são mostradas no diagrama abaixo.

Fluxo de dados de leitura e gravação do HBase entre o cliente, o servidor de região, o MemStore e o HFile.

Etapa 1) O cliente deseja gravar dados e, por sua vez, primeiro se comunica com o Servidor Regional e depois com as regiões.

Etapa 2) A região contata o MemStore para armazenar os dados associados à família de colunas.

Etapa 3) Primeiro, os dados são armazenados no MemStore, onde são classificados, e em seguida gravados no HFile. O principal motivo para usar o MemStore é armazenar dados em um sistema de arquivos distribuído com base na chave da linha. O MemStore está localizado na memória principal do Region Server, enquanto os HFiles são gravados no HDFS.

Etapa 4) O cliente deseja ler dados das regiões.

Etapa 5) Por sua vez, o cliente pode ter acesso direto ao MemStore e solicitar dados.

Etapa 6) O cliente acessa o HFiles para obter os dados. Os dados são buscados e recuperados pelo cliente.

O MemStore armazena as modificações feitas na memória. A hierarquia de objetos nas regiões do HBase, de cima para baixo, é mostrada na tabela abaixo.

mesa Tabela HBase presente no cluster HBase
Região HRegions para as tabelas apresentadas
Loja Armazena um por família de colunas para cada região da tabela.
MemStore Um MemStore para cada repositório em cada região da tabela. Ele classifica os dados antes de gravá-los nos HFiles. O desempenho de leitura e gravação aumenta devido à classificação.
Arquivo de armazenamento StoreFiles para cada loja para cada região da tabela
Bloquear Blocos presentes dentro de StoreFiles

HBase versus HDFS

O HBase funciona sobre o HDFS e o Hadoop. Algumas diferenças importantes entre o HDFS e o HBase estão relacionadas às operações e ao processamento de dados.

HBase HDFS
Operações de baixa latência Operações de alta latência
Leituras e gravações aleatórias Escreva uma vez, leia muitas vezes.
Acessado por comandos do shell, uma API de cliente em JavaREST, Avro ou Thrift Acessado principalmente através do MapReduce (MR) empregos
Tanto o armazenamento quanto o processamento podem ser realizados. É destinado apenas a áreas de armazenamento.

Algumas aplicações industriais típicas de TI utilizam operações do HBase juntamente com o Hadoop. Essas aplicações incluem operações com dados de bolsas de valores e bancos online, onde o HBase é a solução mais adequada. Assim que seu cluster estiver pronto, você poderá Ler e gravar dados no HBase or Instalar HBase em um nó novo.

Perguntas Frequentes

Sim. O HBase é um banco de dados NoSQL distribuído e orientado a colunas, modelado em Google O Bigtable é construído sobre o HDFS. Ele armazena dados esparsos em tabelas de famílias de colunas e não usa esquemas fixos ou junções SQL como um banco de dados relacional.

O WAL, também chamado de HLog, registra cada gravação no Region Server antes que ela entre no MemStore. Ele é armazenado no HDFS, portanto, se um Region Server falhar antes de uma gravação (flush), o HBase reproduz o WAL para recuperar as edições não salvas.

A compactação mescla arquivos HFile para manter as leituras rápidas. A compactação menor combina vários arquivos HFile adjacentes pequenos em um só. A compactação maior reescreve todos os arquivos HFile de uma família de colunas em um único arquivo e remove fisicamente as células excluídas e expiradas.

Ambos são bancos de dados NoSQL inspirados no Bigtable, mas o HBase roda no HDFS com um único HMaster ativo e consistência forte, enquanto Cassandra É um ambiente sem mestre, com replicação ajustável e eventualmente consistente. O HBase é adequado para análises do Hadoop; Cassandra ternos sempre ligados escrevem.

Projete as chaves de linha de forma que as leituras e gravações sejam distribuídas uniformemente entre as regiões. Evite chaves que aumentam monotonicamente, pois isso cria gargalos em um servidor de região. Use salting, hashing ou inversão de campos e mantenha as chaves curtas, pois elas se repetem em todas as células.

Uma região se divide automaticamente quando seu armazenamento ultrapassa um limite de tamanho configurado. O Servidor de Região a divide em duas regiões filhas na chave da linha intermediária, e o HMaster pode reatribuir uma delas a outro servidor para equilibrar a carga.

Ferramentas de IA e aprendizado de máquina analisam padrões de consulta e acesso para sugerir designs de chave de linha e família de colunas que evitam pontos de acesso críticos. Elas também examinam métricas e registros do Region Server para sinalizar anomalias, como regiões desbalanceadas ou nós com falha, precocemente.

Sim. Travas deslizantes portáteis Copiloto do GitHub rascunhos HBase Java Código do cliente, comandos do shell e filtros de varredura a partir de um breve comentário. RevVerifique se os nomes das tabelas, famílias de colunas e classes da API, como Connection e Table, estão corretos antes de executá-lo em um cluster real.

Resuma esta postagem com: