Vantagens, desvantagens e gargalo de desempenho do HBase

O que é HBase?

O HBase é um banco de dados NoSQL de código aberto, distribuído e orientado a colunas, que funciona sobre o Hadoop Distributed File System (HDFS). Baseado em... Google O Bigtable armazena dados em tabelas compostas por linhas e famílias de colunas, e foi projetado para conjuntos de dados esparsos que podem crescer para bilhões de linhas e milhões de colunas.

Diferentemente de um banco de dados relacional, o HBase não utiliza um esquema fixo nem oferece um otimizador de consultas. Em vez disso, cada valor é referenciado por uma chave de linha, família de colunas, qualificador de coluna e carimbo de data/hora, o que torna as leituras e gravações aleatórias em tempo real rápidas mesmo em grande escala.

Um cluster HBase depende de alguns componentes principais. O HMaster coordena o cluster e atribui regiões, os Region Servers armazenam e disponibilizam os dados propriamente ditos, e o Apache Funcionário do zoológico tracO HBase verifica quais servidores estão ativos e auxilia no failover. Por estar integrado ao ecossistema Hadoop, o HBase funciona com ferramentas como... MapaReduzir, Colméiae Pig para análise em lote. Para uma análise mais detalhada do funcionamento interno, consulte o Arquitetura HBase.

Vantagens do HBase

Aqui estão os principais benefícios de usar o HBase:

• Armazena conjuntos de dados muito grandes sobre o HDFS e pode agregar e analisar bilhões de linhas contidas em tabelas HBase.
• O banco de dados pode ser compartilhado entre vários clientes em um ambiente distribuído.
• A leitura e o processamento de dados levam menos tempo em comparação com os modelos relacionais tradicionais.
• Suporta operações rápidas de leitura e gravação aleatórias.
• O HBase é amplamente utilizado para operações analíticas online.
• Em aplicações bancárias, como atualizações de saldo em tempo real para caixas eletrônicos, o HBase lida com leituras e gravações de alto volume de forma confiável.

Desvantagens do HBase

Aqui estão as principais limitações do HBase:

• O HBase não substitui completamente os modelos relacionais tradicionais; alguns recursos relacionais não são suportados.
• O HBase não consegue executar funções como SQLNão suporta a estrutura SQL, portanto não possui otimizador de consultas.
• O HBase exige muito processamento e memória, com grandes volumes de entrada ou saída sequenciais, enquanto as tarefas MapReduce são, em sua maioria, limitadas por E/S e com memória fixa. A integração do HBase com tarefas MapReduce pode gerar latências imprevisíveis.
• A integração do HBase com tarefas Pig e Hive pode, por vezes, causar problemas de memória no cluster.
• Em um ambiente de cluster compartilhado, a configuração requer menos slots de tarefas por nó para alocar aos requisitos de CPU do HBase.

Gargalos de desempenho no HBase

O HBase oferece escalabilidade, mas diversas escolhas arquitetônicas criam gargalos de desempenho que as equipes devem levar em consideração no planejamento:

Em um ambiente de produção de grande porte, um cluster HBase pode ser executado em milhares de nós, mas apenas o HMaster atua como mestre para todos os Region Servers escravos. Se o HMaster falhar, a recuperação pode levar muito tempo, mesmo que os clientes ainda consigam acessar um Region Server. É possível executar um mestre em espera, mas apenas um HMaster fica ativo por vez, e a promoção do segundo HMaster após uma falha não é instantânea. Consequentemente, o HMaster é um gargalo de desempenho reconhecido.

O HBase não oferece suporte direto a operações entre tabelas ou junções. Junções podem ser implementadas com MapReduce, mas isso aumenta significativamente o tempo de projeto e desenvolvimento, e algumas junções de tabelas são praticamente inviáveis ​​no HBase.

A migração de dados de um SGBD relacional externo para o HBase geralmente exige um novo projeto de esquema, e esse processo de migração pode ser demorado. Consultar dados também é complexo: muitas equipes adicionam uma camada SQL, como o Apache Phoenix, sobre o HBase para facilitar a consulta. ler e gravar dados com perguntas familiares.

O HBase suporta apenas um único índice — a chave da linha atua como chave primária — portanto, as buscas em qualquer outro campo são lentas. As equipes contornam isso escrevendo código MapReduce ou integrando o Apache. Solr e o Apache Phoenix para indexação secundária.

• Os controles de segurança para acesso a dados por múltiplos usuários têm melhorado apenas lentamente.
• O HBase não oferece suporte completo a chaves parciais.
• É permitida apenas uma ordem de classificação padrão por tabela.
• Armazenar arquivos binários grandes no HBase é difícil.
• O armazenamento do HBase limita as consultas e a classificação em tempo real.
• As pesquisas por chave e por intervalo no conteúdo da tabela podem restringir as consultas que precisam ser executadas em tempo real.
• A indexação padrão não existe; os programadores precisam escrever código ou scripts adicionais para adicionar indexação.
• Os requisitos de hardware e a alocação de blocos de memória tornam a execução do HBase dispendiosa.
• Um cluster distribuído precisa de muitos servidores — nós separados para o NameNode, DataNodes, ZooKeeper e Region Servers.
• Máquinas com grande capacidade de memória são necessárias para um bom desempenho.
• O custo total e a manutenção são mais elevados do que os de alternativas mais simples.

HBase vs SGBD

O artigo compara repetidamente o HBase com bancos de dados relacionais tradicionais. A tabela abaixo resume as principais diferenças para que você possa decidir qual modelo se adequa melhor à sua carga de trabalho:

Resumindo, o HBase prioriza a escalabilidade e o acesso em tempo real, enquanto um SGBD relacional prioriza consultas avançadas e forte consistência. Escolha o HBase quando o volume de dados e a taxa de transferência de gravação ultrapassarem a capacidade de um banco de dados relacional.

Perguntas Frequentes