Como instalar o HBase no Ubuntu: Guia passo a passo

O Apache HBase é um sistema distribuído, banco de dados orientado a colunas que é executado sobre o Hadoop Distributed File System (HDFS). Antes de começar, certifique-se de que seja compatível. Java O ambiente de execução está instalado e a variável de ambiente JAVA_HOME está configurada; os modos pseudo-distribuído e totalmente distribuído também exigem um ambiente de execução funcional. Hadoop instalação.

Modos de instalação do Apache HBase

O Apache HBase pode ser instalado em três modos. Os recursos desses modos são mencionados abaixo.

1) Instalação em modo autônomo (sem dependência do sistema Hadoop)

• Este é o modo padrão do HBase.
• Ele é executado no sistema de arquivos local.
• Não usa Hadoop HDFS.
• Somente o daemon HMaster pode ser executado.
• Não recomendado para ambiente de produção.
• Executa em uma única JVM.

2) Instalação em modo pseudo-distribuído (sistema Hadoop de nó único + instalação HBase)

• Ele roda em Hadoop HDFS.
• Todos os serviços (daemons) são executados em um único nó.
• Recomendado para ambiente de produção.

3) Instalação em modo totalmente distribuído (ambiente Hadoop com vários nós + instalação do HBase)

• Ele roda em Hadoop HDFS.
• Todos os serviços (daemons) são executados em todos os nós presentes no cluster.
• Altamente recomendado para ambientes de produção.

Para instalação do Hadoop, consulte este link. Guia de instalação do Hadoop.

As capturas de tela abaixo usam o HBase 1.1.2. As versões estáveis ​​atuais são as séries HBase 2.5.x e 2.6.x (Java 8 ou 11), mas os passos de instalação e os arquivos de configuração permanecem essencialmente os mesmos.

Como baixar a versão estável do arquivo tar HBase

Etapa 1) Vá para o Página oficial de downloads do Apache HBase Para baixar o HBase, clique aqui. Isso abrirá a página de downloads, como mostrado abaixo.

Passo 2) Selecione a versão estável, conforme mostrado abaixo, versão HBase 1.1.2.

Passo 3) Clique em hbase-1.1.2-bin.tar.gz. Isso fará o download do arquivo tar. Copie o arquivo tar para o local de instalação.

Como instalar o HBase em Ubuntu com modo autônomo

Aqui está o processo passo a passo para a instalação do HBase no modo autônomo. Ubuntu:

Passo 1) Execute o comando abaixo. Coloque o arquivo hbase-1.1.2-bin.tar.gz em /home/hduser.

Passo 2) Descompacte o arquivo executando o comando `$ tar -xvf hbase-1.1.2-bin.tar.gz`. Isso descompactará o conteúdo e criará o diretório `hbase-1.1.2` no local `/home/hduser`.

Passo 3) Abra o arquivo hbase-env.sh conforme mostrado abaixo e especifique o caminho JAVA_HOME no campo "location", como indicado a seguir.

Passo 4) Abra o arquivo ~/.bashrc e especifique o caminho HBASE_HOME conforme mostrado abaixo.

export HBASE_HOME=/home/hduser/hbase-1.1.1
export PATH= $PATH:$HBASE_HOME/bin

O arquivo ~/.bashrc atualizado com a entrada HBASE_HOME é mostrado abaixo.

Passo 5) Adicione propriedades ao arquivo. Abra o arquivo hbase-site.xml e insira as seguintes propriedades dentro dele.

hduser@ubuntu$ gedit hbase-site.xml (código conforme abaixo)

<property>

<name>hbase.rootdir</name>

<value>file:///home/hduser/HBASE/hbase</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/home/hduser/HBASE/zookeeper</value>

</property>

O arquivo hbase-site.xml foi aberto em gedit é mostrado abaixo.

Aqui estamos inserindo duas propriedades:

• Uma para o diretório raiz do HBase, e
• O segundo é para o diretório de dados que corresponde a Funcionário do zoológico.

Todas as atividades do HMaster e do ZooKeeper apontam para este arquivo hbase-site.xml.

Passo 6) Mencione os IPs. Abra o arquivo hosts presente no diretório /etc e mencione os IPs conforme mostrado abaixo.

Passo 7) Agora execute o script start-hbase.sh no diretório hbase-1.1.1/bin, conforme mostrado abaixo. Em seguida, você pode verificar com o comando jps se o HMaster está em execução.

Passo 8) Inicie o shell do HBase. O shell do HBase pode ser iniciado usando o shell hbase Ao executar o comando, o sistema entrará no modo de shell interativo, conforme mostrado na captura de tela abaixo. Uma vez no modo de shell, podemos executar todos os tipos de comandos.

O modo independente não requer que os daemons do Hadoop sejam iniciados. O HBase pode ser executado de forma independente.

Modo de instalação pseudodistribuído HBase

Este é outro método para instalação do Apache HBase, conhecido como modo de instalação pseudo-distribuído. Abaixo estão os passos para instalar o HBase através do modo pseudo-distribuído.

Passo 1) Coloque hbase-1.1.2-bin.tar.gz em /home/hduser.

Passo 2) Descompacte o arquivo executando o comando `$ tar -xvf hbase-1.1.2-bin.tar.gz`. Isso descompactará o conteúdo e criará o diretório `hbase-1.1.2` no local `/home/hduser`.

Passo 3) Abra o arquivo hbase-env.sh conforme mostrado abaixo, especifique o caminho JAVA_HOME e o caminho dos servidores de região no campo "location" e exporte o comando como mostrado abaixo.

Passo 4) Neste passo, vamos abrir o arquivo ~/.bashrc e especificar o caminho HBASE_HOME, conforme mostrado na captura de tela abaixo.

Passo 5) Abra o arquivo hbase-site.xml e insira as seguintes propriedades (código abaixo).

<property>

<name>hbase.rootdir</name>

<value>hdfs://localhost:9000/hbase</value>

</property>

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<property>

<name>hbase.zookeeper.quorum</name>

<value>localhost</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>hbase.zookeeper.property.clientPort</name>

<value>2181</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/home/hduser/hbase/zookeeper</value>

</property>

O arquivo hbase-site.xml com as propriedades pseudo-distribuídas é mostrado abaixo.

A configuração restante do ZooKeeper é mostrada abaixo.

Cada propriedade no arquivo desempenha um papel específico:

• Configurando o diretório raiz do HBase na propriedade hbase.rootdir.
• Para uma configuração distribuída, hbase.cluster.distributed deve ser definido como verdadeiro.
• A propriedade de quorum do ZooKeeper deve ser configurada aqui.
• A replicação é configurada na propriedade `dfs.replication`. Por padrão, definimos a replicação como 1. No modo totalmente distribuído, vários nós de dados estão presentes, portanto, você pode aumentar a replicação definindo um valor maior que 1 na propriedade `dfs.replication`.
• A porta do cliente deve ser mencionada na propriedade hbase.zookeeper.property.clientPort.
• O diretório de dados do ZooKeeper pode ser especificado na propriedade hbase.zookeeper.property.dataDir.

Passo 6) Inicie primeiro os daemons do Hadoop e, em seguida, inicie os daemons do HBase, conforme mostrado abaixo. Primeiro, você precisa iniciar os daemons do Hadoop usando o comando `./start-all.sh`, conforme mostrado abaixo.

Em seguida, inicie os daemons do HBase com o script hbase-start.sh, conforme mostrado abaixo.

Agora verifique os processos em execução com o comando jps, conforme mostrado abaixo.

Instalação em modo totalmente distribuído do HBase

O modo totalmente distribuído estende a configuração pseudo-distribuída por um cluster real.

• Essa configuração funciona no modo cluster Hadoop, onde vários nós são criados e executados em todo o cluster.
• A instalação é a mesma do modo pseudo-distribuído; a única diferença é que ela será executada em vários nós.
• Os arquivos de configuração mencionados em hbase-site.xml e hbase-env.sh são os mesmos mencionados no modo pseudo.

No modo totalmente distribuído, certifique-se de que a versão do Hadoop no seu cluster corresponda às bibliotecas do Hadoop incluídas no HBase para que os daemons se comuniquem corretamente.

Solução de problemas de instalação do HBase

1) Descrição do problema: O servidor mestre inicializa, mas os servidores regionais não inicializam.

A comunicação entre o servidor Master e os servidores de região ocorre por meio de seus endereços IP. O Master fica à escuta de servidores de região que estejam em execução ou que possuam o endereço IP 127.0.0.1. O endereço IP 127.0.0.1 é o host local e resolve para o próprio host local do servidor Master.

causa:

Na comunicação dupla entre os servidores de região e o servidor mestre, o servidor de região informa continuamente ao servidor mestre que seu endereço IP é 127.0.0.1.

Solução:

• Remova o nó de nome do servidor mestre da entrada do host local presente no arquivo hosts.
• Localização do arquivo hosts: /etc/hosts.

O que mudar:

Abra o arquivo /etc/hosts e acesse este local.

127.0.0.1 fully.qualified.regionservernameregionservername localhost.localdomain localhost
: : 1              localhost3.localdomain3 localdomain3

Modifique a configuração acima conforme abaixo (remova o nome do servidor regional destacado acima).

127.0.0.1    localhost.localdomainlocalhost
: : 1 localhost3.localdomain3 localdomain3

2) Problema: Não foi possível encontrar meu endereço: XYZ na lista de servidores de quorum do ZooKeeper.

causa:

• O servidor ZooKeeper não pôde ser iniciado e apresenta um erro como ".xyz" no nome do servidor.
• O HBase tenta iniciar um servidor ZooKeeper em uma máquina, mas, ao mesmo tempo, a máquina não consegue se encontrar na configuração de quorum presente no arquivo hbase.zookeeper.quorum.

Solução:

• Substitua o nome do host pelo nome do host apresentado na mensagem de erro.
• Se você tiver um servidor DNS, poderá definir as seguintes configurações no arquivo hbase-site.xml: hbase.zookeeper.dns.interface e hbase.zookeeper.dns.nameserver.

3) Declaração do problema: Criou-se um diretório raiz para o HBase por meio do Hadoop DFS.

• O administrador informa que você precisa executar o script de migrações do HBase.
• Ao executar esse comando, o script de migrações do HBase responde que não há arquivos no diretório raiz.

causa:

• Um novo diretório foi criado para o HBase usando o Sistema de Arquivos Distribuído do Hadoop.
• Aqui, o HBase espera duas possibilidades:

1) O diretório raiz não existe.

2) Uma instância anterior do HBase já havia sido inicializada.

Solução:

• Confirme se o diretório raiz do HBase não existe atualmente ou se já foi inicializado por uma execução anterior da instância do HBase.
• Como parte da solução, siga estes passos.

Passo 1) Use o Hadoop DFS para excluir o diretório raiz do HBase.

Etapa 2) O HBase cria e inicializa o diretório automaticamente.

4) Declaração do problema: Eventos de expiração da sessão do ZooKeeper

causa:

• Os servidores HMaster ou HRegion foram desligados, lançando exceções.
• Ao analisar os registros, você poderá descobrir as exceções reais que foram lançadas.

A seguir, são apresentadas as exceções geradas devido a um evento de expiração do ZooKeeper. Os eventos destacados são algumas das exceções que ocorreram no arquivo de log.

O código dos arquivos de log é exibido abaixo:

WARN org.apache.zookeeper.ClientCnxn: Exception
closing session 0x278bd16a96000f to sun.nio.ch.SelectionKeyImpl@355811ec

java.io.IOException: TIMED OUT	
at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:906)
WARN org.apache.hadoop.hbase.util.Sleeper: We slept 79410ms, ten times longer than scheduled: 5000
INFO org.apache.zookeeper.ClientCnxn: Attempting connection to server hostname/IP:PORT
INFO org.apache.zookeeper.ClientCnxn: Priming connection to java.nio.channels.SocketChannel[connected local=/IP:PORT remote=hostname/IP:PORT]
INFO org.apache.zookeeper.ClientCnxn: Server connection successful
WARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x278bd16a96000d to sun.nio.ch.SelectionKeyImpl@3544d65e

java.io.IOException: Session Expired	 
at org.apache.zookeeper.ClientCnxn$SendThread.readConnectResult(ClientCnxn.java:589)
at org.apache.zookeeper.ClientCnxn$SendThread.doIO(ClientCnxn.java:709)
at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:945)
ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired

Solução:

• O tamanho padrão da RAM é de 1 GB. Para importações demoradas, mantenha uma capacidade de RAM superior a 1 GB.
• Aumente o tempo limite da sessão do ZooKeeper.
• Para aumentar o tempo limite da sessão do ZooKeeper, modifique a seguinte propriedade no arquivo hbase-site.xml, localizado no caminho da pasta hbase/conf.
• O tempo limite de sessão padrão é de 60 segundos. Você pode alterá-lo para 120 segundos, conforme mencionado abaixo.

<property>
    <name> zookeeper.session.timeout </name>
    <value>1200000</value>
</property>
<property>
    <name> hbase.zookeeper.property.tickTime </name>
    <value>6000</value>
</property>

Perguntas Frequentes