Como instalar o HIVE em Ubuntu (Guia de download e configuração)

⚔ Resumo Inteligente

O Apache Hive Ć© instalado em Ubuntu Como uma camada fina de armazenamento de dados sobre um cluster Hadoop jĆ” em execução, a configuração consiste basicamente em descompactar um arquivo e apontar trĆŖs variĆ”veis ​​de ambiente para os diretórios corretos.

  • 🧱 Hadoop em primeiro lugar: Todos os daemons do Hadoop jĆ” devem estar em execução, pois o Hive armazena seus dados de tabela no HDFS e submete seus trabalhos ao cluster.
  • ā¬‡ļø Fonte de download: As versƵes binĆ”rias sĆ£o obtidas na pĆ”gina de espelhos do Apache, e a linha 3.x chegou ao fim de sua vida Ćŗtil em outubro de 2024.
  • šŸ“ Dois arquivos de configuração: A variĆ”vel de ambiente HIVE_HOME deve ser incluĆ­da no arquivo .bashrc, e a variĆ”vel HADOOP_HOME deve ser incluĆ­da no arquivo hive-config.sh dentro do diretório bin do Hive.
  • šŸ’¾ Pastas HDFS: Os diretórios warehouse e tmp devem existir no HDFS com permissĆ£o de escrita para o grupo antes da criação da primeira tabela.
  • 🧩 Etapa de esquema: O utilitĆ”rio schematool cria as tabelas do metastore, e o Hive 3.x e versƵes posteriores se recusam a iniciar com um esquema nĆ£o inicializado.
  • šŸ”Ø Verifique rapidamente: Uma instrução `create` seguida de `describe` comprova que o shell, o metastore e o HDFS estĆ£o todos interligados corretamente.

Como instalar o Hive no Ubuntu

Antes da instalação do Apache Hive, precisamos de um servidor dedicado. Hadoop instalação, instalado e funcionando com todos os daemons do Hadoop.

Para instalar o Hadoop, consulte este link. link.

Assim que todos os daemons do Hadoop estiverem funcionando corretamente, basta iniciar a instalação do Hive. O passo a passo abaixo descreve quatro etapas:

Processo de instalação do Apache Hive

  1. PrƩ-requisitos e compatibilidade de versƵes
  2. Instalação do Hive
  3. Inicialização do esquema metastore
  4. Comandos do shell do Hive

PrƩ-requisitos para instalar o Apache Hive em Ubuntu

O Hive nĆ£o Ć© um banco de dados independente. Ɖ uma camada de consulta que traduz HiveQL em tarefas que sĆ£o executadas em um cluster existente, portanto, quase todas as instalaƧƵes com falha tracO problema estĆ” relacionado a um prĆ©-requisito ausente, e nĆ£o ao próprio Hive. Confirme o seguinte antes de baixar qualquer coisa:

  • Um JDK compatĆ­vel. O Hive 4.1.x funciona com o JDK 17, enquanto o Hive 4.2.x eleva o requisito mĆ­nimo para o JDK 21. Verifique a versĆ£o com java -version e certifique-se de que a variĆ”vel de ambiente JAVA_HOME esteja exportada.
  • Um cluster Hadoop em execução. Tanto o NameNode quanto o DataNode devem estar ativos. Execute jps e confirme se NameNode, DataNode, ResourceManager e NodeManager aparecem na lista.
  • Acesso de escrita ao HDFS. A conta que inicia o Hive precisa de permissĆ£o para criar diretórios em HDFS.
  • VersƵes correspondentes. O Hive 4.2.0 foi desenvolvido com base no Hadoop 3.4.1 e no Tez 0.10.5. A linha Hive 3.x chegou ao fim de sua vida Ćŗtil em outubro de 2024, portanto, uma nova instalação deve ser direcionada Ć  linha 4.x.
  • Recursos gratuitos. Uma configuração de aprendizado de nó Ćŗnico funciona confortavelmente com aproximadamente 4 GB de RAM e 20 GB de espaƧo livre em disco.

Com essas caixas marcadas, a sequência de download e descompactação abaixo ocorre sem surpresas.

Como instalar o Hive em Ubuntu

Abaixo estĆ” um processo passo a passo sobre como instalar o Hive em Ubuntu:

Etapa 1) Baixe e instale o Hive em Ubuntu

Para baixar a versão estÔvel do Hive, consulte o apache URL Conforme mencionado abaixo.

https://www.apache.org/dyn/closer.cgi/hive/ — vĆ” para o URL e selecione o link de download do espelho Apache. PĆ”gina de downloads do Apache Hive Lista quais versƵes do Hadoop sĆ£o compatĆ­veis com cada versĆ£o de lanƧamento.

A pÔgina espelhada abre com a lista de diretórios de versões do Hive disponíveis, conforme mostrado abaixo.

PÔgina espelho do Apache listando os diretórios de versões disponíveis do Apache Hive.

Selecione a versão mais recente do instalador do Hive. (No meu caso, é a versão 3.1.2.) A pasta de lançamento lista os arquivos binÔrios e de código-fonte lado a lado.

Pasta de distribuição do Hive mostrando os arquivos binÔrios e de código-fonte.

Clique no arquivo .bin e o download comeƧarƔ.

O navegador solicita o download do arquivo de distribuição tar.gz do Apache Hive.

Passo 2) Extraco arquivo tar

Acesse o local do arquivo tar baixado e execute o comando.tracExtraia o arquivo tar usando o seguinte comando para instalar o Hive em Ubuntu no seu sistema.

tar -xvf  apache-hive-3.1.2-bin.tar.gz

O terminal exibe cada arquivo à medida que ele é descompactado no novo diretório do Hive.

SaĆ­da do terminal enquanto o arquivo tar do Hive estĆ” sendo executadotracted em Ubuntu

Etapa 3) Coloque diferentes propriedades de configuração no Apache Hive

Nesta etapa, faremos duas coisas:

  1. Adicionando o caminho do diretório raiz do Hive ao arquivo .bashrc
  2. Inserir o caminho do diretório inicial do Hadoop no arquivo hive-config.sh.

1) Mencione o caminho do Hive em ~/.bashrc

Abra o arquivo para edição com o comando mostrado abaixo.

Comando que abre o arquivo .bashrc para editar as variĆ”veis ​​de ambiente do Hive.

  • Abra o arquivo .bashrc conforme mostrado na captura de tela acima.
  • Indique o caminho do diretório raiz do Hive, ou seja, o caminho HIVE_HOME, no arquivo .bashrc e exporte-o conforme mostrado abaixo.

Linhas de exportação HIVE_HOME e PATH adicionadas ao final do arquivo bashrc.

Code Para ser colocado no arquivo .bashrc:

export HIVE_HOME="/home/guru99hive/apache-hive-1.2.0-bin"
export PATH=$PATH:$HIVE_HOME/bin

Recarregue o arquivo com fonte ~ / .bashrc Assim, o novo caminho entra em vigor na sessão atual do terminal.

2) Exportando o caminho do Hadoop em hive-config.sh

Para comunicar com o ecossistema Hadoop, definimos o caminho do diretório raiz do Hadoop no arquivo de configuração do Hive. Abra o arquivo hive-config.sh conforme mostrado abaixo.

Comando usado para abrir o arquivo hive-config.sh no diretório bin do Hive.

Indique o caminho HADOOP_HOME no arquivo hive-config.sh conforme mostrado abaixo.

O caminho HADOOP_HOME Ć© declarado dentro do arquivo hive-config.sh.

Etapa 4) Crie diretórios Hive no Hadoop

Para se comunicar com o Hadoop, precisamos criar diretórios no Hadoop, conforme mostrado abaixo. O Hive grava os dados da tabela gerenciada no diretório `warehouse` e ​​a saĆ­da de preparação no diretório `tmp`.

Comandos HDFS que criam os diretórios temporÔrios e de armazenamento do Hive.

Conceder permissƵes de root para criar pastas do Hive no Hadoop. Se nenhuma mensagem de erro for exibida, significa que o Hadoop concedeu permissƵes com sucesso Ơs pastas do Hive.

Terminal mostrando as permissões de gravação de grupo concedidas às pastas do Hive no HDFS.

Passo 5) Entre no shell do Hive

Acesse o shell do Hive digitando o seguinte: '. /colmeia' comando como mostrado abaixo.

O prompt do shell do Hive foi aberto a partir do diretório bin do Hive em Ubuntu

Como inicializar o esquema do metastore do Hive

O Hive armazena todos os nomes de tabelas, colunas e tipos de dados em um repositório relacional chamado metastore. Em uma instalação nova, esse repositório estÔ vazio e, a partir da versão 3.x do Hive, o shell se recusa a iniciar até que as tabelas de esquema existam. O utilitÔrio schematool, que é fornecido no diretório bin do Hive, cria essas tabelas.

Para uma configuração de aprendizagem com um único utilizador, a base de dados Derby incluída é suficiente:

$HIVE_HOME/bin/schematool -dbType derby -initSchema

O comando imprime a versão do esquema que criou e termina com schemaTool concluídoO Derby grava seus arquivos no diretório de onde o comando foi executado, portanto, sempre inicie o Hive a partir desse mesmo diretório posteriormente.

O Derby aceita apenas uma sessão ativa por vez, o que o torna inadequado para um cluster compartilhado. Aponte o Hive para MySQL Em vez disso, adicione as propriedades de conexão ao arquivo hive-site.xml e execute a ferramenta novamente com um tipo de banco de dados diferente:

$HIVE_HOME/bin/schematool -dbType mysql -initSchema

A lista completa de propriedades e a alocação de motoristas estão descritas no guia de instruções. Configure o metastore do Hive com MySQLVale a pena lembrar mais duas bandeiras:

  • -informaƧƵes Relata a versĆ£o do esquema atualmente registrada no metastore sem alterar nada.
  • -upgradeSchema Migra um metastore existente para a versĆ£o do esquema da nova versĆ£o do Hive instalada.

Com o esquema definido, o shell estÔ pronto para aceitar sua primeira instrução HiveQL.

Comandos do shell do Hive

Aqui, vamos criar uma tabela de exemplo usando o comando "create" do shell do Hive com nomes de colunas.

Código de exemplo para criar um banco de dados no Hive. A captura de tela abaixo mostra a instrução CREATE e a saída do comando DESCRIBE, uma após a outra.

SaĆ­da do shell do Hive para os comandos `create table` e `describe product`.

A partir da captura de tela acima, podemos observar o seguinte:

1) Criação de uma tabela de exemplo com nomes de colunas no Hive

  • Aqui o nome da tabela Ć© ā€œprodutoā€ com trĆŖs nomes de colunas produto, nome e preƧo
  • Os nomes das trĆŖs colunas sĆ£o indicados pelos seus respectivos tipos de dados.
  • Todos os campos sĆ£o terminados por uma vĆ­rgula ', '

2) Exibindo informaƧƵes da tabela Hive

  • Usando o comando ā€œdescribeā€, podemos visualizar as informaƧƵes da tabela presentes no Hive.
  • Aqui estĆ£o exibidos os nomes das colunas com seus respectivos tipos de dados presentes no esquema da tabela.
  • Ao final, serĆ” exibido o tempo gasto para executar este comando e o nĆŗmero de linhas retornadas.

Código de exemplo para criar um banco de dados em Colméia (para autoavaliação)

1) Criar tabela produto(produto int, nome_do_produto string, preƧo float)

Row format delimited
Fields terminated by ',';

2) descrever o produto;

Assim que a tabela responde ao comando `describe`, o shell, o metastore e o HDFS são interligados. A partir daí, a mesma sessão aceita o protocolo mais amplo. Criar, alterar e excluir tabela declarações e o ordenar por, agrupar por e clusterizar por consultas.

Erros comuns de instalação do Hive Ubuntu e como corrigi-los

A maioria das falhas na primeira execução decorre do ambiente ao redor do Hive, e não do próprio Hive. A tabela abaixo relaciona as mensagens que aparecem com mais frequência à sua causa e ao comando que as resolve.

Mensagem na tela Causa provƔvel Fixar
hive: comando não encontrado HIVE_HOME/bin não estÔ no PATH. Verifique novamente as linhas de exportação no arquivo .bashrc e execute o comando. fonte ~ / .bashrc
Informações de versão não encontradas no metastore O esquema do metastore nunca foi inicializado. Execute o schematool com a opção -initSchema para o tipo de banco de dados escolhido.
A chamada para localhost:9000 falhou devido a uma exceção de conexão. O HDFS não estÔ em execução. Inicie os daemons do Hadoop e confirme se o NameNode e o DataNode aparecem em jps
O NameNode estÔ em modo de segurança. O NameNode ainda estÔ em modo de segurança de inicialização. Saia do modo de segurança com hdfs dfsadmin -safemode sair
Permissão negada: acesso=ESCRITA em /user/hive/warehouse O diretório do armazém não possui permissão de escrita para o grupo. Reaplicar hdfs dfs -chmod g+w nos diretórios de armazenamento e temporÔrios
Erro NoSuchMethodError em Preconditions.checkArgument O Hive e o Hadoop distribuem versões diferentes do arquivo Guava. Exclua o arquivo JAR antigo do Guava no diretório lib do Hive e copie o arquivo JAR do Hadoop para o mesmo lugar.

Uma maneira rÔpida de separar um problema do Hive de um problema do Hadoop é executar jps Primeiro. Se os daemons estiverem ausentes, a falha estÔ no cluster; se estiverem presentes e o shell ainda falhar, a falha estÔ na configuração do Hive ou no esquema do metastore. Assim que o shell estiver estÔvel, Operadores e funções integradas do HiveQL A referência é o próximo passo natural.

Perguntas Frequentes

Uma tabela gerenciada permite que o Hive seja proprietÔrio tanto dos metadados quanto dos arquivos, então desative-a.ping Isso exclui os dados no diretório do armazém. Uma tabela externa registra apenas os metadados e os descarta.ping Isso deixa os arquivos subjacentes intactos.

O Hive funciona em qualquer lugar onde uma JVM e o Hadoop funcionem, mas os scripts de shell pressupƵem um ambiente Unix. Windows A maioria das equipes usa WSL2 ou uma imagem Docker; macOS O mesmo arquivo tar funciona assim que as variĆ”veis ​​de ambiente JAVA_HOME e HADOOP_HOME forem exportadas.

O Beeline é um cliente JDBC que se conecta ao HiveServer2 em vez de carregar o Hive dentro do processo do shell. Ele suporta usuÔrios simultâneos e autenticação, e a antiga CLI do Hive estÔ obsoleta, portanto, novas instalações devem padronizar o uso do Beeline.

Os mecanismos modernos alimentam modelos de custo aprendidos com estatísticas históricas de consultas, que preveem tamanhos de varredura, eliminação de partições e ordem de junção. Os fornecedores de nuvem expõem os mesmos sinais como recomendações automÔticas para compactação de arquivos, layout de partições e dimensionamento de contêineres.

O Copilot gera rapidamente arquivos .bashrc, blocos hive-site.xml e invocações do schematool, e os agentes podem executÔ-los em um ambiente isolado (sandbox). Considere a saída como um primeiro rascunho: números de versão, portas e caminhos de diretório ainda precisam ser verificados em seu próprio cluster.

Aproximadamente 4 GB de RAM e 20 GB de espaço livre em disco são suficientes para aprendizado, jÔ que o Hive em si é um cliente leve. O tamanho dos nós de produção gira em torno do cluster Hadoop e do banco de dados metastore, e não do Hive.

Descompacte a nova versão ao lado da antiga, redirecione a variÔvel de ambiente HIVE_HOME e execute o schematool com a opção -upgradeSchema para que o metastore corresponda. A remoção consiste simplesmente em excluir o diretório do Hive e remover os arquivos de configuração.ping As linhas de exportação do bashrc; os dados do data warehouse HDFS permanecem intactos.

Não. O MapReduce estÔ obsoleto como mecanismo de execução do Hive, e o Hive 4.x é executado no Apache Tez por padrão. MapaReduzir Ainda vale a pena entender o modelo, pois o Tez segue o mesmo modelo de tarefas direcionadas.

Resuma esta postagem com: