Exemplos de consultas Hive: Order By, Group By & Cluster By

O Hive fornece uma linguagem de consulta do tipo SQL para fins de ETL sobre o Hadoop sistema de arquivo.

A Linguagem de Consulta Hive (HiveQL) fornece um ambiente do tipo SQL no Hive para trabalhar com tabelas, bancos de dados e consultas.

O Hive utiliza diferentes tipos de cláusulas para realizar diversos tipos de manipulação e consulta de dados, e oferece conectividade JDBC para melhorar as conexões com nós externos ao ambiente.

As consultas do Hive oferecem os seguintes recursos:

• Modelagem de dados, como a criação de bancos de dados, tabelas, etc.
• funcionalidades ETL como extracção, transformação e carregamento de dados em tabelas
• Junta para mesclar diferentes tabelas de dados
• Scripts personalizados específicos do usuário para facilitar o código
• Ferramenta de consulta mais rápida baseada no Hadoop

Criando tabela no Hive

Antes de começarmos com o tema principal deste tutorial, vamos primeiro criar uma tabela que servirá de referência para as seções seguintes.

Neste tutorial, vamos criar a tabela “employees_guru” com 6 colunas, como mostra a captura de tela abaixo.

Na captura de tela acima,

1. Estamos criando a tabela “employees_guru” com 6 colunas, como Id, Nome, Idade, Endereço, Salário e Departamento, que pertencem aos funcionários da organização “guru”.
2. Nesta etapa, estamos carregando dados na tabela employees_guru. Os dados que vamos carregar estão localizados no arquivo Employees.txt.

Ordenar por consulta

A sintaxe ORDER BY no HiveQL é semelhante à sintaxe ORDER BY no... SQL língua.

ORDER BY é a cláusula que usamos com a instrução “SELECT” em Consultas de colmeia Para classificar dados, utiliza colunas em tabelas do Hive para ordenar os valores das colunas específicas mencionadas com ORDER BY, e a consulta exibe os resultados em ordem crescente ou decrescente desses valores.

Se o campo ORDER BY mencionado for uma string, o resultado será exibido em ordem lexicográfica. No backend, todo o conjunto de resultados precisa ser passado para um único reducer.

Esse único redutor também torna o ORDER BY caro em uma tabela grande, portanto, no modo estrito (hive.mapred.mode=strictO Hive rejeita uma instrução ORDER BY que não contenha uma cláusula LIMIT.

A captura de tela abaixo mostra a consulta ORDER BY e suas linhas classificadas.

A partir da captura de tela acima, podemos observar o seguinte:

1. Trata-se da consulta realizada na tabela “employees_guru” com a cláusula ORDER BY e “Department” como o nome da coluna definida na cláusula ORDER BY. “Department” é uma string, portanto, os resultados são exibidos em ordem lexicográfica.
2. Este é o resultado real da consulta. Os resultados são exibidos com base na coluna Departamento, como ADMINISTRAÇÃO, Finanças e assim por diante, em ordem.

Inquérito:

SELECT * FROM employees_guru ORDER BY Department;

Agrupar por consulta

A cláusula GROUP BY usa colunas em tabelas do Hive para agrupar.ping Os valores específicos da coluna mencionados com GROUP BY são usados ​​na consulta, que seleciona e exibe os resultados agrupados por esses valores.

Por exemplo, a captura de tela abaixo exibe o número total de funcionários presentes em cada departamento. Aqui, temos "Departamento" como o valor de AGRUPAMENTO.

A partir da captura de tela acima, podemos observar o seguinte:

1. Trata-se da consulta realizada na tabela “employees_guru” com a cláusula GROUP BY e Department como o nome da coluna GROUP BY definida.
2. O resultado apresentado aqui mostra o nome do departamento e o número de funcionários em cada departamento. Todos os funcionários pertencentes a um departamento específico são agrupados e exibidos, portanto, cada linha de resultado corresponde ao nome do departamento e seu número total de funcionários.

Inquérito:

SELECT Department, count(*) FROM employees_guru GROUP BY Department;

Ordenar

A cláusula SORT BY opera sobre os nomes das colunas das tabelas do Hive para ordenar a saída. Podemos usar DESC para ordenar em ordem decrescente e ASC para ordenar em ordem crescente.

A opção SORT BY ordena as linhas antes de enviá-las ao redutor, garantindo a ordem dentro de cada redutor, em vez de em todo o resultado. A ordenação sempre depende do tipo da coluna.

Por exemplo, se o tipo da coluna for numérico, a classificação será feita em ordem numérica, e se o tipo da coluna for de texto, a classificação será feita em ordem lexicográfica.

A captura de tela abaixo mostra a consulta SORT BY usando DESC.

Na captura de tela acima, podemos observar o seguinte:

1. Trata-se da consulta realizada na tabela “employees_guru” com a cláusula SORT BY e “Id” como nome da coluna definida na cláusula SORT BY. Utilizamos a palavra-chave DESC.
2. Assim, a saída exibida está em ordem decrescente de "Id".

Inquérito:

SELECT * from employees_guru SORT BY Id DESC;

Cluster By

CLUSTER BY é usado como uma alternativa às cláusulas DISTRIBUTE BY e SORT BY no HiveQL.

A cláusula CLUSTER BY é usada em tabelas presentes no Hive. O Hive usa as colunas em CLUSTER BY para distribuir as linhas entre os reducers, e as colunas em CLUSTER BY são direcionadas para múltiplos reducers. Isso também garante a ordem de classificação dos valores presentes nesses múltiplos reducers.

Por exemplo, a cláusula CLUSTER BY é mencionada no nome da coluna Id da tabela employees_guru. A execução dessa consulta envia resultados para vários reducers no back-end, mas no front-end ela funciona como uma cláusula alternativa tanto para SORT BY quanto para DISTRIBUTE BY.

Este é o processo de back-end quando realizamos uma consulta com SORT BY, GROUP BY ou CLUSTER BY no framework MapReduce. Portanto, se quisermos armazenar resultados em vários reducers, usamos CLUSTER BY.

A gramática CLUSTER BY aceita apenas nomes de colunas, portanto, ASC e DESC não podem ser associados a ela; um resultado em ordem decrescente requer DISTRIBUTE BY com um SORT BY … DESC separado.

A captura de tela abaixo mostra a consulta CLUSTER BY no Id.

Na captura de tela acima, obtemos as seguintes observações:

1. É a consulta que executa a cláusula CLUSTER BY no valor do campo Id. Aqui, ela irá classificar os valores de Id.
2. Exibe os valores de Id e Nome presentes em employees_guru em ordem crescente.

Inquérito:

SELECT  Id, Name from employees_guru CLUSTER BY Id;

Distribuir por

A cláusula DISTRIBUTE BY é usada em tabelas presentes no Hive. O Hive utiliza as colunas em DISTRIBUTE BY para distribuir as linhas entre os reducers, de forma que todas as linhas que compartilham o mesmo valor na coluna DISTRIBUTE BY sejam direcionadas para o mesmo reducer.

• Isso garante que cada um dos N redutores receba uma sequência sem sobreposição.ping conjunto de valores da coluna
• Não ordena a saída de cada redutor e não há garantia de que as linhas correspondentes fiquem lado a lado.

A captura de tela abaixo mostra a consulta DISTRIBUTE BY no Id.

A partir da captura de tela acima, podemos observar o seguinte:

1. A cláusula DISTRIBUTE BY é executada no Id da tabela “employees_guru”.
2. A saída mostra o ID e o Nome. No backend, as linhas com o mesmo ID são enviadas para o mesmo reducer.

Inquérito:

SELECT  Id, Name from employees_guru DISTRIBUTE BY Id;

As quatro cláusulas são fáceis de confundir, por isso a tabela abaixo as compara.

Perguntas Frequentes