Funções do Hive: Exemplos de funções integradas e UDF (definidas pelo usuário)

As funções são criadas com um propósito específico: executar operações como operações matemáticas, aritméticas, lógicas e relacionais nos operandos dos nomes das colunas da tabela.

Funções incorporadas

Estas são funções que já estão disponíveis no Hive. Primeiro, temos que verificar os requisitos do aplicativo e, então, podemos usar essas funções integradas em nossos aplicativos. Podemos chamar essas funções diretamente em nossa aplicação.

A sintaxe e os tipos são mencionados na seção a seguir.

Tipos de funções integradas no Hive:

• Funções de coleção
• Funções de Data
• Funções Matemáticas
• Funções Condicionais
• Funções de String
• Diversos. Funções

Cada uma das seis famílias é abordada abaixo com suas respectivas assinaturas de função e tipos de retorno.

Funções de coleção

Essas funções são usadas para coleções. Coleções significam o grupo de elementos.ping de elementos, e retornam um único elemento ou uma matriz de elementos, dependendo do tipo de retorno mencionado no nome da função.

Funções de Data

Essas funções são usadas para realizar manipulações de datas e conversões de tipos de data de um tipo para outro:

Funções Matemáticas

Essas funções são usadas para operações matemáticas. Em vez de criar UDFs (Funções Definidas pelo Usuário), temos algumas funções matemáticas integradas no Hive.

Funções Condicionais

Essas funções são usadas para verificações de valores condicionais.

Funções de String

As seguintes funções realizam manipulações e operações com strings.

Diversos. Funções

Diversas funções integradas não pertencem a nenhuma das famílias acima. Elas abrangem funções de hash, informações de sessão e chamadas arbitrárias. Java métodos.

UDFs (funções definidas pelo usuário)

No Hive, os usuários podem definir suas próprias funções para atender a determinados requisitos do cliente. Essas funções são conhecidas como UDFs (Funções Definidas pelo Usuário) no Hive. As funções definidas pelo usuário são escritas em Java para módulos específicos.

Algumas UDFs são projetadas especificamente para a reutilização de código em frameworks de aplicativos. O desenvolvedor escreve essas funções em Java e integra essas UDFs com o Hive.

Durante a execução da consulta, o desenvolvedor pode usar o código diretamente, e as UDFs (Funções Definidas pelo Usuário) retornarão os resultados de acordo com as tarefas definidas pelo usuário. Isso proporciona alto desempenho em termos de codificação e execução.

Por exemplo, para stemming de strings, não temos nenhuma função predefinida no Hive. Para isso, podemos escrever uma UDF de stemming em JavaSempre que precisarmos da funcionalidade de stem, podemos chamar diretamente essa UDF de stem no Hive.

Aqui, a funcionalidade de stemming significa derivar palavras de suas palavras-raiz. Um algoritmo de stemming reduz as palavras “wishing”, “wished” e “wishes” à palavra-raiz “wish”. Para realizar esse tipo de funcionalidade, podemos escrever uma UDF em Java e integrá-lo com Colméia.

Dependendo do caso de uso, a UDF pode ser escrita para aceitar e produzir diferentes quantidades de valores de entrada e saída.

O tipo geral de UDF aceita um único valor de entrada e produz um único valor de saída. Se a UDF for usada em uma consulta, ela será chamada uma vez para cada linha no conjunto de dados resultante.

Por outro lado, uma função pode aceitar um grupo de valores como entrada e retornar um único valor de saída. Essa diferença é o que distingue os três tipos de funções personalizadas descritos a seguir.

UDF vs UDAF vs UDTF no Hive

As funções personalizadas no Hive são agrupadas de acordo com a quantidade de linhas que recebem e a quantidade que retornam. Escolher o tipo errado é o motivo mais comum para uma função personalizada se recusar a compilar ou retornar uma única linha quando se esperava uma tabela.

Da tabela decorrem duas regras práticas:

• Uma UDAF (Função de Atribuição Única) é quase sempre usada em conjunto com uma cláusula GROUP BY, porque ela reduz cada grupo a uma única linha.
• Uma UDTF não pode ser selecionada juntamente com outras colunas na mesma lista SELECT, portanto, normalmente é usada com uma LATERAL VIEW.

Existe também uma segunda classe base, mais capaz, para trabalho em nível de linha, a GenericUDF, que aceita tipos complexos como arrays, mapas e structs, além de um número variável de argumentos.

Como escrever e registrar uma UDF no Hive

O exemplo de caule descrito acima pode ser construído como uma função real em quatro etapas. Nada além de um Java É necessário um compilador e uma sessão Hive em execução.

Passo 1) Escreva para Java Classe que estende UDF e implementa um método público evaluate(). O Hive chama evaluate() uma vez por linha, portanto o método deve lidar com uma entrada NULL.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

Passo 2) Compile a classe e empacote-a em um arquivo JAR, por exemplo, hive-udf-1.0.jar, juntamente com quaisquer classes das quais ela dependa.

Passo 3) Coloque o arquivo JAR no classpath do Hive e associe um nome de função à classe. Uma função temporária existe apenas durante a sessão atual.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

Passo 4) Chame a nova função exatamente como uma função integrada. Aplicada às palavras "wishing", "wished" e "wishes", esta classe retorna "wish" para todas as três.

SELECT word, stem(word) FROM words;

Para manter a função disponível para todas as sessões e todos os usuários, registre-a permanentemente em um banco de dados. O arquivo JAR deve estar em um caminho que todo o cluster possa ler, o que normalmente significa HDFS.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

Uma única classe pode declarar mais de um método `evaluate()`. O Hive compara a chamada com as assinaturas dos argumentos, e é assim que uma função pode aceitar tanto uma string quanto um número inteiro.

Perguntas Frequentes