Funciones de Hive: Ejemplo de funciones integradas y definidas por el usuario (UDF)

Las funciones se crean con un propósito específico para realizar operaciones como operaciones matemáticas, aritméticas, lógicas y relacionales sobre los operandos de los nombres de las columnas de la tabla.

Funciones integradas

Estas son funciones que ya están disponibles en Hive. Primero, tenemos que verificar los requisitos de la aplicación y luego podremos usar estas funciones integradas en nuestras aplicaciones. Podemos llamar a estas funciones directamente en nuestra aplicación.

La sintaxis y los tipos se mencionan en la siguiente sección.

Tipos de funciones integradas en Hive:

• Funciones de colección
• Funciones de fecha
• Funciones Matemáticas
• Funciones condicionales
• Funciones de cadena
• Varios. Funciones

Cada una de las seis familias se describe a continuación con sus firmas de función y tipos de retorno.

Funciones de colección

Estas funciones se utilizan para colecciones. Las colecciones significan el grupoping de elementos, y devuelven un solo elemento o una matriz de elementos dependiendo del tipo de retorno mencionado en el nombre de la función.

Funciones de fecha

Estas funciones se utilizan para realizar manipulaciones de fechas y conversiones de tipos de fecha de un tipo a otro:

Funciones Matemáticas

Estas funciones se utilizan para operaciones matemáticas. En lugar de crear funciones definidas por el usuario (UDF), Hive incluye algunas funciones matemáticas integradas.

Funciones condicionales

Estas funciones se utilizan para realizar comprobaciones de valores condicionales.

Funciones de cadena

Las siguientes funciones se encargan de la manipulación y las operaciones con cadenas de texto.

Varios. Funciones

Varias funciones integradas no pertenecen a ninguna de las familias anteriores. Estas abarcan el hash, la información de sesión y la llamada a funciones arbitrarias. Java métodos.

UDF (funciones definidas por el usuario)

En Hive, los usuarios pueden definir sus propias funciones para satisfacer ciertos requisitos del cliente. Estas se conocen como UDF en Hive. Las funciones definidas por el usuario se escriben en Java para módulos específicos.

Algunas UDF están diseñadas específicamente para la reutilización de código en marcos de aplicaciones. El desarrollador escribe estas funciones en Java e integra esas funciones definidas por el usuario con Hive.

Durante la ejecución de la consulta, el desarrollador puede usar el código directamente, y las funciones definidas por el usuario (UDF) devolverán resultados según las tareas definidas por el usuario. Esto proporciona un alto rendimiento tanto en la codificación como en la ejecución.

Por ejemplo, para la lematización de cadenas no tenemos ninguna función predefinida en Hive. Para ello, podemos escribir una UDF de lematización en JavaSiempre que necesitemos la funcionalidad de stem, podemos llamar directamente a esta UDF de stem en Hive.

Aquí, la funcionalidad de derivación significa obtener palabras a partir de sus palabras raíz. Un algoritmo de derivación reduce las palabras "desear", "deseado" y "deseos" a la palabra raíz "deseo". Para realizar este tipo de funcionalidad, podemos escribir una UDF en Java e integrarlo con Colmena.

Dependiendo del caso de uso, la función definida por el usuario (UDF) puede escribirse para aceptar y producir diferentes cantidades de valores de entrada y salida.

El tipo general de función definida por el usuario (UDF) acepta un único valor de entrada y produce un único valor de salida. Si la UDF se utiliza en una consulta, se llamará una vez por cada fila del conjunto de datos resultante.

En sentido contrario, una función puede aceptar un grupo de valores como entrada y devolver un único valor de salida. Esa diferencia es lo que distingue a los tres tipos de funciones personalizadas que se describen a continuación.

UDF vs UDAF vs UDTF en Hive

Las funciones personalizadas en Hive se agrupan según la cantidad de filas que ingresan y las que generan. Elegir el tipo incorrecto es la razón más común por la que una función personalizada no se compila o devuelve una sola fila en lugar de una tabla.

De la tabla se desprenden dos reglas prácticas:

• Una función definida por el usuario (UDAF) casi siempre se combina con una cláusula GROUP BY, porque reduce cada grupo a una sola fila.
• Una función definida por el usuario (UDTF) no se puede seleccionar junto con otras columnas en la misma lista SELECT, por lo que normalmente se utiliza con una vista lateral (LATERAL VIEW).

También existe una segunda clase base más potente para trabajar a nivel de fila, GenericUDF, que acepta tipos complejos como matrices, mapas y estructuras, así como un número variable de argumentos.

Cómo escribir y registrar una UDF en Hive

El ejemplo de tallo descrito anteriormente se puede construir como una función real en cuatro pasos. Nada más allá de un Java Se requiere un compilador y una sesión de Hive en ejecución.

Paso 1) Escribir el Java Clase que extiende UDF e implementa un método público evaluate(). Hive llama a evaluate() una vez por fila, por lo que el método debe manejar una entrada NULL.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

Paso 2) Compile la clase y empaquétela en un archivo JAR, por ejemplo hive-udf-1.0.jar, junto con todas las clases de las que dependa.

Paso 3) Coloca el archivo JAR en la ruta de clases de Hive y asigna un nombre de función a la clase. Una función temporal solo existe durante la sesión actual.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

Paso 4) Llama a la nueva función exactamente como si fuera una función integrada. Aplicada a las palabras “wishing”, “wished” y “wishes”, esta clase devuelve “wish” para las tres.

SELECT word, stem(word) FROM words;

Para que la función esté disponible para todas las sesiones y todos los usuarios, regístrela permanentemente en una base de datos. El archivo JAR debe estar ubicado en una ruta de acceso que todo el clúster pueda leer, lo que normalmente significa HDFS.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

Una misma clase puede declarar más de un método evaluate(). Hive compara la llamada con las firmas de los argumentos, lo que permite que una función acepte tanto una cadena como un número entero.

Preguntas Frecuentes