Fonctions Hive : Exemple de fonctions intégrées et de fonctions définies par l’utilisateur

Les fonctions sont conçues dans un but précis : effectuer des opérations mathématiques, arithmétiques, logiques et relationnelles sur les opérandes que sont les noms de colonnes d'un tableau.

Fonctions intégrées

Ce sont des fonctions déjà disponibles dans Hive. Tout d’abord, nous devons vérifier les exigences de l’application, puis nous pouvons utiliser ces fonctions intégrées dans nos applications. Nous pouvons appeler ces fonctions directement dans notre application.

La syntaxe et les types sont mentionnés dans la section suivante.

Types de fonctions intégrées dans Hive :

• Fonctions de collecte
• Fonctions de date
• Fonctions mathématiques
• Fonctions conditionnelles
• Fonctions de chaîne
• Divers. Les fonctions

Chacune des six familles est présentée ci-dessous avec ses signatures de fonction et ses types de retour.

Fonctions de collecte

Ces fonctions sont utilisées pour les collections. Les collections désignent le groupeping de éléments, et elles renvoient un seul élément ou un tableau d'éléments selon le type de retour mentionné dans le nom de la fonction.

Fonctions de date

Ces outils servent à effectuer des manipulations de dates et à convertir des types de dates d'un type à un autre :

Fonctions mathématiques

Ces fonctions servent à effectuer des opérations mathématiques. Au lieu de créer des UDF (User Data Functions), Hive dispose de fonctions mathématiques intégrées.

Fonctions conditionnelles

Ces fonctions sont utilisées pour les vérifications de valeurs conditionnelles.

Fonctions de chaîne

Les manipulations et opérations sur les chaînes de caractères sont gérées par les fonctions suivantes.

Divers. Les fonctions

Plusieurs fonctions intégrées n'appartiennent à aucune des familles ci-dessus. Elles couvrent le hachage, les informations de session et l'appel de fonctions arbitraires. Java méthodes.

UDF (fonctions définies par l'utilisateur)

Dans Hive, les utilisateurs peuvent définir leurs propres fonctions pour répondre à certains besoins clients. Ces fonctions sont appelées UDF (User-Defined Functions) dans Hive. Les fonctions définies par l'utilisateur sont écrites en Java pour des modules spécifiques.

Certaines UDF sont spécifiquement conçues pour la réutilisation du code dans les frameworks d'application. Le développeur écrit ces fonctions dans Java et intègre ces UDF à Hive.

Lors de l'exécution d'une requête, le développeur peut utiliser directement le code, et les fonctions définies par l'utilisateur (UDF) renverront les résultats conformément aux tâches définies. Cette approche offre des performances élevées en termes de codage et d'exécution.

Par exemple, pour la racinisation des chaînes de caractères, Hive ne propose aucune fonction prédéfinie. Pour cela, nous pouvons écrire une UDF de racinisation dans Java. Partout où nous avons besoin des fonctionnalités de la tige, nous pouvons appeler directement cette UDF de tige dans Hive.

Ici, la fonctionnalité de racinisation consiste à extraire les mots de leur racine. Un algorithme de racinisation réduit les mots « wishing », « wished » et « wishes » à la racine « wish ». Pour réaliser ce type de fonctionnalité, nous pouvons écrire une UDF. Java et l'intégrer à Ruche.

Selon le cas d'utilisation, la fonction définie par l'utilisateur (UDF) peut être écrite pour accepter et produire un nombre différent de valeurs d'entrée et de sortie.

Le type général de fonction définie par l'utilisateur (UDF) accepte une seule valeur d'entrée et produit une seule valeur de sortie. Si l'UDF est utilisée dans une requête, elle sera appelée une fois pour chaque ligne du jeu de données de résultats.

Inversement, une fonction peut accepter un groupe de valeurs en entrée et renvoyer une seule valeur en sortie. C’est cette différence qui distingue les trois types de fonctions personnalisées décrits ci-après.

UDF vs UDAF vs UDTF dans Hive

Dans Hive, les fonctions personnalisées sont regroupées selon le nombre de lignes en entrée et en sortie. Choisir un type incorrect est la raison la plus fréquente pour laquelle une fonction personnalisée refuse de compiler ou renvoie une seule ligne au lieu d'un tableau.

Deux règles pratiques découlent du tableau :

• Une UDAF est presque toujours associée à une clause GROUP BY, car elle réduit chaque groupe à une seule ligne.
• Une UDTF ne peut pas être sélectionnée en même temps que d'autres colonnes dans la même liste SELECT ; elle est donc normalement utilisée avec une VUE LATÉRALE.

Il existe également une seconde classe de base plus performante pour le travail au niveau des lignes, GenericUDF, qui accepte des types complexes tels que des tableaux, des maps et des structures, ainsi qu'un nombre variable d'arguments.

Comment écrire et enregistrer une UDF dans Hive

L'exemple de tige décrit ci-dessus peut être construit comme une véritable fonction en quatre étapes. Rien de plus qu'un Java Un compilateur et une session Hive en cours d'exécution sont nécessaires.

Étape 1) Rediger un Java Classe étendant UDF et implémentant une méthode publique evaluate(). Hive appelle evaluate() une fois par ligne ; la méthode doit donc gérer une entrée NULL.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

Étape 2) Compilez la classe et empaquetez-la dans un fichier JAR, par exemple hive-udf-1.0.jar, avec toutes les classes dont elle dépend.

Étape 3) Placez le fichier JAR dans le classpath de Hive et associez un nom de fonction à la classe. Une fonction temporaire n'est valide que pour la session en cours.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

Étape 4) Appelez la nouvelle fonction exactement comme une fonction intégrée. Appliquée aux mots « wishing », « wished » et « wishes », cette classe renvoie « wish » pour les trois.

SELECT word, stem(word) FROM words;

Pour que la fonction reste accessible à chaque session et à chaque utilisateur, il est préférable de l'enregistrer de manière permanente dans une base de données. Le fichier JAR doit se trouver sur un chemin accessible en lecture à l'ensemble du cluster, généralement HDFS.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

Une même classe peut déclarer plusieurs méthodes `evaluate()`. Hive compare l'appel aux signatures des arguments, ce qui permet à une fonction d'accepter à la fois une chaîne de caractères et un entier.

FAQ