Hive-Funktionen: Beispiel für integrierte und benutzerdefinierte Funktionen (UDF).

Funktionen werden für einen bestimmten Zweck erstellt, um Operationen wie mathematische, arithmetische, logische und relationale Operationen auf den Operanden von Tabellenspaltennamen durchzuführen.

Eingebaute Funktionen

Dabei handelt es sich um Funktionen, die in Hive bereits verfügbar sind. Zuerst müssen wir die Anwendungsanforderungen prüfen und dann können wir diese integrierten Funktionen in unseren Anwendungen verwenden. Wir können diese Funktionen direkt in unserer Anwendung aufrufen.

Die Syntax und Typen werden im folgenden Abschnitt erwähnt.

Arten von integrierten Funktionen in Hive:

• Sammlungsfunktionen
• Datumsfunktionen
• Mathematische Funktionen
• Bedingte Funktionen
• String-Funktionen
• Sonstiges Funktionen

Im Folgenden werden alle sechs Funktionsfamilien mit ihren Funktionssignaturen und Rückgabetypen beschrieben.

Sammlungsfunktionen

Diese Funktionen werden für Sammlungen verwendet. Sammlungen sind Gruppen von Personen, die sich in einem Netzwerk von Personen aufhalten ... in einemping Sie geben ein einzelnes Element oder ein Array von Elementen zurück, abhängig vom im Funktionsnamen angegebenen Rückgabetyp.

Datumsfunktionen

Diese werden verwendet, um Datumsmanipulationen und die Konvertierung von Datumstypen von einem Typ in einen anderen durchzuführen:

Mathematische Funktionen

Diese Funktionen werden für mathematische Operationen verwendet. Anstatt benutzerdefinierte Funktionen (UDFs) zu erstellen, bietet Hive einige integrierte mathematische Funktionen.

Bedingte Funktionen

Diese Funktionen werden für bedingte Wertprüfungen verwendet.

String-Funktionen

Die Bearbeitung von Zeichenketten und die Durchführung von Zeichenkettenoperationen erfolgen durch die folgenden Funktionen.

Sonstiges Funktionen

Mehrere integrierte Funktionen gehören keiner der oben genannten Familien an. Dazu gehören Hashing, Sitzungsinformationen und der Aufruf beliebiger Funktionen. Java Methoden.

UDFs (benutzerdefinierte Funktionen)

In Hive können Benutzer eigene Funktionen definieren, um bestimmte Kundenanforderungen zu erfüllen. Diese werden in Hive als benutzerdefinierte Funktionen (UDFs) bezeichnet. Benutzerdefinierte Funktionen werden in folgender Sprache geschrieben: Java für bestimmte Module.

Einige UDFs sind speziell für die Wiederverwendbarkeit von Code in Anwendungsframeworks konzipiert. Der Entwickler schreibt diese Funktionen in Java und integriert diese UDFs in Hive.

Während der Abfrageausführung kann der Entwickler den Code direkt verwenden, und die benutzerdefinierten Funktionen (UDFs) liefern Ergebnisse gemäß den benutzerdefinierten Aufgaben. Dies gewährleistet eine hohe Performance sowohl bei der Codierung als auch bei der Ausführung.

Für das Stemming von Zeichenketten gibt es in Hive beispielsweise keine vordefinierte Funktion. Dafür können wir eine Stem-UDF schreiben. JavaWo immer wir Stammfunktionalität benötigen, können wir diese Stamm-UDF direkt in Hive aufrufen.

Hier bedeutet Stammreduktion, Wörter von ihren Wortstämmen abzuleiten. Ein Stammreduktionsalgorithmus reduziert die Wörter „wishing“, „wished“ und „wishes“ auf den Wortstamm „wish“. Um diese Funktionalität zu implementieren, können wir eine benutzerdefinierte Funktion (UDF) schreiben. Java und integrieren Sie es mit Hive.

Je nach Anwendungsfall kann die UDF so geschrieben werden, dass sie eine unterschiedliche Anzahl von Eingabe- und Ausgabewerten akzeptiert und erzeugt.

Der allgemeine UDF-Typ akzeptiert einen einzelnen Eingabewert und erzeugt einen einzelnen Ausgabewert. Wird der UDF in einer Abfrage verwendet, wird er für jede Zeile im Ergebnisdatensatz einmal aufgerufen.

Umgekehrt kann eine Funktion auch eine Gruppe von Werten als Eingabe akzeptieren und einen einzelnen Ausgabewert zurückgeben. Dieser Unterschied trennt die drei im Folgenden beschriebenen benutzerdefinierten Funktionstypen.

UDF vs UDAF vs UDTF in Hive

Benutzerdefinierte Funktionen in Hive werden danach gruppiert, wie viele Zeilen als Eingabe und wie viele als Ausgabe zurückgegeben werden. Die Wahl des falschen Datentyps ist der häufigste Grund dafür, dass eine benutzerdefinierte Funktion nicht kompiliert werden kann oder nur eine einzelne Zeile zurückgibt, anstatt einer erwarteten Tabelle.

Aus der Tabelle ergeben sich zwei praktische Regeln:

• Eine UDAF wird fast immer mit einer GROUP BY-Klausel kombiniert, da sie jede Gruppe auf eine einzige Zeile reduziert.
• Eine UDTF kann nicht zusammen mit anderen Spalten in derselben SELECT-Liste ausgewählt werden, daher wird sie normalerweise mit einer LATERAL VIEW verwendet.

Darüber hinaus gibt es eine zweite, leistungsfähigere Basisklasse für die Arbeit auf Zeilenebene, GenericUDF, die komplexe Typen wie Arrays, Maps und Structs sowie eine variable Anzahl von Argumenten akzeptiert.

Wie man eine UDF in Hive schreibt und registriert

Das oben beschriebene Stammbeispiel lässt sich in vier Schritten als reelle Funktion erstellen. Nichts darüber hinaus. Java Es wird ein Compiler und eine laufende Hive-Sitzung benötigt.

Schritt 1) Schreiben Java Klasse, die UDF erweitert und eine öffentliche evaluate()-Methode implementiert. Hive ruft evaluate() einmal pro Zeile auf, daher muss die Methode auch NULL-Eingaben verarbeiten können.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

Schritt 2) Kompilieren Sie die Klasse und packen Sie sie in eine JAR-Datei, zum Beispiel hive-udf-1.0.jar, zusammen mit allen Klassen, von denen sie abhängt.

Schritt 3) Fügen Sie die JAR-Datei dem Hive-Classpath hinzu und binden Sie einen Funktionsnamen an die Klasse. Eine temporäre Funktion ist nur für die aktuelle Sitzung gültig.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

Schritt 4) Rufen Sie die neue Funktion genau wie eine integrierte Funktion auf. Angewendet auf die Wörter „wishing“, „wished“ und „wishes“ gibt diese Klasse für alle drei „wish“ zurück.

SELECT word, stem(word) FROM words;

Um die Funktion für jede Sitzung und jeden Benutzer verfügbar zu halten, sollte sie stattdessen dauerhaft in einer Datenbank registriert werden. Die JAR-Datei muss sich in einem Verzeichnis befinden, auf das der gesamte Cluster zugreifen kann, was üblicherweise HDFS bedeutet.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

Eine einzelne Klasse kann mehrere `evaluate()`-Methoden deklarieren. Hive gleicht den Aufruf mit den Argumentsignaturen ab, wodurch eine Funktion sowohl einen String als auch eine Ganzzahl akzeptieren kann.

Häufig gestellte Fragen