Funkcje Hive: przykład wbudowany i UDF (zdefiniowany przez użytkownika)

Funkcje są budowane w określonym celu, aby wykonywać operacje matematyczne, arytmetyczne, logiczne i relacyjne na operandach nazw kolumn tabeli.

Wbudowane funkcje

Są to funkcje, które są już dostępne w Hive. Najpierw musimy sprawdzić wymagania aplikacji, a następnie możemy wykorzystać te wbudowane funkcje w naszych aplikacjach. Funkcje te możemy wywołać bezpośrednio w naszej aplikacji.

Składnia i typy są opisane w następnej sekcji.

Typy wbudowanych funkcji w Hive:

• Funkcje kolekcji
• Funkcje daty
• Funkcje matematyczne
• Funkcje warunkowe
• Funkcje łańcuchowe
• Różne Funkcje

Każda z sześciu rodzin została omówiona poniżej wraz z sygnaturami funkcji i typami zwracanymi.

Funkcje kolekcji

Funkcje te służą do kolekcji. Kolekcje oznaczają grupęping elementów i zwracają pojedynczy element lub tablicę elementów, w zależności od typu zwracanego podanego w nazwie funkcji.

Funkcje daty

Służą one do manipulowania datami i konwersji typów dat z jednego typu na inny:

Funkcje matematyczne

Te funkcje służą do operacji matematycznych. Zamiast tworzyć funkcje UDF, mamy wbudowane funkcje matematyczne w Hive.

Funkcje warunkowe

Funkcje te służą do sprawdzania wartości warunkowych.

Funkcje łańcuchowe

Operacje na ciągach znaków i manipulacje na ciągach znaków są obsługiwane za pomocą następujących funkcji.

Różne Funkcje

Kilka wbudowanych funkcji nie należy do żadnej z powyższych rodzin. Obejmują one haszowanie, informacje o sesji i wywoływanie dowolnych Java Metody.

UDF (funkcje zdefiniowane przez użytkownika)

W Hive użytkownicy mogą definiować własne funkcje, aby spełnić określone wymagania klienta. W Hive są one znane jako funkcje definiowane przez użytkownika (UDF). Funkcje definiowane przez użytkownika są pisane w Java dla konkretnych modułów.

Niektóre funkcje UDF są zaprojektowane specjalnie z myślą o możliwości ponownego wykorzystania kodu w frameworkach aplikacji. Programista pisze te funkcje w Java i integruje te UDF-y z Hive.

Podczas wykonywania zapytania programista może bezpośrednio korzystać z kodu, a funkcje UDF zwracają wyniki zgodnie z zadaniami zdefiniowanymi przez użytkownika. Zapewnia to wysoką wydajność kodowania i wykonywania.

Na przykład, w przypadku stemmingu ciągów znaków nie mamy żadnej predefiniowanej funkcji w Hive. W tym celu możemy napisać funkcję UDF stem w Java. Jeśli potrzebujemy funkcjonalności macierzystej, możemy bezpośrednio wywołać tę funkcję UDF macierzystą w Hive.

W tym przypadku funkcjonalność rdzenia oznacza wyprowadzanie słów z ich rdzeni. Algorytm rdzeniowania redukuje słowa „życzenie”, „chciał” i „życzenia” do rdzenia „życzenie”. Aby wykonać ten typ funkcjonalności, możemy napisać funkcję UDF w Java i zintegrować go z Ul.

W zależności od przypadku użycia funkcja UDF może być napisana tak, aby akceptowała i generowała różną liczbę wartości wejściowych i wyjściowych.

Ogólny typ funkcji UDF akceptuje pojedynczą wartość wejściową i generuje pojedynczą wartość wyjściową. Jeśli funkcja UDF jest używana w zapytaniu, zostanie wywołana jednokrotnie dla każdego wiersza w zestawie danych wynikowych.

Z drugiej strony, funkcja może przyjąć grupę wartości jako dane wejściowe i zwrócić pojedynczą wartość wyjściową. Ta różnica oddziela trzy typy funkcji niestandardowych opisane poniżej.

UDF vs UDAF vs UDTF w Hive

Funkcje niestandardowe w Hive są grupowane według liczby wierszy przychodzących i wychodzących. Wybór niewłaściwego typu to najczęstszy powód, dla którego funkcja niestandardowa odmawia kompilacji lub zwraca pojedynczy wiersz w miejscu, w którym oczekiwano tabeli.

Z tabeli wynikają dwie praktyczne zasady:

• Klauzula UDAF jest prawie zawsze łączona z klauzulą ​​GROUP BY, ponieważ powoduje ona skrócenie każdej grupy do jednego wiersza.
• Kolumny UDTF nie można wybrać obok innych kolumn na tej samej liście SELECT, dlatego zwykle używa się jej z WIDOKIEM BOCZNYM.

Istnieje również druga, bardziej wydajna klasa bazowa do pracy na poziomie wierszy, GenericUDF, która akceptuje złożone typy, takie jak tablice, mapy i struktury, a także zmienną liczbę argumentów.

Jak napisać i zarejestrować UDF w Hive

Opisany powyżej przykład macierzy można zbudować jako funkcję rzeczywistą w czterech krokach. Nic poza Java Wymagany jest kompilator i działająca sesja Hive.

Krok 1) Napisać Java Klasa rozszerzająca UDF i implementująca publiczną metodę evaluate(). Hive wywołuje metodę evaluate() raz dla każdego wiersza, więc metoda musi obsługiwać wartość NULL.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

Krok 2) Skompiluj klasę i spakuj ją do pliku JAR, na przykład hive-udf-1.0.jar, razem ze wszystkimi klasami, od których jest zależna.

Krok 3) Umieść plik JAR w ścieżce klas Hive i powiąż nazwę funkcji z klasą. Funkcja tymczasowa istnieje tylko w bieżącej sesji.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

Krok 4) Wywołaj nową funkcję dokładnie tak, jak funkcję wbudowaną. Zastosowana do słów „wishing”, „wished” i „wishes”, ta klasa zwróci „wish” dla wszystkich trzech.

SELECT word, stem(word) FROM words;

Aby funkcja była dostępna dla każdej sesji i każdego użytkownika, należy zarejestrować ją na stałe w bazie danych. Plik JAR musi znajdować się na ścieżce, którą może odczytać cały klaster, co zazwyczaj oznacza HDFS.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

Pojedyncza klasa może deklarować więcej niż jedną metodę evaluate(). Hive dopasowuje wywołanie do sygnatur argumentów, dzięki czemu jedna funkcja może akceptować zarówno ciąg znaków, jak i liczbę całkowitą.

FAQ