Funkce Hive: Příklad vestavěných a UDF (uživatelsky definovaných) funkcí

Funkce jsou vytvořeny pro specifický účel k provádění operací, jako jsou matematické, aritmetické, logické a relační operace s operandy názvů sloupců tabulky.

Vestavěné funkce

Toto jsou funkce, které jsou již v Hive k dispozici. Nejprve musíme zkontrolovat požadavek aplikace a poté můžeme tyto vestavěné funkce použít v našich aplikacích. Tyto funkce můžeme volat přímo v naší aplikaci.

Syntaxe a typy jsou uvedeny v následující části.

Typy vestavěných funkcí v Hive:

• Sběrné funkce
• Funkce data
• Matematické funkce
• Podmíněné funkce
• Řetězcové funkce
• Různé Funkce

Každá ze šesti rodin je níže popsána spolu s jejími funkčními signaturami a návratovými typy.

Sběrné funkce

Tyto funkce se používají pro kolekce. Kolekce znamenají skupinuping prvků a vracejí jeden prvek nebo pole prvků v závislosti na návratovém typu uvedeném v názvu funkce.

Funkce data

Tyto se používají k provádění manipulací s daty a převodu typů dat z jednoho typu na jiný typ:

Matematické funkce

Tyto funkce se používají pro matematické operace. Místo vytváření UDF máme v Hive některé vestavěné matematické funkce.

Podmíněné funkce

Tyto funkce se používají pro podmíněné kontroly hodnot.

Řetězcové funkce

Manipulace s řetězci a operace s nimi jsou zpracovávány následujícími funkcemi.

Různé Funkce

Několik vestavěných funkcí nepatří do žádné z výše uvedených rodin. Patří sem hašování, informace o relaci a volání libovolných funkcí. Java metody.

UDF (uživatelem definované funkce)

V Hive si uživatelé mohou definovat vlastní funkce, které splňují určité požadavky klienta. Tyto funkce se v Hive nazývají UDF. Uživatelsky definované funkce jsou psány v Java pro konkrétní moduly.

Některé UDF jsou speciálně navrženy pro opětovné použití kódu v aplikačních frameworkech. Vývojář píše tyto funkce v Java a integruje tyto UDF s Hive.

Během provádění dotazů může vývojář přímo použít kód a UDF vrátí výstupy podle uživatelem definovaných úloh. To poskytuje vysoký výkon z hlediska kódování i provádění.

Například pro stemming řetězců nemáme v Hive žádnou předdefinovanou funkci. Pro to můžeme napsat stem UDF v JavaKdekoli potřebujeme funkcionalitu stemu, můžeme tuto UDF stemu v Hive přímo zavolat.

Zde se pod pojmem stem funkcionalita rozumí odvozování slov z jejich kořenů. Stemming algoritmus redukuje slova „wishing“, „wished“ a „wishes“ na kořen slova „wish“. Pro provádění tohoto typu funkcionality můžeme napsat UDF v Java a integrovat jej s Úl.

V závislosti na případu použití lze UDF napsat tak, aby přijímala a produkovala různý počet vstupních a výstupních hodnot.

Obecný typ UDF přijme jednu vstupní hodnotu a vygeneruje jednu výstupní hodnotu. Pokud je UDF použita v dotazu, bude UDF volána jednou pro každý řádek ve výsledné datové sadě.

V opačném směru může funkce přijímat skupinu hodnot jako vstup a zároveň vracet jednu výstupní hodnotu. Tento rozdíl odděluje tři typy vlastních funkcí popsaných dále.

UDF vs. UDAF vs. UDTF v Hive

Vlastní funkce v Hive jsou seskupeny podle počtu vstupních a výstupních řádků. Výběr nesprávného typu je nejčastějším důvodem, proč se vlastní funkce odmítá kompilovat nebo vrací pouze jeden řádek tam, kde se očekávala tabulka.

Z tabulky vyplývají dvě praktická pravidla:

• UDAF je téměř vždy spárován s klauzulí GROUP BY, protože ta sbalí každou skupinu na jeden řádek.
• UDTF nelze vybrat vedle jiných sloupců ve stejném seznamu SELECT, proto se obvykle používá s LATERAL VIEW.

Existuje také druhá, výkonnější základní třída pro práci na úrovni řádků, GenericUDF, která akceptuje komplexní typy, jako jsou pole, mapy a struktury, a variabilní počet argumentů.

Jak napsat a zaregistrovat UDF v Hive

Výše popsaný příklad stemu lze sestavit jako reálnou funkci ve čtyřech krocích. Nic jiného než Java Je vyžadován kompilátor a spuštěná relace Hive.

Krok 1) Napsat Java třída, která rozšiřuje UDF a implementuje veřejnou metodu evaluate(). Hive volá evaluate() jednou na řádek, takže metoda musí zpracovávat vstup NULL.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

Krok 2) Zkompilujte třídu a zabalte ji do souboru JAR, například hive-udf-1.0.jar, spolu se všemi třídami, na kterých závisí.

Krok 3) Vložte JAR do třídní cesty Hive a navažte název funkce na třídu. Dočasná funkce je platná pouze pro aktuální relaci.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

Krok 4) Novou funkci zavolejte přesně jako vestavěnou. V případě slov „wishing“, „wished“ a „wishes“ tato třída vrátí „wish“ pro všechna tři.

SELECT word, stem(word) FROM words;

Aby byla funkce dostupná pro každou relaci a každého uživatele, zaregistrujte ji trvale v databázi. Soubor JAR musí být umístěn na cestě, kterou může číst celý cluster, což obvykle znamená HDFS.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

Jedna třída může deklarovat více metod evaluate(). Hive porovnává volání s signaturami argumentů, což znamená, že jedna funkce může přijímat jak řetězec, tak celé číslo.

Nejčastější dotazy