Funcții Hive: Exemplu încorporate și UDF (definite de utilizator)

Funcțiile sunt construite cu un scop specific, pentru a efectua operații precum operații matematice, aritmetice, logice și relaționale asupra operanzilor numelor coloanelor din tabel.

Funcții încorporate

Acestea sunt funcții care sunt deja disponibile în Hive. În primul rând, trebuie să verificăm cerințele aplicației și apoi putem folosi aceste funcții încorporate în aplicațiile noastre. Putem apela aceste funcții direct în aplicația noastră.

Sintaxa și tipurile sunt menționate în secțiunea următoare.

Tipuri de funcții încorporate în Hive:

• Funcții de colectare
• Funcții de dată
• Funcții matematice
• Funcții condiționate
• Funcții șiruri
• Diverse Funcții

Fiecare dintre cele șase familii este prezentată mai jos, împreună cu semnăturile sale de funcții și tipurile de returnare.

Funcții de colectare

Aceste funcții sunt folosite pentru colecții. Colecțiile înseamnă grupulping de elemente și returnează un singur element sau o matrice de elemente, în funcție de tipul de returnare menționat în numele funcției.

Funcții de dată

Acestea sunt folosite pentru a efectua manipulări de date și conversia tipurilor de date de la un tip la altul:

Funcții matematice

Aceste funcții sunt folosite pentru operații matematice. În loc să creăm UDF-uri, avem câteva funcții matematice încorporate în Hive.

Funcții condiționate

Aceste funcții sunt utilizate pentru verificări condiționale ale valorilor.

Funcții șiruri

Manipulările și operațiile cu șiruri de caractere sunt gestionate de următoarele funcții.

Diverse Funcții

Mai multe funcții încorporate nu aparțin niciuneia dintre familiile de mai sus. Acestea acoperă hashing-ul, informațiile de sesiune și apelarea arbitrară. Java metode.

UDF-uri (funcții definite de utilizator)

În Hive, utilizatorii își pot defini propriile funcții pentru a îndeplini anumite cerințe ale clientului. Acestea sunt cunoscute sub numele de UDF-uri în Hive. Funcțiile definite de utilizator sunt scrise în Java pentru module specifice.

Unele UDF-uri sunt special concepute pentru reutilizarea codului în framework-urile de aplicații. Dezvoltatorul scrie aceste funcții în Java și integrează acele UDF-uri cu Hive.

În timpul execuției interogării, dezvoltatorul poate utiliza direct codul, iar UDF-urile vor returna ieșiri conform sarcinilor definite de utilizator. Aceasta oferă performanțe ridicate în ceea ce privește codarea și execuția.

De exemplu, pentru utilizarea stemming a șirurilor de caractere nu avem nicio funcție predefinită în Hive. Pentru aceasta, putem scrie o UDF stem în JavaOriunde avem nevoie de funcționalitate stem, putem apela direct această UDF stem în Hive.

Aici, funcționalitatea radicală înseamnă derivarea cuvintelor din rădăcinile lor. Un algoritm de derivare a radicalilor reduce cuvintele „wishing”, „wished” și „wishes” la rădăcina cuvântului „wish”. Pentru a efectua acest tip de funcționalitate, putem scrie o UDF în Java și să-l integreze cu Stup.

În funcție de cazul de utilizare, UDF-ul poate fi scris pentru a accepta și produce un număr diferit de valori de intrare și ieșire.

Tipul general de UDF va accepta o singură valoare de intrare și va produce o singură valoare de ieșire. Dacă UDF-ul este utilizat într-o interogare, atunci UDF-ul va fi apelat o dată pentru fiecare rând din setul de date rezultat.

În cealaltă direcție, o funcție poate accepta un grup de valori ca intrare și poate returna o singură valoare de ieșire. Această diferență este ceea ce separă cele trei tipuri de funcții personalizate descrise în continuare.

UDF vs UDAF vs UDTF în Hive

Funcțiile personalizate din Hive sunt grupate în funcție de numărul de rânduri introduse și de câte ies. Alegerea tipului greșit este cel mai frecvent motiv pentru care o funcție personalizată refuză să compileze sau returnează un singur rând acolo unde era așteptat un tabel.

Două reguli practice rezultă din tabel:

• O clauză UDAF este aproape întotdeauna asociată cu o clauză GROUP BY, deoarece restrânge fiecare grup la un singur rând.
• Un UDTF nu poate fi selectat alături de alte coloane din aceeași listă SELECT, așa că este utilizat în mod normal cu o vedere LATERALĂ.

Există, de asemenea, o a doua clasă de bază, mai capabilă pentru lucrul la nivel de rând, GenericUDF, care acceptă tipuri complexe, cum ar fi tablouri, hărți și structuri, și un număr variabil de argumente.

Cum se scrie și se înregistrează o UDF în Hive

Exemplul de tulpină descris mai sus poate fi construit ca o funcție reală în patru pași. Nimic dincolo de un Java este necesar un compilator și o sesiune Hive care rulează.

Pas 1) Scrie o Java o clasă care extinde UDF-ul și implementează o metodă publică evaluate(). Hive apelează evaluate() o dată pe rând, deci metoda trebuie să gestioneze o intrare NULL.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

Pas 2) Compilați clasa și împachetați-o într-un fișier JAR, de exemplu hive-udf-1.0.jar, împreună cu orice clase de care depinde.

Pas 3) Puneți fișierul JAR pe calea de clasă Hive și legați un nume de funcție de clasă. O funcție temporară este valabilă doar pentru sesiunea curentă.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

Pas 4) Apelează noua funcție exact ca una predefinită. Aplicată cuvintelor „wishing”, „wished” și „wishes”, această clasă returnează „wish” pentru toate trei.

SELECT word, stem(word) FROM words;

Pentru a menține funcția disponibilă fiecărei sesiuni și fiecărui utilizator, înregistrați-o permanent într-o bază de date. Fișierul JAR trebuie să se afle pe o cale pe care întregul cluster o poate citi, ceea ce înseamnă în mod normal HDFS.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

O singură clasă poate declara mai multe metode evaluate(). Hive compară apelul cu semnăturile argumentelor, acesta fiind modul în care o funcție poate accepta atât un șir de caractere, cât și un număr întreg.

Întrebări frecvente