Taru funktsioonid: sisseehitatud ja UDF (kasutaja määratletud) näide

Funktsioonid on loodud kindlal eesmärgil, et sooritada tabeli veerunimede operandidega selliseid toiminguid nagu matemaatilised, aritmeetilised, loogilised ja relatsioonilised toimingud.

Sisseehitatud funktsioonid

Need on funktsioonid, mis on Tarus juba saadaval. Esiteks peame kontrollima rakenduse nõuet ja seejärel saame neid sisseehitatud funktsioone oma rakendustes kasutada. Saame neid funktsioone otse meie rakenduses kutsuda.

Süntaksit ja tüüpe mainitakse järgmises jaotises.

Hive'i sisseehitatud funktsioonide tüübid:

• Kogumisfunktsioonid
• Kuupäeva funktsioonid
• Matemaatilised funktsioonid
• Tingimuslikud funktsioonid
• Stringi funktsioonid
• Muu Funktsioonid

Kõiki kuut funktsiooniperekonda käsitletakse allpool koos nende funktsioonide signatuuride ja tagastustüüpidega.

Kogumisfunktsioonid

Neid funktsioone kasutatakse kollektsioonide jaoks. Kollektsioonid tähendavad gruppiping elementidest ja nad tagastavad ühe elemendi või elementide massiivi, olenevalt funktsiooni nimes mainitud tagastustüübist.

Kuupäeva funktsioonid

Neid kasutatakse kuupäevadega manipuleerimiseks ja kuupäevatüüpide teisendamiseks ühest tüübist teise:

Matemaatilised funktsioonid

Neid funktsioone kasutatakse matemaatilisteks toiminguteks. UDF-ide loomise asemel on Hive'is mõned sisseehitatud matemaatilised funktsioonid.

Tingimuslikud funktsioonid

Neid funktsioone kasutatakse tingimuslike väärtuste kontrollimiseks.

Stringi funktsioonid

Stringimanipulatsioone ja stringioperatsioone käsitlevad järgmised funktsioonid.

Muu Funktsioonid

Mitmed sisseehitatud funktsioonid ei kuulu ühtegi ülaltoodud perekonda. Need hõlmavad räsimist, seansiinfot ja suvaliste funktsioonide kutsumist. Java meetodid.

UDF-id (kasutaja määratud funktsioonid)

Hive'is saavad kasutajad kliendi teatud nõuete täitmiseks defineerida oma funktsioone. Neid nimetatakse Hive'is UDF-ideks. Kasutaja defineeritud funktsioonid on kirjutatud keeles Java konkreetsete moodulite jaoks.

Mõned UDF-id on spetsiaalselt loodud koodi korduvkasutatavuse tagamiseks rakendusraamistikes. Arendaja kirjutab need funktsioonid Java ja integreerib need UDF-id Hive'iga.

Päringu täitmise ajal saab arendaja koodi otse kasutada ja UDF-id tagastavad väljundeid vastavalt kasutaja määratletud ülesannetele. See pakub kodeerimise ja täitmise osas suurt jõudlust.

Näiteks stringi tüve loomiseks pole meil Hive'is ühtegi eelnevalt määratletud funktsiooni. Selle jaoks saame kirjutada tüve UDF-i JavaKus iganes vajame tüve funktsionaalsust, saame seda tüve UDF-i Hive'is otse kutsuda.

Tüvefunktsionaalsus tähendab siin sõnade tuletamist nende tüvisõnadest. Tüvestumise algoritm taandab sõnad „wishing“, „wished“ ja „wishes“ tüvesõnaks „wish“. Seda tüüpi funktsionaalsuse teostamiseks saame kirjutada UDF-i Java ja integreerige see Mesilaspere.

Sõltuvalt kasutusjuhtumist saab UDF-i kirjutada nii, et see aktsepteerib ja genereerib erinevat arvu sisend- ja väljundväärtusi.

Üldine UDF-tüüp aktsepteerib ühte sisendväärtust ja annab ühe väljundväärtuse. Kui UDF-i kasutatakse päringus, kutsutakse seda tulemuste andmestiku iga rea ​​jaoks üks kord.

Teises suunas saab funktsioon sisendiks võtta väärtuste rühma ja tagastada ka ühe väljundväärtuse. See erinevus eristabki järgnevalt kirjeldatud kolme kohandatud funktsiooni tüüpi.

UDF vs UDAF vs UDTF tarus

Hive'i kohandatud funktsioonid on rühmitatud sisestatavate ja väljuvate ridade arvu järgi. Vale tüübi valimine on kõige levinum põhjus, miks kohandatud funktsioon keeldub kompileerimisest või tagastab ühe rea tabeli asemel.

Tabelist tulenevad kaks praktilist reeglit:

• UDAF-i kasutatakse peaaegu alati koos GROUP BY -klausliga, kuna see koondab iga rühma ühele reale.
• UDTF-i ei saa valida koos teiste veergudega samas SELECT-loendis, seega kasutatakse seda tavaliselt koos LATERAL VIEW-ga.

Samuti on olemas teine, võimekam baasklass rea tasemel tööks, GenericUDF, mis aktsepteerib keerukaid tüüpe nagu massiivid, kaardid ja struktuurid ning muutuv arv argumente.

Kuidas kirjutada ja registreerida UDF-i Hive'is

Ülalkirjeldatud tüve näidet saab reaalfunktsioonina luua neljas etapis. Mitte midagi peale Java Vajalik on kompilaator ja töötav Hive'i seanss.

Step 1) Kirjuta Java Klass, mis laiendab UDF-i ja rakendab avaliku evaluate() meetodi. Hive kutsub evaluate() funktsiooni üks kord rea kohta, seega peab meetod käsitlema NULL sisendit.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

Step 2) Kompileeri klass ja paki see koos kõigi klassidega, millest see sõltub, JAR-faili, näiteks hive-udf-1.0.jar.

Step 3) Pane JAR Hive'i klassiteele ja seo klassiga funktsiooni nimi. Ajutine funktsioon eksisteerib ainult praeguse seansi jaoks.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

Step 4) Kutsuge uut funktsiooni välja täpselt nagu sisseehitatud funktsiooni. Rakendatuna sõnadele „wishing“, „wished“ ja „wishes“, tagastab see klass kõigi kolme puhul „wish“.

SELECT word, stem(word) FROM words;

Funktsiooni kättesaadavaks tegemiseks igale seansile ja igale kasutajale registreerige see jäädavalt andmebaasis. JAR peab asuma teel, mida kogu klaster saab lugeda, mis tavaliselt tähendab HDFS-i.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

Üks klass võib deklareerida mitu evaluate() meetodit. Hive sobitab kutse argumendi signatuuridega, nii saab üks funktsioon aktsepteerida nii stringi kui ka täisarvu.

KKK