Hive funkcije: Primjer ugrađenih i UDF (korisnički definiranih) funkcija

Funkcije su izgrađene za određenu svrhu za izvođenje operacija poput matematičkih, aritmetičkih, logičkih i relacijskih operacija na operandima naziva stupaca tablice.

Ugrađene funkcije

Ovo su funkcije koje su već dostupne u Hiveu. Prvo moramo provjeriti zahtjeve aplikacije, a zatim možemo koristiti ove ugrađene funkcije u našim aplikacijama. Ove funkcije možemo pozvati izravno u našoj aplikaciji.

Sintaksa i tipovi navedeni su u sljedećem odjeljku.

Vrste ugrađenih funkcija u Hiveu:

• Funkcije prikupljanja
• Datumske funkcije
• Matematičke funkcije
• Uvjetne funkcije
• Funkcije nizova
• Razno. Funkcije

Svaka od šest obitelji obrađena je u nastavku sa svojim potpisima funkcija i tipovima povrata.

Funkcije prikupljanja

Ove funkcije se koriste za kolekcije. Kolekcije znače grupuping elemenata, a vraćaju jedan element ili niz elemenata ovisno o tipu povrata spomenutom u nazivu funkcije.

Datumske funkcije

Koriste se za manipulaciju datumima i pretvorbu tipova datuma iz jednog tipa u drugi:

Matematičke funkcije

Ove se funkcije koriste za matematičke operacije. Umjesto stvaranja UDF-ova, u Hiveu imamo neke ugrađene matematičke funkcije.

Uvjetne funkcije

Ove funkcije se koriste za provjeru uvjetnih vrijednosti.

Funkcije nizova

Manipulacije stringova i operacije s stringovima obrađuju se sljedećim funkcijama.

Razno. Funkcije

Nekoliko ugrađenih funkcija ne pripada nijednoj od gore navedenih obitelji. One obuhvaćaju hashiranje, informacije o sesiji i pozivanje proizvoljnih Java metode.

UDF-ovi (korisnički definirane funkcije)

U Hiveu korisnici mogu definirati vlastite funkcije kako bi zadovoljili određene zahtjeve klijenta. One su u Hiveu poznate kao UDF-ovi. Korisnički definirane funkcije napisane su u Java za određene module.

Neki UDF-ovi su posebno dizajnirani za ponovnu upotrebu koda u aplikacijskim okvirima. Programer piše ove funkcije u Java i integrira te UDF-ove s Hiveom.

Tijekom izvršavanja upita, programer može izravno koristiti kod, a UDF-ovi će vraćati izlaze prema korisnički definiranim zadacima. To pruža visoke performanse u smislu kodiranja i izvršavanja.

Na primjer, za stemming stringova nemamo unaprijed definiranu funkciju u Hiveu. Za to možemo napisati stem UDF u JavaGdje god nam je potrebna funkcionalnost stema, možemo izravno pozvati ovaj UDF stema u Hiveu.

Ovdje funkcionalnost korijena znači izvođenje riječi iz njihovih korijenskih riječi. Algoritam za izvođenje korijena reducira riječi „željeti“, „želio“ i „želi“ na korijensku riječ „želja“. Za izvođenje ove vrste funkcionalnosti možemo napisati UDF u Java i integrirati ga sa Košnica.

Ovisno o slučaju upotrebe, UDF se može napisati tako da prihvaća i proizvodi različit broj ulaznih i izlaznih vrijednosti.

Opći tip UDF-a prihvaća jednu ulaznu vrijednost i proizvodi jednu izlaznu vrijednost. Ako se UDF koristi u upitu, tada će se UDF pozvati jednom za svaki redak u skupu rezultata podataka.

U drugom smjeru, funkcija može prihvatiti skupinu vrijednosti kao ulaz i vratiti jednu izlaznu vrijednost. Ta razlika je ono što razdvaja tri vrste prilagođenih funkcija opisanih u nastavku.

UDF vs UDAF vs UDTF u Hiveu

Prilagođene funkcije u Hiveu grupirane su prema broju redaka koji ulaze i koliko izlaze. Odabir pogrešnog tipa najčešći je razlog zašto prilagođena funkcija odbija kompajlirati ili vraća jedan redak tamo gdje se očekivala tablica.

Iz tablice slijede dva praktična pravila:

• UDAF je gotovo uvijek uparen s klauzulom GROUP BY jer sažima svaku grupu u jedan redak.
• UDTF se ne može odabrati uz druge stupce u istoj SELECT listi, pa se obično koristi s LATERAL VIEW-om.

Postoji i druga, sposobnija osnovna klasa za rad na razini redova, GenericUDF, koja prihvaća složene tipove poput nizova, mapa i struktura te varijabilan broj argumenata.

Kako napisati i registrirati UDF u Hiveu

Primjer stema opisan gore može se izgraditi kao stvarna funkcija u četiri koraka. Ništa više od Java potreban je kompajler i pokrenuta Hive sesija.

Korak 1) Napiši a Java klasa koja proširuje UDF i implementira javnu metodu evaluate(). Hive poziva evaluate() jednom po retku, tako da metoda mora obraditi NULL ulaz.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

Korak 2) Kompajlirajte klasu i zapakirajte je u JAR datoteku, na primjer hive-udf-1.0.jar, zajedno sa svim klasama o kojima ovisi.

Korak 3) Stavite JAR na put klase Hive i vežite naziv funkcije za klasu. Privremena funkcija traje samo tijekom trenutne sesije.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

Korak 4) Pozovite novu funkciju točno kao ugrađenu. Primijenjena na riječi "wishing", "wished" i "wishes", ova klasa vraća "wish" za sve tri.

SELECT word, stem(word) FROM words;

Da bi funkcija ostala dostupna svakoj sesiji i svakom korisniku, umjesto toga je trajno registrirajte u bazi podataka. JAR mora biti na putanji koju cijeli klaster može pročitati, što obično znači HDFS.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

Jedna klasa može deklarirati više od jedne metode evaluate(). Hive uspoređuje poziv s potpisima argumenata, što znači da jedna funkcija može prihvatiti i niz znakova i cijeli broj.

Pitanja i odgovori