Hive-funksjoner: Innebygd og UDF (brukerdefinert) eksempel

Funksjoner er bygget for et spesifikt formål for å utføre operasjoner som matematiske, aritmetiske, logiske og relasjonelle operasjoner på operandene til tabellkolonnenavn.

Innebygde funksjoner

Dette er funksjoner som allerede er tilgjengelige i Hive. Først må vi sjekke applikasjonskravet, og deretter kan vi bruke disse innebygde funksjonene i applikasjonene våre. Vi kan kalle disse funksjonene direkte i vår applikasjon.

Syntaksen og typene er nevnt i den følgende delen.

Typer innebygde funksjoner i Hive:

• Innsamlingsfunksjoner
• Datofunksjoner
• Matematiske funksjoner
• Betingede funksjoner
• strengfunksjoner
• Diverse Funksjoner

Hver av de seks familiene er dekket nedenfor med sine funksjonssignaturer og returtyper.

Innsamlingsfunksjoner

Disse funksjonene brukes for samlinger. Samlinger betyr gruppenping av elementer, og de returnerer et enkelt element eller en matrise av elementer avhengig av returtypen som er nevnt i funksjonsnavnet.

Datofunksjoner

Disse brukes til å utføre datomanipulasjoner og konvertering av datotyper fra én type til en annen type:

Matematiske funksjoner

Disse funksjonene brukes til matematiske operasjoner. I stedet for å opprette UDF-er, har vi noen innebygde matematiske funksjoner i Hive.

Betingede funksjoner

Disse funksjonene brukes til kontroller av betingede verdier.

strengfunksjoner

Strengmanipulasjoner og strengoperasjoner håndteres av følgende funksjoner.

Diverse Funksjoner

Flere innebygde funksjoner tilhører ingen av familiene ovenfor. Disse dekker hashing, øktinformasjon og vilkårlig kalling. Java metoder.

UDFer (brukerdefinerte funksjoner)

I Hive kan brukere definere sine egne funksjoner for å oppfylle bestemte klientkrav. Disse er kjent som UDF-er i Hive. Brukerdefinerte funksjoner er skrevet i Java for spesifikke moduler.

Noen UDF-er er spesielt utviklet for gjenbruk av kode i applikasjonsrammeverk. Utvikleren skriver disse funksjonene i Java og integrerer disse UDF-ene med Hive.

Under utførelse av spørringen kan utvikleren bruke koden direkte, og UDF-er vil returnere utdata i henhold til de brukerdefinerte oppgavene. Dette gir høy ytelse når det gjelder koding og utførelse.

For eksempel, for strengstemming har vi ingen forhåndsdefinert funksjon i Hive. For dette kan vi skrive en stem-UDF i JavaDer vi trenger stamfunksjonalitet, kan vi kalle denne stam-UDF-en direkte i Hive.

Her betyr stammefunksjonalitet å utlede ord fra rotordene deres. En stammealgoritme reduserer ordene «wishing», «wished» og «wishes» til rotordet «wish». For å utføre denne typen funksjonalitet kan vi skrive en UDF i Java og integrere den med Hive.

Avhengig av brukstilfellet kan UDF-en skrives til å akseptere og produsere forskjellige antall inn- og utgangsverdier.

Den generelle typen UDF vil godta én enkelt inngangsverdi og produsere én enkelt utgangsverdi. Hvis UDF-en brukes i en spørring, vil UDF-en bli kalt én gang for hver rad i resultatdatasettet.

I den andre retningen kan en funksjon godta en gruppe verdier som input og returnere én enkelt outputverdi. Det er denne forskjellen som skiller de tre tilpassede funksjonstypene som beskrives nedenfor.

UDF vs UDAF vs UDTF i Hive

Tilpassede funksjoner i Hive grupperes etter hvor mange rader som skal inn og hvor mange som skal ut. Å velge feil type er den vanligste grunnen til at en tilpasset funksjon nekter å kompilere eller returnerer en enkelt rad der en tabell var forventet.

To praktiske regler følger av tabellen:

• En UDAF er nesten alltid paret med en GROUP BY-klausul, fordi den kollapser hver gruppe ned til én rad.
• En UDTF kan ikke velges sammen med andre kolonner i samme SELECT-liste, så den brukes vanligvis med en LATERAL VIEW.

Det finnes også en andre, mer kapabel basisklasse for arbeid på radnivå, GenericUDF, som aksepterer komplekse typer som arrayer, kart og strukturer og et variabelt antall argumenter.

Slik skriver og registrerer du en UDF i Hive

Stammeeksemplet beskrevet ovenfor kan bygges som en reell funksjon i fire trinn. Ingenting utover en Java kompilator og en kjørende Hive-økt er nødvendig.

Trinn 1) Skriv en Java klasse som utvider UDF og implementerer en offentlig evaluate()-metode. Hive kaller evaluate() én gang per rad, så metoden må håndtere en NULL-inndata.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

Trinn 2) Kompiler klassen og pakk den inn i en JAR-fil, for eksempel hive-udf-1.0.jar, sammen med eventuelle klasser den er avhengig av.

Trinn 3) Plasser JAR-filen på Hive-klassestien og bind et funksjonsnavn til klassen. En midlertidig funksjon lever bare i gjeldende økt.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

Trinn 4) Kall den nye funksjonen akkurat som en innebygd funksjon. Brukt på ordene «wishing», «wished» og «wishes», returnerer denne klassen «wish» for alle tre.

SELECT word, stem(word) FROM words;

For å holde funksjonen tilgjengelig for hver økt og hver bruker, registrer den permanent mot en database i stedet. JAR-filen må ligge på en bane som hele klyngen kan lese, noe som vanligvis betyr HDFS.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

En enkelt klasse kan deklarere mer enn én evaluate()-metode. Hive matcher kallet mot argumentsignaturene, og det er slik én funksjon kan akseptere både en streng og et heltall.

Spørsmål og svar