Hive-funktioner: Inbyggt och UDF (användardefinierat) exempel

Funktioner är byggda för ett specifikt syfte för att utföra operationer som matematiska, aritmetiska, logiska och relationella operationer på operanderna i tabellkolumnnamn.

Inbyggda funktioner

Det här är funktioner som redan är tillgängliga i Hive. Först måste vi kontrollera applikationskravet, och sedan kan vi använda dessa inbyggda funktioner i våra applikationer. Vi kan anropa dessa funktioner direkt i vår applikation.

Syntaxen och typerna nämns i följande avsnitt.

Typer av inbyggda funktioner i Hive:

• Insamlingsfunktioner
• Datumfunktioner
• Matematiska funktioner
• Villkorliga funktioner
• Strängfunktioner
• Övrigt Funktioner

Var och en av de sex familjerna behandlas nedan med sina funktionssignaturer och returtyper.

Insamlingsfunktioner

Dessa funktioner används för samlingar. Samlingar betyder gruppenping av element, och de returnerar ett enskilt element eller en array av element beroende på returtypen som anges i funktionsnamnet.

Datumfunktioner

Dessa används för att utföra datummanipulationer och konvertering av datumtyper från en typ till en annan:

Matematiska funktioner

Dessa funktioner används för matematiska operationer. Istället för att skapa UDF:er har vi några inbyggda matematiska funktioner i Hive.

Villkorliga funktioner

Dessa funktioner används för villkorliga värdekontroller.

Strängfunktioner

Strängmanipulationer och strängoperationer hanteras av följande funktioner.

Övrigt Funktioner

Flera inbyggda funktioner tillhör ingen av familjerna ovan. Dessa täcker hashing, sessionsinformation och godtyckliga anrop. Java metoder.

UDF:er (användardefinierade funktioner)

I Hive kan användare definiera sina egna funktioner för att uppfylla vissa klientkrav. Dessa kallas UDF:er i Hive. Användardefinierade funktioner skrivs i Java för specifika moduler.

Vissa UDF:er är specifikt utformade för återanvändbarhet av kod i applikationsramverk. Utvecklaren skriver dessa funktioner i Java och integrerar dessa UDF:er med Hive.

Under exekvering av frågeformuläret kan utvecklaren använda koden direkt, och UDF:er returnerar utdata enligt de användardefinierade uppgifterna. Det ger hög prestanda vad gäller kodning och exekvering.

Till exempel, för strängstemning har vi ingen fördefinierad funktion i Hive. För detta kan vi skriva en stam-UDF i JavaÖverallt där vi behöver stamfunktionalitet kan vi direkt anropa denna stam-UDF i Hive.

Här betyder stamfunktionalitet att härleda ord från deras rotord. En stamningsalgoritm reducerar orden "wishing", "wished" och "wishes" till rotordet "wish". För att utföra denna typ av funktionalitet kan vi skriva en UDF i Java och integrera den med Bikupa.

Beroende på användningsfallet kan UDF:n skrivas för att acceptera och producera olika antal in- och utdatavärden.

Den allmänna typen av UDF accepterar ett enda indatavärde och producerar ett enda utdatavärde. Om UDF:n används i en fråga anropas UDF:n en gång för varje rad i resultatdatauppsättningen.

Å andra sidan kan en funktion acceptera en grupp värden som indata och returnera ett enda utdatavärde. Det är den skillnaden som skiljer de tre anpassade funktionstyperna som beskrivs härnäst åt.

UDF vs UDAF vs UDTF i Hive

Anpassade funktioner i Hive grupperas efter hur många rader som ska in och hur många som ska ut. Att välja fel typ är den vanligaste anledningen till att en anpassad funktion vägrar att kompileras eller returnerar en enda rad där en tabell förväntades.

Två praktiska regler följer av tabellen:

• En UDAF paras nästan alltid ihop med en GROUP BY-klausul, eftersom den komprimerar varje grupp till en rad.
• En UDTF kan inte väljas tillsammans med andra kolumner i samma SELECT-lista, så den används normalt med en LATERAL VIEW.

Det finns också en andra, mer kapabel basklass för arbete på radnivå, GenericUDF, som accepterar komplexa typer som arrayer, kartor och strukturer samt ett variabelt antal argument.

Hur man skriver och registrerar en UDF i Hive

Stammexemplet som beskrivs ovan kan byggas som en reell funktion i fyra steg. Ingenting utöver en Java kompilator och en körande Hive-session krävs.

Steg 1) Skriv en Java klass som utökar UDF och implementerar en public evaluate()-metod. Hive anropar evaluate() en gång per rad, så metoden måste hantera en NULL-indata.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

Steg 2) Kompilera klassen och paketera den i en JAR-fil, till exempel hive-udf-1.0.jar, tillsammans med eventuella klasser den är beroende av.

Steg 3) Placera JAR-filen på Hive-klassvägen och bind ett funktionsnamn till klassen. En temporär funktion lever bara under den aktuella sessionen.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

Steg 4) Anropa den nya funktionen precis som en inbyggd. Tillämpad på orden "wishing", "wished" och "wishes" returnerar den här klassen "wish" för alla tre.

SELECT word, stem(word) FROM words;

För att hålla funktionen tillgänglig för varje session och varje användare, registrera den permanent mot en databas istället. JAR-filen måste finnas på en sökväg som hela klustret kan läsa, vilket normalt innebär HDFS.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

En enda klass kan deklarera mer än en evaluate()-metod. Hive matchar anropet mot argumentsignaturerna, vilket är hur en funktion kan acceptera både en sträng och ett heltal.

Vanliga frågor