Hive-functies: voorbeeld van ingebouwde en door de gebruiker gedefinieerde functies (UDF).

Functies worden ontwikkeld voor een specifiek doel, namelijk het uitvoeren van bewerkingen zoals wiskundige, rekenkundige, logische en relationele bewerkingen op de operanden van tabelkolomnamen.

Ingebouwde functies

Dit zijn functies die al beschikbaar zijn in Hive. Eerst moeten we de applicatievereisten controleren, en dan kunnen we deze ingebouwde functies in onze applicaties gebruiken. We kunnen deze functies rechtstreeks in onze applicatie oproepen.

De syntaxis en typen worden in de volgende sectie besproken.

Soorten ingebouwde functies in Hive:

• Verzamelfuncties
• Datum Functies
• Wiskundige functies
• Voorwaardelijke functies
• String-functies
• Diversen Functies

Elk van de zes families wordt hieronder beschreven, inclusief de functiesignaturen en retourtypen.

Verzamelfuncties

Deze functies worden gebruikt voor collecties. Collecties betekenen de groepping Ze retourneren elementen, en afhankelijk van het retourtype dat in de functienaam wordt vermeld, retourneren ze een enkel element of een array van elementen.

Datum Functies

Deze worden gebruikt voor het manipuleren van datums en het converteren van datumtypen van het ene type naar het andere:

Wiskundige functies

Deze functies worden gebruikt voor wiskundige bewerkingen. In plaats van UDF's te creëren, beschikken we in Hive over een aantal ingebouwde wiskundige functies.

Voorwaardelijke functies

Deze functies worden gebruikt voor voorwaardelijke waardecontroles.

String-functies

Tekstmanipulaties en tekstbewerkingen worden afgehandeld door de volgende functies.

Diversen Functies

Verschillende ingebouwde functies behoren tot geen van de bovenstaande categorieën. Deze omvatten hashing, sessie-informatie en het aanroepen van willekeurige functies. Java werkwijzen.

UDF's (door de gebruiker gedefinieerde functies)

In Hive kunnen gebruikers hun eigen functies definiëren om aan specifieke klantvereisten te voldoen. Deze functies worden in Hive UDF's genoemd. Gebruikersgedefinieerde functies worden geschreven in... Java voor specifieke modules.

Sommige UDF's zijn specifiek ontworpen voor hergebruik van code in applicatie-frameworks. De ontwikkelaar schrijft deze functies in Java en integreert die UDF's met Hive.

Tijdens de uitvoering van een query kan de ontwikkelaar de code direct gebruiken, en de UDF's (User Defined Functions) retourneren uitvoer op basis van de door de gebruiker gedefinieerde taken. Dit zorgt voor hoge prestaties op het gebied van programmeren en uitvoering.

Voor het stammen van strings hebben we bijvoorbeeld geen vooraf gedefinieerde functie in Hive. Hiervoor kunnen we een UDF (User Defined Function) schrijven. JavaOveral waar we stamfunctionaliteit nodig hebben, kunnen we deze stam-UDF rechtstreeks in Hive aanroepen.

Hier betekent stamfunctionaliteit het afleiden van woorden uit hun stamwoorden. Een stamalgoritme reduceert de woorden "wishing", "wished" en "wishes" tot het stamwoord "wish". Om dit soort functionaliteit uit te voeren, kunnen we een UDF schrijven in... Java en ermee integreren Bijenkorf.

Afhankelijk van het gebruiksscenario kan de UDF zo worden geschreven dat deze verschillende aantallen invoer- en uitvoerwaarden accepteert en produceert.

Een UDF (User Defined Function) accepteert doorgaans één invoerwaarde en produceert één uitvoerwaarde. Als de UDF in een query wordt gebruikt, wordt deze één keer aangeroepen voor elke rij in de resultaatset.

Omgekeerd kan een functie ook een groep waarden als invoer accepteren en één enkele uitvoerwaarde retourneren. Dat verschil is wat de drie hierna beschreven typen aangepaste functies van elkaar onderscheidt.

UDF versus UDAF versus UDTF in Hive

Aangepaste functies in Hive worden gegroepeerd op basis van het aantal rijen dat erin gaat en het aantal rijen dat eruit komt. Het kiezen van het verkeerde type is de meest voorkomende reden waarom een ​​aangepaste functie niet compileert of slechts één rij retourneert waar een tabel werd verwacht.

Uit de tabel volgen twee praktische regels:

• Een UDAF wordt bijna altijd gecombineerd met een GROUP BY-clausule, omdat deze elke groep reduceert tot één rij.
• Een UDTF kan niet samen met andere kolommen in dezelfde SELECT-lijst worden geselecteerd, dus wordt deze normaal gesproken gebruikt met een LATERAL VIEW.

Er is ook een tweede, krachtigere basisklasse voor werk op rijniveau, GenericUDF, die complexe typen zoals arrays, maps en structs accepteert, evenals een variabel aantal argumenten.

Hoe schrijf en registreer je een UDF in Hive?

Het hierboven beschreven voorbeeld van een stam kan in vier stappen als een echte functie worden opgebouwd. Niets meer dan een Java Een compiler en een actieve Hive-sessie zijn vereist.

Stap 1) Schrijf een Java Een klasse die UDF uitbreidt en een openbare evaluate()-methode implementeert. Hive roept evaluate() één keer per rij aan, dus de methode moet een NULL-invoer kunnen verwerken.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

Stap 2) Compileer de klasse en verpak deze in een JAR-bestand, bijvoorbeeld hive-udf-1.0.jar, samen met alle klassen waarvan deze afhankelijk is.

Stap 3) Plaats het JAR-bestand in het Hive-classpath en koppel een functienaam aan de klasse. Een tijdelijke functie bestaat alleen gedurende de huidige sessie.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

Stap 4) Roep de nieuwe functie aan zoals een ingebouwde functie. Toegepast op de woorden "wishing", "wished" en "wishes", retourneert deze klasse "wish" voor alle drie.

SELECT word, stem(word) FROM words;

Om de functie beschikbaar te houden voor elke sessie en elke gebruiker, registreert u deze permanent in een database. Het JAR-bestand moet zich bevinden op een pad dat door het hele cluster kan worden gelezen, wat normaal gesproken HDFS is.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

Een enkele klasse kan meer dan één evaluate()-methode declareren. Hive vergelijkt de aanroep met de argumenthandtekeningen, waardoor een functie zowel een tekenreeks als een geheel getal kan accepteren.

Veelgestelde vragen