Funzioni Hive: esempi di funzioni integrate e definite dall'utente (UDF).

Le funzioni sono create per uno scopo specifico, ovvero per eseguire operazioni di tipo matematico, aritmetico, logico e relazionale sugli operandi dei nomi delle colonne della tabella.

Funzioni integrate

Queste sono funzioni già disponibili in Hive. Innanzitutto, dobbiamo verificare i requisiti dell'applicazione, quindi possiamo utilizzare queste funzioni integrate nelle nostre applicazioni. Possiamo chiamare queste funzioni direttamente nella nostra applicazione.

La sintassi e i tipi sono menzionati nella sezione seguente.

Tipi di funzioni integrate in Hive:

• Funzioni di raccolta
• Funzioni data
• Funzioni matematiche
• Funzioni condizionali
• Funzioni di stringa
• Varie Funzioni

Ciascuna delle sei famiglie è descritta di seguito con le relative firme di funzione e i tipi di ritorno.

Funzioni di raccolta

Queste funzioni vengono utilizzate per le collezioni. Collezioni significano il gruppoping di elementi e restituiscono un singolo elemento o un array di elementi a seconda del tipo di ritorno specificato nel nome della funzione.

Funzioni data

Questi strumenti vengono utilizzati per eseguire manipolazioni di date e conversioni di tipi di data da un tipo a un altro:

Funzioni matematiche

Queste funzioni vengono utilizzate per operazioni matematiche. Invece di creare UDF, Hive dispone di alcune funzioni matematiche integrate.

Funzioni condizionali

Queste funzioni vengono utilizzate per i controlli condizionali dei valori.

Funzioni di stringa

Le seguenti funzioni gestiscono le manipolazioni e le operazioni sulle stringhe.

Varie Funzioni

Diverse funzioni integrate non appartengono a nessuna delle famiglie sopra menzionate. Queste includono l'hashing, le informazioni di sessione e la chiamata arbitraria Java metodi.

UDF (funzioni definite dall'utente)

In Hive, gli utenti possono definire le proprie funzioni per soddisfare determinati requisiti del cliente. Queste sono note come UDF in Hive. Le funzioni definite dall'utente sono scritte in Java per moduli specifici.

Alcune UDF sono specificamente progettate per il riutilizzo del codice nei framework applicativi. Lo sviluppatore scrive queste funzioni in Java e integra tali UDF con Hive.

Durante l'esecuzione della query, lo sviluppatore può utilizzare direttamente il codice e le UDF restituiranno output in base alle attività definite dall'utente. Ciò garantisce elevate prestazioni in termini di programmazione ed esecuzione.

Ad esempio, per lo stemming delle stringhe non abbiamo alcuna funzione predefinita in Hive. Per questo, possiamo scrivere una UDF di stemming in JavaOvunque sia necessaria la funzionalità stem, possiamo richiamare direttamente questa UDF stem in Hive.

Qui la funzionalità stemming significa derivare le parole dalle loro parole radice. Un algoritmo di stemming riduce le parole "wishing", "wished" e "wishes" alla parola radice "wish". Per eseguire questo tipo di funzionalità, possiamo scrivere una UDF in Java e integrarlo con Alveare.

A seconda del caso d'uso, la UDF può essere scritta per accettare e produrre un numero diverso di valori di input e output.

La UDF di tipo generale accetta un singolo valore di input e produce un singolo valore di output. Se la UDF viene utilizzata in una query, verrà richiamata una volta per ogni riga del set di dati risultante.

Nella direzione opposta, una funzione può accettare un gruppo di valori in input e restituire un singolo valore in output. Questa differenza è ciò che distingue i tre tipi di funzioni personalizzate descritti di seguito.

UDF vs UDAF vs UDTF in Hive

Le funzioni personalizzate in Hive sono raggruppate in base al numero di righe in ingresso e in uscita. La scelta del tipo errato è la causa più comune per cui una funzione personalizzata non viene compilata o restituisce una singola riga dove era prevista una tabella.

Dalla tabella si possono ricavare due regole pratiche:

• Una clausola UDAF è quasi sempre abbinata a una clausola GROUP BY, perché comprime ogni gruppo in un'unica riga.
• Un UDTF non può essere selezionato insieme ad altre colonne nella stessa lista SELECT, quindi viene normalmente utilizzato con una LATERAL VIEW.

Esiste anche una seconda classe base più potente per le operazioni a livello di riga, GenericUDF, che accetta tipi complessi come array, mappe e struct e un numero variabile di argomenti.

Come scrivere e registrare una UDF in Hive

L'esempio dello stem descritto sopra può essere costruito come una vera funzione in quattro passaggi. Niente oltre a Java Sono necessari un compilatore e una sessione Hive in esecuzione.

Passo 1) Scrivi a Java Classe che estende UDF e implementa un metodo pubblico evaluate(). Hive chiama evaluate() una volta per riga, quindi il metodo deve gestire un input NULL.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

Passo 2) Compila la classe e impacchettala in un file JAR, ad esempio hive-udf-1.0.jar, insieme a tutte le classi da cui dipende.

Passo 3) Inserisci il file JAR nel classpath di Hive e associa un nome di funzione alla classe. Una funzione temporanea esiste solo per la durata della sessione corrente.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

Passo 4) Richiama la nuova funzione esattamente come una funzione integrata. Applicata alle parole "wishing", "wished" e "wishes", questa classe restituisce "wish" per tutte e tre.

SELECT word, stem(word) FROM words;

Per mantenere la funzionalità disponibile a ogni sessione e a ogni utente, è preferibile registrarla in modo permanente in un database. Il file JAR deve trovarsi in un percorso accessibile a tutto il cluster, che in genere corrisponde a HDFS.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

Una singola classe può dichiarare più di un metodo evaluate(). Hive confronta la chiamata con le firme degli argomenti, ed è così che una funzione può accettare sia una stringa che un numero intero.

DOMANDE FREQUENTI