Συναρτήσεις Hive: Ενσωματωμένες & Παράδειγμα UDF (Ορισμός από τον χρήστη)

Οι συναρτήσεις κατασκευάζονται για έναν συγκεκριμένο σκοπό, ώστε να εκτελούν πράξεις όπως μαθηματικές, αριθμητικές, λογικές και σχεσιακές πράξεις στους τελεστές των ονομάτων στηλών του πίνακα.

Ενσωματωμένες Λειτουργίες

Αυτές είναι λειτουργίες που είναι ήδη διαθέσιμες στο Hive. Πρώτα, πρέπει να ελέγξουμε την απαίτηση εφαρμογής και, στη συνέχεια, μπορούμε να χρησιμοποιήσουμε αυτές τις ενσωματωμένες λειτουργίες στις εφαρμογές μας. Μπορούμε να καλέσουμε αυτές τις λειτουργίες απευθείας στην εφαρμογή μας.

Η σύνταξη και οι τύποι αναφέρονται στην παρακάτω ενότητα.

Τύποι ενσωματωμένων συναρτήσεων στο Hive:

• Λειτουργίες συλλογής
• Λειτουργίες ημερομηνίας
• Μαθηματικές Συναρτήσεις
• Συναρτήσεις υπό όρους
• Λειτουργίες συμβολοσειράς
• Διάφορα. Λειτουργίες

Κάθε μία από τις έξι οικογένειες καλύπτεται παρακάτω με τις υπογραφές συναρτήσεων και τους τύπους επιστροφής της.

Λειτουργίες συλλογής

Αυτές οι συναρτήσεις χρησιμοποιούνται για συλλογές. Οι συλλογές σημαίνουν την ομάδαping στοιχείων και επιστρέφουν ένα μόνο στοιχείο ή έναν πίνακα στοιχείων ανάλογα με τον τύπο επιστροφής που αναφέρεται στο όνομα της συνάρτησης.

Λειτουργίες ημερομηνίας

Αυτά χρησιμοποιούνται για την εκτέλεση χειρισμών ημερομηνίας και μετατροπής τύπων ημερομηνίας από έναν τύπο σε έναν άλλο τύπο:

Μαθηματικές Συναρτήσεις

Αυτές οι συναρτήσεις χρησιμοποιούνται για μαθηματικές πράξεις. Αντί να δημιουργούμε UDF, έχουμε κάποιες ενσωματωμένες μαθηματικές συναρτήσεις στο Hive.

Συναρτήσεις υπό όρους

Αυτές οι συναρτήσεις χρησιμοποιούνται για ελέγχους τιμών υπό όρους.

Λειτουργίες συμβολοσειράς

Οι χειρισμοί και οι λειτουργίες συμβολοσειρών διεκπεραιώνονται από τις ακόλουθες συναρτήσεις.

Διάφορα. Λειτουργίες

Αρκετές ενσωματωμένες συναρτήσεις δεν ανήκουν σε καμία από τις παραπάνω οικογένειες. Αυτές καλύπτουν τον κατακερματισμό, τις πληροφορίες συνεδρίας και την κλήση αυθαίρετων συναρτήσεων. Java μεθόδους.

UDF (Συναρτήσεις που καθορίζονται από το χρήστη)

Στο Hive, οι χρήστες μπορούν να ορίσουν τις δικές τους συναρτήσεις για να καλύψουν ορισμένες απαιτήσεις του πελάτη. Αυτές είναι γνωστές ως UDF στο Hive. Οι συναρτήσεις που ορίζονται από τον χρήστη γράφονται σε Java για συγκεκριμένες ενότητες.

Ορισμένα UDF έχουν σχεδιαστεί ειδικά για την επαναχρησιμοποίηση κώδικα σε πλαίσια εφαρμογών. Ο προγραμματιστής γράφει αυτές τις συναρτήσεις σε Java και ενσωματώνει αυτά τα UDF με το Hive.

Κατά την εκτέλεση του ερωτήματος, ο προγραμματιστής μπορεί να χρησιμοποιήσει απευθείας τον κώδικα και τα UDF θα επιστρέψουν αποτελέσματα σύμφωνα με τις εργασίες που ορίζονται από τον χρήστη. Παρέχει υψηλή απόδοση όσον αφορά τον κώδικα και την εκτέλεση.

Για παράδειγμα, για την δημιουργία συμβολοσειρών δεν έχουμε κάποια προκαθορισμένη συνάρτηση στο Hive. Για αυτό, μπορούμε να γράψουμε ένα UDF stem σε JavaΌπου χρειαζόμαστε λειτουργικότητα στελέχους, μπορούμε να ονομάσουμε απευθείας αυτό το στέλεχος UDF στο Hive.

Εδώ, η λειτουργικότητα του stem σημαίνει την εξαγωγή λέξεων από τις ρίζες τους. Ένας αλγόριθμος stemming ανάγει τις λέξεις "wishing", "wished" και "wishes" στη ρίζα "wish". Για την εκτέλεση αυτού του τύπου λειτουργικότητας, μπορούμε να γράψουμε ένα UDF σε Java και ενσωματώστε το με Κυψέλη.

Ανάλογα με την περίπτωση χρήσης, το UDF μπορεί να γραφτεί για να δέχεται και να παράγει διαφορετικούς αριθμούς τιμών εισόδου και εξόδου.

Ο γενικός τύπος UDF θα δέχεται μία μόνο τιμή εισόδου και θα παράγει μία μόνο τιμή εξόδου. Εάν το UDF χρησιμοποιείται σε ένα ερώτημα, τότε το UDF θα καλείται μία φορά για κάθε γραμμή στο σύνολο δεδομένων αποτελεσμάτων.

Από την άλλη πλευρά, μια συνάρτηση μπορεί να δεχτεί μια ομάδα τιμών ως είσοδο και να επιστρέψει επίσης μια μοναδική τιμή εξόδου. Αυτή η διαφορά είναι που διαχωρίζει τους τρεις τύπους προσαρμοσμένων συναρτήσεων που περιγράφονται στη συνέχεια.

UDF εναντίον UDAF εναντίον UDTF στο Hive

Οι προσαρμοσμένες συναρτήσεις στο Hive ομαδοποιούνται ανάλογα με τον αριθμό των γραμμών που εισάγονται και τον αριθμό των γραμμών που εξέρχονται. Η επιλογή λανθασμένου τύπου είναι ο πιο συνηθισμένος λόγος για τον οποίο μια προσαρμοσμένη συνάρτηση αρνείται να μεταγλωττίσει ή επιστρέφει μία μόνο γραμμή όπου αναμενόταν ένας πίνακας.

Δύο πρακτικοί κανόνες προκύπτουν από τον πίνακα:

• Ένα UDAF σχεδόν πάντα συνδυάζεται με μια ρήτρα GROUP BY, επειδή συμπτύσσει κάθε ομάδα σε μία γραμμή.
• Ένα UDTF δεν μπορεί να επιλεγεί παράλληλα με άλλες στήλες στην ίδια λίστα SELECT, επομένως χρησιμοποιείται συνήθως με μια ΠΛΑΓΙΑ ΠΡΟΒΟΛΗ.

Υπάρχει επίσης μια δεύτερη, πιο ικανή βασική κλάση για εργασία σε επίπεδο γραμμών, η GenericUDF, η οποία δέχεται σύνθετους τύπους όπως πίνακες, χάρτες και δομές και έναν μεταβλητό αριθμό ορισμάτων.

Πώς να γράψετε και να καταχωρήσετε ένα UDF στο Hive

Το παράδειγμα του κορμού που περιγράφεται παραπάνω μπορεί να κατασκευαστεί ως πραγματική συνάρτηση σε τέσσερα βήματα. Τίποτα πέρα ​​από ένα Java Απαιτείται μεταγλωττιστής και μια εκτελούμενη συνεδρία Hive.

Βήμα 1) Γράψε ένα Java Κλάση που επεκτείνει το UDF και υλοποιεί μια μέθοδο public evaluate(). Η Hive καλεί την evaluate() μία φορά ανά γραμμή, επομένως η μέθοδος πρέπει να χειρίζεται μια NULL είσοδο.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

Βήμα 2) Μεταγλωττίστε την κλάση και συσκευάστε την σε ένα αρχείο JAR, για παράδειγμα hive-udf-1.0.jar, μαζί με τυχόν κλάσεις από τις οποίες εξαρτάται.

Βήμα 3) Τοποθετήστε το JAR στη διαδρομή κλάσης Hive και συνδέστε ένα όνομα συνάρτησης στην κλάση. Μια προσωρινή συνάρτηση υπάρχει μόνο για την τρέχουσα συνεδρία.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

Βήμα 4) Καλέστε τη νέα συνάρτηση ακριβώς όπως μια ενσωματωμένη. Εφαρμόζοντας στις λέξεις "wishing", "wished" και "wishes", αυτή η κλάση επιστρέφει "wish" και για τις τρεις.

SELECT word, stem(word) FROM words;

Για να διατηρήσετε τη συνάρτηση διαθέσιμη σε κάθε συνεδρία και σε κάθε χρήστη, καταχωρίστε την μόνιμα σε μια βάση δεδομένων. Το JAR πρέπει να βρίσκεται σε μια διαδρομή που μπορεί να διαβάσει ολόκληρο το σύμπλεγμα, πράγμα που κανονικά σημαίνει HDFS.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

Μία κλάση μπορεί να δηλώσει περισσότερες από μία μεθόδους evaluate(). Η Hive αντιστοιχίζει την κλήση με τις υπογραφές ορισμάτων, και έτσι μια συνάρτηση μπορεί να δεχτεί τόσο μια συμβολοσειρά όσο και έναν ακέραιο αριθμό.

Συχνές Ερωτήσεις