Hive-funktiot: Sisäänrakennetut ja UDF (käyttäjän määrittämät) -esimerkit

Funktiot on rakennettu tiettyyn tarkoitukseen suorittamaan matemaattisia, aritmeettisia, loogisia ja relaatiooperaatioita taulukon sarakenimien operandeille.

Sisäänrakennetut toiminnot

Nämä ovat toimintoja, jotka ovat jo saatavilla Hivessa. Ensin meidän on tarkistettava sovelluksen vaatimukset, ja sitten voimme käyttää näitä sisäänrakennettuja toimintoja sovelluksissamme. Voimme kutsua näitä toimintoja suoraan sovelluksessamme.

Syntaksi ja tyypit mainitaan seuraavassa osiossa.

Hiven sisäänrakennettujen funktioiden tyypit:

• Kokoelmatoiminnot
• Päivämäärätoiminnot
• Matemaattiset funktiot
• Ehdolliset toiminnot
• Merkkijonofunktiot
• Muut Toiminnot

Jokainen kuudesta funktioperheestä käsitellään alla funktioiden allekirjoituksineen ja paluutyyppeineen.

Kokoelmatoiminnot

Näitä funktioita käytetään kokoelmille. Kokoelmilla tarkoitetaan ryhmääping elementtejä, ja ne palauttavat yhden elementin tai elementtitaulukon funktion nimessä mainitusta paluutyypistä riippuen.

Päivämäärätoiminnot

Näitä käytetään päivämäärän käsittelyyn ja päivämäärätyyppien muuntamiseen yhdestä tyypistä toiseen:

Matemaattiset funktiot

Näitä funktioita käytetään matemaattisiin operaatioihin. UDF-funktioiden luomisen sijaan Hivessä on joitakin sisäänrakennettuja matemaattisia funktioita.

Ehdolliset toiminnot

Näitä funktioita käytetään ehdollisten arvojen tarkistuksiin.

Merkkijonofunktiot

Merkkijonojen manipulointia ja merkkijonooperaatioita käsittelevät seuraavat funktiot.

Muut Toiminnot

Useat sisäänrakennetut funktiot eivät kuulu mihinkään yllä mainituista funktioperheistä. Nämä kattavat hajauttamisen, istuntotiedot ja mielivaltaisten kutsujen käytön. Java menetelmiä.

UDF:t (käyttäjän määrittämät funktiot)

Hivessä käyttäjät voivat määrittää omia funktioitaan tiettyjen asiakasvaatimusten täyttämiseksi. Näitä kutsutaan Hivessä UDF-funktioiksi. Käyttäjän määrittämät funktiot kirjoitetaan Java tietyille moduuleille.

Jotkin UDF-funktiot on suunniteltu erityisesti koodin uudelleenkäytettävyyttä varten sovelluskehyksissä. Kehittäjä kirjoittaa nämä funktiot Java ja integroi nuo UDF:t Hiveen.

Kyselyn suorituksen aikana kehittäjä voi käyttää koodia suoraan, ja UDF:t palauttavat tuloksia käyttäjän määrittämien tehtävien mukaisesti. Se tarjoaa korkean suorituskyvyn koodauksen ja suorituksen suhteen.

Esimerkiksi merkkijonojen stemmausta varten meillä ei ole Hivessä valmiiksi määriteltyä funktiota. Tätä varten voimme kirjoittaa stem UDF:n JavaAina kun tarvitsemme varren toiminnallisuutta, voimme kutsua tätä varren UDF:ää suoraan Hivessä.

Tässä vartalon toiminnallisuus tarkoittaa sanojen johtamista niiden juurisanoista. Vartalonmuodostusalgoritmi supistaa sanat ”wishing”, ”wished” ja ”wishes” juurisanaksi ”wish”. Tämän tyyppisen toiminnallisuuden suorittamiseksi voimme kirjoittaa UDF-funktion Java ja integroi se Hive.

Käyttötapauksesta riippuen UDF voidaan kirjoittaa hyväksymään ja tuottamaan eri määriä syöte- ja lähtöarvoja.

Yleinen UDF-tyyppi hyväksyy yhden syötearvon ja tuottaa yhden tulosarvon. Jos UDF-funktiota käytetään kyselyssä, sitä kutsutaan kerran jokaista tulosdatajoukon riviä kohden.

Toiseen suuntaan funktio voi hyväksyä syötteeksi joukon arvoja ja palauttaa myös yhden tulosarvon. Tämä ero erottaa toisistaan ​​seuraavaksi kuvatut kolme mukautettua funktiotyyppiä.

UDF vs. UDAF vs. UDTF Hivessä

Hiven mukautetut funktiot on ryhmitelty sen mukaan, kuinka monta riviä tulee sisään ja kuinka monta tulee ulos. Väärän tyypin valitseminen on yleisin syy siihen, miksi mukautettu funktio kieltäytyy kääntymästä tai palauttaa yhden rivin taulukon sijaan.

Taulukosta seuraa kaksi käytännön sääntöä:

• UDAF yhdistetään lähes aina GROUP BY -lausekkeeseen, koska se kutistaa jokaisen ryhmän yhdelle riville.
• UDTF-saraketta ei voi valita muiden saman SELECT-listan sarakkeiden rinnalla, joten sitä käytetään yleensä LATERAL VIEW:n kanssa.

Rivitason työskentelyyn on myös toinen, tehokkaampi perusluokka, GenericUDF, joka hyväksyy monimutkaisia ​​tyyppejä, kuten taulukoita, map-tyyppejä ja rakenteita, sekä vaihtelevan määrän argumentteja.

UDF-tiedoston kirjoittaminen ja rekisteröiminen Hiveen

Yllä kuvattu esimerkki varresta voidaan rakentaa reaalilukufunktioksi neljässä vaiheessa. Mikään muu kuin Java kääntäjä ja käynnissä oleva Hive-istunto vaaditaan.

Vaihe 1) Kirjoittaa Java luokka, joka laajentaa UDF:ää ja toteuttaa julkisen evaluate()-metodin. Hive kutsuu evaluate()-metodia kerran riviä kohden, joten metodin on käsiteltävä NULL-syöte.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

Vaihe 2) Käännä luokka ja pakkaa se JAR-tiedostoon, esimerkiksi hive-udf-1.0.jar, yhdessä kaikkien sen luokkien kanssa, joista se on riippuvainen.

Vaihe 3) Lisää JAR-tiedosto Hive-luokkapolkuun ja sido funktion nimi luokkaan. Väliaikainen funktio on voimassa vain nykyisen istunnon ajan.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

Vaihe 4) Kutsu uutta funktiota täsmälleen kuten sisäänrakennettua funktiota. Sovellettuna sanoihin ”wishing”, ”wished” ja ”wishes”, tämä luokka palauttaa ”wish” kaikille kolmelle.

SELECT word, stem(word) FROM words;

Jotta funktio pysyisi käytettävissä jokaiselle istunnolle ja jokaiselle käyttäjälle, rekisteröi se pysyvästi tietokantaan. JAR-tiedoston on sijaittava polulla, jota koko klusteri voi lukea, mikä yleensä tarkoittaa HDFS:ää.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

Yksi luokka voi määrittää useamman kuin yhden evaluate()-metodin. Hive vertaa kutsua argumenttien allekirjoituksiin, joten yksi funktio voi hyväksyä sekä merkkijonon että kokonaisluvun.

UKK