Функции на Hive: Пример за вградени и UDF (потребителски дефинирани)

Функциите са създадени за конкретна цел да извършват операции като математически, аритметични, логически и релационни операции върху операндите на имената на колоните в таблицата.

Вградени функции

Това са функции, които вече са налични в Hive. Първо трябва да проверим изискванията за приложението и след това можем да използваме тези вградени функции в нашите приложения. Можем да извикаме тези функции директно в нашето приложение.

Синтаксисът и типовете са споменати в следващия раздел.

Видове вградени функции в Hive:

• Функции за събиране
• Функции за дата
• Математически функции
• Условни функции
• Струнни функции
• Разни Функции

Всяко от шестте семейства е разгледано по-долу със своите функционални сигнатури и типове връщани стойности.

Функции за събиране

Тези функции се използват за колекции. Колекциите означават групатаping от елементи и те връщат единичен елемент или масив от елементи в зависимост от типа на връщането, посочен в името на функцията.

Функции за дата

Те се използват за извършване на манипулации с дати и преобразуване на типове дати от един тип в друг тип:

Математически функции

Тези функции се използват за математически операции. Вместо да създаваме UDF, в Hive имаме някои вградени математически функции.

Условни функции

Тези функции се използват за проверки на условни стойности.

Струнни функции

Манипулациите с низове и операциите с низове се обработват от следните функции.

Разни Функции

Няколко вградени функции не принадлежат към нито едно от горните семейства. Те обхващат хеширане, информация за сесията и извикване на произволни функции. Java методи.

UDF (дефинирани от потребителя функции)

В Hive потребителите могат да дефинират свои собствени функции, за да отговорят на определени изисквания на клиента. Те са известни като UDF в Hive. Потребителски дефинираните функции са написани на Java за конкретни модули.

Някои UDF са специално проектирани за повторна употреба на код в приложни рамки. Разработчикът пише тези функции в Java и интегрира тези UDF с Hive.

По време на изпълнение на заявка, разработчикът може директно да използва кода, а UDF ще връщат резултати според дефинираните от потребителя задачи. Това осигурява висока производителност по отношение на кодирането и изпълнението.

Например, за определяне на низове чрез stemming нямаме предварително дефинирана функция в Hive. За тази цел можем да напишем stem UDF в JavaКъдето и да се нуждаем от функционалност на stem, можем директно да извикаме тази UDF на stem в Hive.

Тук функционалността на стема означава извличане на думи от техните коренни думи. Алгоритъмът за стеминг редуцира думите „wishing“, „wished“ и „wishes“ до коренната дума „wish“. За изпълнението на този тип функционалност можем да напишем UDF в Java и го интегрирайте с Кошер.

В зависимост от случая на употреба, UDF може да бъде написана да приема и генерира различен брой входни и изходни стойности.

Общият тип UDF ще приема една входна стойност и ще генерира една изходна стойност. Ако UDF се използва в заявка, тогава UDF ще бъде извикана веднъж за всеки ред в резултатния набор от данни.

В другата посока, функцията може да приема група стойности като вход и да връща една изходна стойност. Тази разлика е това, което разделя трите типа персонализирани функции, описани по-долу.

UDF срещу UDAF срещу UDTF в Hive

Персонализираните функции в Hive са групирани по броя на въведените и броя на изведените редове. Изборът на грешен тип е най-честата причина, поради която персонализирана функция отказва да се компилира или връща един ред там, където се очаква таблица.

От таблицата следват две практични правила:

• UDAF почти винаги се свързва с клауза GROUP BY, защото тя свива всяка група до един ред.
• UDTF не може да бъде избран заедно с други колони в същия SELECT списък, така че обикновено се използва с LATERAL VIEW.

Съществува и втори, по-способен базов клас за работа на ниво ред, GenericUDF, който приема сложни типове като масиви, карти и структури, както и променлив брой аргументи.

Как да напишете и регистрирате UDF в Hive

Примерът със стволови функции, описан по-горе, може да бъде изграден като реална функция в четири стъпки. Нищо повече от Java Изисква се компилатор и работеща Hive сесия.

Стъпка 1) Напиши Java клас, който разширява UDF и имплементира публичен метод evaluate(). Hive извиква evaluate() веднъж на ред, така че методът трябва да обработва NULL вход.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

Стъпка 2) Компилирайте класа и го пакетирайте в JAR файл, например hive-udf-1.0.jar, заедно с всички класове, от които зависи.

Стъпка 3) Поставете JAR файла в пътя на класовете на Hive и обвържете име на функция с класа. Временната функция е валидна само за текущата сесия.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

Стъпка 4) Извикайте новата функция точно като вградена. Приложена към думите „wishing“, „wished“ и „wishes“, този клас връща „wish“ и за трите.

SELECT word, stem(word) FROM words;

За да запазите функцията достъпна за всяка сесия и всеки потребител, регистрирайте я постоянно в база данни. JAR файлът трябва да се намира на път, който целият клъстер може да прочете, което обикновено означава HDFS.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

Един клас може да декларира повече от един метод evaluate(). Hive сравнява извикването с сигнатурите на аргументите, което е начинът, по който една функция може да приема както низ, така и цяло число.

Въпроси и Отговори