Функції Hive: Приклад вбудованих та UDF (визначених користувачем)

⚡ Розумний підсумок

Функції Hive поділяються на дві групи: вбудовані функції, що постачаються з рушієм та охоплюють колекції, дати, математичні, умовні, рядкові та різні операції, а також користувацькі функції, написані на Java для логіки Hive не надає.

  • 📚 Шість вбудованих сімейств: Функції колекцій, дат, математичних, умовних, рядкових та різноманітних функцій можна викликати безпосередньо в HiveQL.
  • 🧾 Підписи мають значення: Кожна функція має фіксований список аргументів та задокументований тип повернення, тому тип повернення визначає, де її можна використовувати.
  • 🧩 УДФ заповнює прогалини: Коли вбудованої функції не існує, a Java Клас, що розширює org.apache.hadoop.hive.ql.exec.UDF, надає відсутню операцію.
  • 🔢 Три форми користувацьких функцій: UDF повертає по одному рядку на рядок, UDAF згортає багато рядків в один, а UDTF розгортає один рядок на багато.
  • 🛠️ Реєстрація у два кроки: ADD JAR розміщує код у шляху до класів, а CREATE TEMPORARY FUNCTION прив'язує ім'я до класу.
  • ♻️ Повторне використання — це суть: Одну перевірену UDF, таку як стеммер, можна викликати з кожного запиту, замість того, щоб переписувати її щоразу.

Функції Hive: вбудовані та визначені користувачем функції

Функції створюються для певної мети, щоб виконувати такі операції, як математичні, арифметичні, логічні та реляційні операції над операндами імен стовпців таблиці.

Вбудовані функції

Це функції, які вже доступні в Hive. Спочатку ми повинні перевірити вимоги програми, а потім ми зможемо використовувати ці вбудовані функції в наших програмах. Ми можемо викликати ці функції безпосередньо в нашій програмі.

Синтаксис і типи згадуються в наступному розділі.

Типи вбудованих функцій у Hive:

  • Функції збору
  • Функції дати
  • Математичні функції
  • Умовні функції
  • Рядкові функції
  • Різне Функції

Кожна з шести родин розглянута нижче разом із її сигнатурами функцій та типами повернення.

Функції збору

Ці функції використовуються для колекцій. Колекції означають групуping елементів, і вони повертають один елемент або масив елементів залежно від типу повернення, зазначеного в назві функції.

Тип повернення Назва функції Опис
INT розмір (карта ) Він отримає та видасть кількість компонентів у типі карти
INT розмір (масив ) Він отримає та видасть кількість елементів у типі масиву
Масив map_keys(Карта ) Він отримає та поверне масив, що містить ключі вхідної карти. Масив невпорядкований.
Масив значення_мапи(Карта ) Він отримає та поверне масив, що містить значення вхідної карти. Масив невпорядкований.
Масив sort_array(Масив ) Сортує вхідний масив у порядку зростання його елементів та повертає його
Boolean array_contain(Масив , значення) Повертає TRUE, якщо масив містить значення, передане як другий аргумент

Функції дати

Вони використовуються для виконання маніпуляцій з датами та перетворення типів дат з одного типу в інший:

Назва функції Тип повернення Опис
unix_timestamp() BigInt Ми отримаємо струм Юнекс позначка часу в секундах. Значення не фіксоване для всього запиту
to_date(рядок timestamp) дата Він отримає та надасть частину дати з рядка позначки часу
рік (рядок дати) INT Він отримає та надасть рік як частину дати або рядка позначки часу
квартал (дата/мітка часу/рядок) INT Він отримає та надасть квартал року для дати, позначки часу або рядка в діапазоні від 1 до 4
місяць (рядок дати) INT Це дасть частину місяця в дату або рядок позначки часу
година (рядок дати) INT Він отримає та надасть годину позначки часу
хвилина (рядок дати) INT Він отримає та надасть хвилину позначки часу
date_sub(рядок початкової дати, ціле число днів) дата Він отримає та видасть результат підпрограмиtracпротягом кількох днів з дати початку
поточна_дата дата Він отримає та видасть поточну дату на початку оцінки запиту
last_day(рядок дати) рядок Він отримає та видасть останній день місяця, до якого належить дата
trunc(рядок дати, формат рядка) рядок Він отримає та видасть дату, скорочену до одиниць вимірювання, зазначених у форматі. Підтримувані формати: МІСЯЦЬ/ПН/ММ, РІК/РРРР/РР.

Математичні функції

Ці функції використовуються для математичних операцій. Замість створення UDF, у Hive є деякі вбудовані математичні функції.

Назва функції Тип повернення Опис
круглий (DOUBLE X) ПОДВІЙНИЙ Він отримає та поверне округлене значення BIGINT для X.
раунд (DOUBLE X, INT d) ПОДВІЙНИЙ Він отримає та поверне X, округлене до d знаків під комою
коричневий (DOUBLE X) ПОДВІЙНИЙ Він отримає та поверне округлене значення BIGINT для X, використовуючи режим округлення HALF_EVEN, також відомий як банківське округлення.
поверх (DOUBLE X) ВЕЛИКИЙ Він отримає та поверне максимальне значення BIGINT, яке дорівнює або менше за значення X.
стеля (DOUBLE a), стеля (DOUBLE a) ВЕЛИКИЙ Він отримає та поверне мінімальне значення BIGINT, яке дорівнює або більше за значення a
rand(), rand(INT seed) ПОДВІЙНИЙ Він отримає та поверне випадкове число, рівномірно розподілене від 0 до 1. Надання початкового значення робить послідовність повторюваною.

Умовні функції

Ці функції використовуються для перевірок умовних значень.

Назва функції Тип повернення Опис
if(Boolean testCondition, T valueTrue, T valueFalseOrNull) T Він поверне значення valueTrue, коли testCondition має значення true, та значення valueFalseOrNull в іншому випадку.
є нульовим(X) Boolean Він отримає значення true, якщо X дорівнює NULL, і false в іншому випадку.
не є нульовим(X) Boolean Він отримає значення true, якщо X не дорівнює NULL, і false в іншому випадку.
nvl(значення T, значення_за_замовчуванням T) T Він поверне значення_замовчування, якщо значення дорівнює NULL, та значення в іншому випадку.

Рядкові функції

Маніпуляції з рядками та операції з рядками обробляються наступними функціями.

Назва функції Тип повернення Опис
зворотний(рядок X) рядок Це дасть перевернутий рядок X
rpad(string str, int length, string pad) рядок Він отримає та поверне str, доповнений праворуч, з доповненням до загальної довжини length
rtrim(рядок X) рядок Він отримає та поверне рядок, отриманий в результаті обрізання пробілів з кінця (правого боку) X.
Наприклад, rtrim('результати') призводить до 'результатів'
пробіл (INT n) рядок Він отримає та видасть рядок з n пробілів.
split(STRING str, STRING pat) масив Розділяє str навколо pat (pat — регулярний вираз).
str_to_map(текст[, роздільник1, роздільник2]) карта Він розділить текст на пари ключ-значення за допомогою двох роздільників. Розділювач1 розділяє пари, а роздільник2 розділяє кожну пару.

Різне Функції

Кілька вбудованих функцій не належать до жодного з перелічених вище сімейств. Вони охоплюють хешування, інформацію про сеанс та виклик довільних Java методи

Назва функції Тип повернення Опис
хеш(a1[, a2…]) INT Повертає хеш-значення аргументів
поточний_користувач() рядок Повертає поточне ім'я користувача з налаштованого менеджера автентифікаторів
поточна_база_даних() рядок Повертає ім'я поточної бази даних
md5(рядок/двійковий файл) рядок Повертає 128-бітну контрольну суму MD5 як рядок із 32 шістнадцяткових цифр або NULL для аргументу NULL
sha1(рядок/двійковий файл) рядок Повертає SHA-1 дайджест аргументу у вигляді шістнадцяткового рядка
crc32(рядок/двійковий файл) BigInt Повертає значення циклічної перевірки надлишковості рядка або двійкового аргументу
версія() рядок Повертає версію Hive як номер збірки, за яким слідує хеш збірки.
відображати(клас, метод[, arg1…]) варіює Викликає Java метод шляхом зіставлення сигнатури аргументу за допомогою відображення. java_method() є синонімом

UDF (функції, визначені користувачем)

У Hive користувачі можуть визначати власні функції для задоволення певних вимог клієнта. Вони відомі як UDF у Hive. Функції, визначені користувачем, пишуться в Java для окремих модулів.

Деякі UDF спеціально розроблені для повторного використання коду в фреймворках додатків. Розробник пише ці функції в Java та інтегрує ці UDF з Hive.

Під час виконання запиту розробник може безпосередньо використовувати код, а UDF повертатимуть результати відповідно до визначених користувачем завдань. Це забезпечує високу продуктивність з точки зору кодування та виконання.

Наприклад, для стемінгу рядків у Hive немає жодної попередньо визначеної функції. Для цього ми можемо написати UDF стему в JavaСкрізь, де нам потрібна функціональність стебла, ми можемо безпосередньо викликати цю UDF стебла в Hive.

Тут функціональність стему означає походження слів від їх кореневих слів. Алгоритм стемінгу зводить слова «бажання», «бажаний» та «бажання» до кореневого слова «бажання». Для виконання цього типу функціональності ми можемо написати UDF у Java і інтегрувати його з Вулик.

Залежно від випадку використання, UDF може бути написана для приймання та створення різної кількості вхідних та вихідних значень.

Загальний тип UDF прийматиме одне вхідне значення та видасть одне вихідне значення. Якщо UDF використовується в запиті, то UDF буде викликано один раз для кожного рядка в результуючому наборі даних.

В іншому напрямку, функція може приймати групу значень як вхідні дані та повертати одне вихідне значення. Ця різниця і є тим, що відрізняє три типи користувацьких функцій, описаних далі.

UDF проти UDAF проти UDTF у Hive

Користувацькі функції в Hive групуються за кількістю рядків, що входять, і за кількістю рядків, що виходять. Вибір неправильного типу є найпоширенішою причиною, чому користувацька функція відмовляється компілюватися або повертає один рядок там, де очікувалася таблиця.

тип Рядки вхідні → рядки вихідні Клас для розширення Вбудовані приклади
UDF Один рядок → один рядок org.apache.hadoop.hive.ql.exec.UDF довжина(), округлення(), зворотний()
УДАФ Багато рядків → один рядок org.apache.hadoop.hive.ql.udf.generic.AbstractGenericUDAFResolver кількість(), хв(), макс()
УДТФ Один рядок → багато рядків org.apache.hadoop.hive.ql.udf.generic.GenericUDTF розгорнути(), json_tuple(), parse_url_tuple()

З таблиці випливають два практичних правила:

  • UDAF майже завжди поєднується з реченням GROUP BY, оскільки воно згортає кожну групу до одного рядка.
  • UDTF не можна вибрати разом з іншими стовпцями в тому ж списку SELECT, тому він зазвичай використовується з LATERAL VIEW.

Також існує другий, більш потужний базовий клас для роботи на рівні рядків, GenericUDF, який приймає складні типи, такі як масиви, карти та структури, а також змінну кількість аргументів.

Як написати та зареєструвати UDF у Hive

Приклад зі стеблом, описаний вище, можна побудувати як реальну функцію за чотири кроки. Нічого, крім Java компілятор та запущений сеанс Hive.

Крок 1) Написати Java Клас, що розширює UDF та реалізує публічний метод evaluate(). Hive викликає evaluate() один раз для кожного рядка, тому метод повинен обробляти вхідне значення NULL.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

Крок 2) Скомпілюйте клас та упакуйте його у JAR-файл, наприклад, hive-udf-1.0.jar, разом з усіма класами, від яких він залежить.

Крок 3) Розмістіть JAR-файл у шляху класів Hive та прив’яжіть ім’я функції до класу. Тимчасова функція діє лише протягом поточного сеансу.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

Крок 4) Викликайте нову функцію точно так само, як вбудовану. Застосовуючи до слів «wishing», «wished» та «wishes», цей клас повертає «wish» для всіх трьох.

SELECT word, stem(word) FROM words;

Щоб функція була доступною для кожного сеансу та кожного користувача, зареєструйте її постійно в базі даних. JAR-файл має знаходитися за шляхом, який може прочитати весь кластер, що зазвичай означає HDFS.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

В одному класі може бути оголошено більше одного методу evaluate(). Hive зіставляє виклик із сигнатурами аргументів, тобто одна функція може приймати як рядок, так і ціле число.

Поширені запитання

SHOW FUNCTIONS відображає всі зареєстровані назви, включаючи користувацькі. DESCRIBE FUNCTION name друкує однорядковий підпис, а DESCRIBE FUNCTION EXTENDED name додає приклади використання там, де їх надає клас, що реалізує.

Майже завжди проблема з іменем або областю видимості: рядок після AS має бути повним ім'ям класу, а ADD JAR застосовується лише до сеансу, в якому він був запущений. Повторне підключення видаляє як JAR, так і будь-яку тимчасову функцію.

Використовуйте GenericUDF, коли функція приймає складні типи, такі як масиви, карти або структури, змінну кількість аргументів або потребує перевірки типів аргументів. Простий клас UDF розпізнає типи шляхом відображення та обробляє лише примітивні об'єкти, що записуються.

Справжня UDF повинна працювати на JVM. Для інших мов, Вулик пропонує речення TRANSFORM, яке передає кожен рядок через зовнішній скрипт, такий як Python порівняно зі стандартним вводом та виводом. Це повільніше, але дозволяє уникнути Java повністю.

Вони можуть. evaluate() виконується один раз для кожного рядка, тому ресурсомістка логіка множиться на кількість рядків, а розподіл об'єктів всередині методу додає навантаження на збирання сміття. Віддавайте перевагу вбудованій функції, якщо така існує, та залишайте evaluate() вільним від операцій вводу/виводу.

Ні. Назви функцій розпізнаються без урахування регістру, тому ROUND(), Round() та round() – це одна й та сама функція. Java Ім'я класу в реченні AS — це інша справа, і воно має точно відповідати скомпільованому класу, включаючи його пакет.

Помічники машинного навчання зіставляють опис простою мовою з кандидатами в сигнатури та попереджають, коли тип повернення не відповідає цільовому стовпцю. Перевірте пропозицію на відповідність задокументованому сигнатурі, оскільки згенеровані імена іноді належать до іншого діалекту SQL.

Він створює корисний скелет — оголошення класу, імпорт та метод evaluate() — з коментаря, що описує операцію. Обробка Null, типи, що підлягають запису, та крок пакування все ще потребують перегляду, а функцію необхідно протестувати на реальних рядках.

Підсумуйте цей пост за допомогою: