Функції Hive: Приклад вбудованих та UDF (визначених користувачем)
⚡ Розумний підсумок
Функції Hive поділяються на дві групи: вбудовані функції, що постачаються з рушієм та охоплюють колекції, дати, математичні, умовні, рядкові та різні операції, а також користувацькі функції, написані на Java для логіки Hive не надає.

Функції створюються для певної мети, щоб виконувати такі операції, як математичні, арифметичні, логічні та реляційні операції над операндами імен стовпців таблиці.
Вбудовані функції
Це функції, які вже доступні в Hive. Спочатку ми повинні перевірити вимоги програми, а потім ми зможемо використовувати ці вбудовані функції в наших програмах. Ми можемо викликати ці функції безпосередньо в нашій програмі.
Синтаксис і типи згадуються в наступному розділі.
Типи вбудованих функцій у Hive:
- Функції збору
- Функції дати
- Математичні функції
- Умовні функції
- Рядкові функції
- Різне Функції
Кожна з шести родин розглянута нижче разом із її сигнатурами функцій та типами повернення.
Функції збору
Ці функції використовуються для колекцій. Колекції означають групуping елементів, і вони повертають один елемент або масив елементів залежно від типу повернення, зазначеного в назві функції.
| Тип повернення | Назва функції | Опис |
|---|---|---|
| INT | розмір (карта ) | Він отримає та видасть кількість компонентів у типі карти |
| INT | розмір (масив ) | Він отримає та видасть кількість елементів у типі масиву |
| Масив | map_keys(Карта ) | Він отримає та поверне масив, що містить ключі вхідної карти. Масив невпорядкований. |
| Масив | значення_мапи(Карта ) | Він отримає та поверне масив, що містить значення вхідної карти. Масив невпорядкований. |
| Масив | sort_array(Масив ) | Сортує вхідний масив у порядку зростання його елементів та повертає його |
| Boolean | array_contain(Масив , значення) | Повертає TRUE, якщо масив містить значення, передане як другий аргумент |
Функції дати
Вони використовуються для виконання маніпуляцій з датами та перетворення типів дат з одного типу в інший:
| Назва функції | Тип повернення | Опис |
|---|---|---|
| unix_timestamp() | BigInt | Ми отримаємо струм Юнекс позначка часу в секундах. Значення не фіксоване для всього запиту |
| to_date(рядок timestamp) | дата | Він отримає та надасть частину дати з рядка позначки часу |
| рік (рядок дати) | INT | Він отримає та надасть рік як частину дати або рядка позначки часу |
| квартал (дата/мітка часу/рядок) | INT | Він отримає та надасть квартал року для дати, позначки часу або рядка в діапазоні від 1 до 4 |
| місяць (рядок дати) | INT | Це дасть частину місяця в дату або рядок позначки часу |
| година (рядок дати) | INT | Він отримає та надасть годину позначки часу |
| хвилина (рядок дати) | INT | Він отримає та надасть хвилину позначки часу |
| date_sub(рядок початкової дати, ціле число днів) | дата | Він отримає та видасть результат підпрограмиtracпротягом кількох днів з дати початку |
| поточна_дата | дата | Він отримає та видасть поточну дату на початку оцінки запиту |
| last_day(рядок дати) | рядок | Він отримає та видасть останній день місяця, до якого належить дата |
| trunc(рядок дати, формат рядка) | рядок | Він отримає та видасть дату, скорочену до одиниць вимірювання, зазначених у форматі. Підтримувані формати: МІСЯЦЬ/ПН/ММ, РІК/РРРР/РР. |
Математичні функції
Ці функції використовуються для математичних операцій. Замість створення UDF, у Hive є деякі вбудовані математичні функції.
| Назва функції | Тип повернення | Опис |
|---|---|---|
| круглий (DOUBLE X) | ПОДВІЙНИЙ | Він отримає та поверне округлене значення BIGINT для X. |
| раунд (DOUBLE X, INT d) | ПОДВІЙНИЙ | Він отримає та поверне X, округлене до d знаків під комою |
| коричневий (DOUBLE X) | ПОДВІЙНИЙ | Він отримає та поверне округлене значення BIGINT для X, використовуючи режим округлення HALF_EVEN, також відомий як банківське округлення. |
| поверх (DOUBLE X) | ВЕЛИКИЙ | Він отримає та поверне максимальне значення BIGINT, яке дорівнює або менше за значення X. |
| стеля (DOUBLE a), стеля (DOUBLE a) | ВЕЛИКИЙ | Він отримає та поверне мінімальне значення BIGINT, яке дорівнює або більше за значення a |
| rand(), rand(INT seed) | ПОДВІЙНИЙ | Він отримає та поверне випадкове число, рівномірно розподілене від 0 до 1. Надання початкового значення робить послідовність повторюваною. |
Умовні функції
Ці функції використовуються для перевірок умовних значень.
| Назва функції | Тип повернення | Опис |
|---|---|---|
| if(Boolean testCondition, T valueTrue, T valueFalseOrNull) | T | Він поверне значення valueTrue, коли testCondition має значення true, та значення valueFalseOrNull в іншому випадку. |
| є нульовим(X) | Boolean | Він отримає значення true, якщо X дорівнює NULL, і false в іншому випадку. |
| не є нульовим(X) | Boolean | Він отримає значення true, якщо X не дорівнює NULL, і false в іншому випадку. |
| nvl(значення T, значення_за_замовчуванням T) | T | Він поверне значення_замовчування, якщо значення дорівнює NULL, та значення в іншому випадку. |
Рядкові функції
Маніпуляції з рядками та операції з рядками обробляються наступними функціями.
| Назва функції | Тип повернення | Опис |
|---|---|---|
| зворотний(рядок X) | рядок | Це дасть перевернутий рядок X |
| rpad(string str, int length, string pad) | рядок | Він отримає та поверне str, доповнений праворуч, з доповненням до загальної довжини length |
| rtrim(рядок X) | рядок | Він отримає та поверне рядок, отриманий в результаті обрізання пробілів з кінця (правого боку) X. Наприклад, rtrim('результати') призводить до 'результатів' |
| пробіл (INT n) | рядок | Він отримає та видасть рядок з n пробілів. |
| split(STRING str, STRING pat) | масив | Розділяє str навколо pat (pat — регулярний вираз). |
| str_to_map(текст[, роздільник1, роздільник2]) | карта | Він розділить текст на пари ключ-значення за допомогою двох роздільників. Розділювач1 розділяє пари, а роздільник2 розділяє кожну пару. |
Різне Функції
Кілька вбудованих функцій не належать до жодного з перелічених вище сімейств. Вони охоплюють хешування, інформацію про сеанс та виклик довільних Java методи
| Назва функції | Тип повернення | Опис |
|---|---|---|
| хеш(a1[, a2…]) | INT | Повертає хеш-значення аргументів |
| поточний_користувач() | рядок | Повертає поточне ім'я користувача з налаштованого менеджера автентифікаторів |
| поточна_база_даних() | рядок | Повертає ім'я поточної бази даних |
| md5(рядок/двійковий файл) | рядок | Повертає 128-бітну контрольну суму MD5 як рядок із 32 шістнадцяткових цифр або NULL для аргументу NULL |
| sha1(рядок/двійковий файл) | рядок | Повертає SHA-1 дайджест аргументу у вигляді шістнадцяткового рядка |
| crc32(рядок/двійковий файл) | BigInt | Повертає значення циклічної перевірки надлишковості рядка або двійкового аргументу |
| версія() | рядок | Повертає версію Hive як номер збірки, за яким слідує хеш збірки. |
| відображати(клас, метод[, arg1…]) | варіює | Викликає Java метод шляхом зіставлення сигнатури аргументу за допомогою відображення. java_method() є синонімом |
UDF (функції, визначені користувачем)
У Hive користувачі можуть визначати власні функції для задоволення певних вимог клієнта. Вони відомі як UDF у Hive. Функції, визначені користувачем, пишуться в Java для окремих модулів.
Деякі UDF спеціально розроблені для повторного використання коду в фреймворках додатків. Розробник пише ці функції в Java та інтегрує ці UDF з Hive.
Під час виконання запиту розробник може безпосередньо використовувати код, а UDF повертатимуть результати відповідно до визначених користувачем завдань. Це забезпечує високу продуктивність з точки зору кодування та виконання.
Наприклад, для стемінгу рядків у Hive немає жодної попередньо визначеної функції. Для цього ми можемо написати UDF стему в JavaСкрізь, де нам потрібна функціональність стебла, ми можемо безпосередньо викликати цю UDF стебла в Hive.
Тут функціональність стему означає походження слів від їх кореневих слів. Алгоритм стемінгу зводить слова «бажання», «бажаний» та «бажання» до кореневого слова «бажання». Для виконання цього типу функціональності ми можемо написати UDF у Java і інтегрувати його з Вулик.
Залежно від випадку використання, UDF може бути написана для приймання та створення різної кількості вхідних та вихідних значень.
Загальний тип UDF прийматиме одне вхідне значення та видасть одне вихідне значення. Якщо UDF використовується в запиті, то UDF буде викликано один раз для кожного рядка в результуючому наборі даних.
В іншому напрямку, функція може приймати групу значень як вхідні дані та повертати одне вихідне значення. Ця різниця і є тим, що відрізняє три типи користувацьких функцій, описаних далі.
UDF проти UDAF проти UDTF у Hive
Користувацькі функції в Hive групуються за кількістю рядків, що входять, і за кількістю рядків, що виходять. Вибір неправильного типу є найпоширенішою причиною, чому користувацька функція відмовляється компілюватися або повертає один рядок там, де очікувалася таблиця.
| тип | Рядки вхідні → рядки вихідні | Клас для розширення | Вбудовані приклади |
|---|---|---|---|
| UDF | Один рядок → один рядок | org.apache.hadoop.hive.ql.exec.UDF | довжина(), округлення(), зворотний() |
| УДАФ | Багато рядків → один рядок | org.apache.hadoop.hive.ql.udf.generic.AbstractGenericUDAFResolver | кількість(), хв(), макс() |
| УДТФ | Один рядок → багато рядків | org.apache.hadoop.hive.ql.udf.generic.GenericUDTF | розгорнути(), json_tuple(), parse_url_tuple() |
З таблиці випливають два практичних правила:
- UDAF майже завжди поєднується з реченням GROUP BY, оскільки воно згортає кожну групу до одного рядка.
- UDTF не можна вибрати разом з іншими стовпцями в тому ж списку SELECT, тому він зазвичай використовується з LATERAL VIEW.
Також існує другий, більш потужний базовий клас для роботи на рівні рядків, GenericUDF, який приймає складні типи, такі як масиви, карти та структури, а також змінну кількість аргументів.
Як написати та зареєструвати UDF у Hive
Приклад зі стеблом, описаний вище, можна побудувати як реальну функцію за чотири кроки. Нічого, крім Java компілятор та запущений сеанс Hive.
Крок 1) Написати Java Клас, що розширює UDF та реалізує публічний метод evaluate(). Hive викликає evaluate() один раз для кожного рядка, тому метод повинен обробляти вхідне значення NULL.
package com.guru99.hive.udf; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; public final class Stem extends UDF { public Text evaluate(final Text input) { if (input == null) { return null; } String word = input.toString().toLowerCase(); if (word.endsWith("ing")) { word = word.substring(0, word.length() - 3); } else if (word.endsWith("ed") || word.endsWith("es")) { word = word.substring(0, word.length() - 2); } return new Text(word); } }
Крок 2) Скомпілюйте клас та упакуйте його у JAR-файл, наприклад, hive-udf-1.0.jar, разом з усіма класами, від яких він залежить.
Крок 3) Розмістіть JAR-файл у шляху класів Hive та прив’яжіть ім’я функції до класу. Тимчасова функція діє лише протягом поточного сеансу.
ADD JAR /home/hduser/hive-udf-1.0.jar; CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';
Крок 4) Викликайте нову функцію точно так само, як вбудовану. Застосовуючи до слів «wishing», «wished» та «wishes», цей клас повертає «wish» для всіх трьох.
SELECT word, stem(word) FROM words;
Щоб функція була доступною для кожного сеансу та кожного користувача, зареєструйте її постійно в базі даних. JAR-файл має знаходитися за шляхом, який може прочитати весь кластер, що зазвичай означає HDFS.
CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem' USING JAR '/user/hive/udfs/hive-udf-1.0.jar';
В одному класі може бути оголошено більше одного методу evaluate(). Hive зіставляє виклик із сигнатурами аргументів, тобто одна функція може приймати як рядок, так і ціле число.
