Пример использования встроенных и определяемых пользователем функций Hive.

⚡ Умное резюме

Функции Hive делятся на две группы: встроенные функции, поставляемые вместе с движком и охватывающие коллекции, даты, математические операции, условные операторы, строковые операции и прочие, а также определяемые пользователем функции, написанные на языке программирования. Java Для обеспечения необходимой логики Hive не предоставляет никаких дополнительных возможностей.

  • 📚 Шесть встроенных семейств: Функции для работы с коллекциями, датами, математическими операциями, условными операторами, строками и прочими подобными функциями могут быть вызваны непосредственно внутри HiveQL.
  • 🧾 Подписи имеют значение: Каждая функция имеет фиксированный список аргументов и документированный тип возвращаемого значения, поэтому тип возвращаемого значения определяет, где её можно использовать.
  • 🧩 UDF заполняет пробелы: Когда встроенная функция отсутствует, Java Класс, наследующий org.apache.hadoop.hive.ql.exec.UDF, предоставляет недостающую операцию.
  • 🔢 Три варианта пользовательской функциональности: Функция UDF возвращает одну строку за строку, UDAF объединяет множество строк в одну, а UDTF расширяет одну строку на множество.
  • 🇧🇷 Регистрация в два этапа: Команда ADD JAR добавляет код в classpath, а команда CREATE TEMPORARY FUNCTION присваивает имя классу.
  • ♻️ Главное – повторное использование: Вместо того чтобы каждый раз переписывать запрос, можно вызывать одну протестированную пользовательскую функцию, например, стеммер.

Функции Hive: встроенные и определяемые пользователем функции

Функции создаются для конкретной цели и предназначены для выполнения таких операций, как математические, арифметические, логические и реляционные операции над операндами имен столбцов таблицы.

Встроенные функции

Это функции, которые уже доступны в Hive. Сначала нам нужно проверить требования приложения, а затем мы сможем использовать эти встроенные функции в наших приложениях. Мы можем вызывать эти функции непосредственно в нашем приложении.

Синтаксис и типы упомянуты в следующем разделе.

Типы встроенных функций в Hive:

  • Функции коллекции
  • Дата Функции
  • Математические функции
  • Условные функции
  • Строковые функции
  • Разное. Функции

Ниже описана каждая из шести групп функций, включая их сигнатуры и типы возвращаемых значений.

Функции коллекции

Эти функции используются для работы с коллекциями. Под коллекциями подразумеваются группы.ping Они возвращают один элемент или массив элементов в зависимости от типа возвращаемого значения, указанного в названии функции.

Тип возврата Имя функции Описание
INT размер(Карта ) Это позволит получить и отобразить количество компонентов в карте соответствующего типа.
INT размер (массив ) Она получит и отобразит количество элементов в массиве.
Множество map_keys(Map ) Программа получит и вернет массив, содержащий ключи входной карты. Массив неупорядочен.
Множество map_values(Map ) Программа получит и вернет массив, содержащий значения входной карты. Массив неупорядочен.
Множество sort_array(Array ) Сортирует входной массив в порядке возрастания его элементов и возвращает результат.
Логический array_contains(Array , ценить) Возвращает TRUE, если массив содержит значение, переданное в качестве второго аргумента.

Дата Функции

Они используются для выполнения операций с датами и преобразования типов дат из одного типа в другой:

Имя функции Тип возврата Описание
unix_timestamp() BigInt Мы получим текущий Юникс Временная метка в секундах. Значение не является фиксированным на протяжении всего запроса.
to_date(string timestamp) даты Она получит и отобразит часть строки с меткой времени, содержащую дату.
год (строка даты) INT Он получит и выдаст год как часть даты или строки временной метки.
квартал(дата/временная метка/строка) INT Он получит и выдаст квартал года для даты, метки времени или строки в диапазоне от 1 до 4.
месяц (строка даты) INT Это даст месяц как часть даты или строки временной метки.
час (строка даты) INT Она получит и отобразит час временной метки.
минута (строка даты) INT Она получит и отобразит минутную метку времени.
date_sub(string starting date, int days) даты Она получит и выведет результат выполнения подпрограммы.tracколичество дней с даты начала
текущая_дата даты В начале выполнения запроса будет получена и отображена текущая дата.
последний_день(строковая дата) string Она получит и выдаст последний день месяца, к которому относится дата.
trunc(дата строки, формат строки) string Программа получит и отобразит дату, усеченную до единицы измерения, указанной в формате. Поддерживаемые форматы: МЕСЯЦ/МЕС/ММ, ГОД/ГГГГ/ГГ.

Математические функции

Эти функции используются для математических операций. Вместо создания пользовательских функций (UDF) в Hive есть несколько встроенных математических функций.

Имя функции Тип возврата Описание
круглый(ДВОЙНОЙ Х) ДВОЙНОЙ Эта функция получит и вернет округленное значение типа BIGINT для переменной X.
круглый (ДВОЙНОЙ X, INT d) ДВОЙНОЙ Она получит и вернет значение X, округленное до d знаков после запятой.
коричневый(ДВОЙНОЙ X) ДВОЙНОЙ Программа получит и вернет округленное значение типа BIGINT для переменной X, используя режим округления HALF_EVEN, также известный как банковское округление.
пол(ДВОЙНОЙ Х) БОЛЬШОЙ Функция получит и вернет максимальное значение типа BIGINT, равное или меньшее значения X.
потолок(ДВОЙНОЙ а), потолок(ДВОЙНОЙ а) БОЛЬШОЙ Функция получит и вернет минимальное значение типа BIGINT, равное или большее заданного значения.
rand(), rand(INT семя) ДВОЙНОЙ Программа будет получать и возвращать случайное число, равномерно распределенное от 0 до 1. Указание начального значения (seed) делает последовательность повторяемой.

Условные функции

Эти функции используются для проверки условных значений.

Имя функции Тип возврата Описание
if(Boolean testCondition, T valueTrue, T valueFalseOrNull) T Если testCondition истинно, значение будет равно true, а в противном случае — falseOrNull.
isnull(X) Логический Программа выдаст значение true, если X равно NULL, и false в противном случае.
isnotnull(X) Логический Функция получит значение и вернет true, если X не равно NULL, и false в противном случае.
nvl(T value, T default_value) T Если значение равно NULL, будет возвращено значение по умолчанию (default_value), в противном случае — значение по умолчанию (value).

Строковые функции

Обработка и операции со строками выполняются следующими функциями.

Имя функции Тип возврата Описание
обратный (строка X) string Это даст перевернутую строку X
rpad(строка str, длина целого числа, заполнение строки) string Она получит строку, дополненную справа отступом, до общей длины.
rtrim(string X) string Эта функция получит и вернет строку, полученную в результате удаления пробелов с конца (с правой стороны) X.
Например, rtrim('results') приводит к результату 'results'
пробел (INT n) string Она получит и выдаст строку из n пробелов.
разделить(STRING ул, STRING пат) массив Разбивает строку по pat (pat — регулярное выражение).
str_to_map(text[, delimiter1, delimiter2]) карта Программа разделит текст на пары ключ-значение, используя два разделителя. Разделитель 1 разделяет пары, а разделитель 2 разделяет каждую пару отдельно.

Разное. Функции

Некоторые встроенные функции не относятся ни к одной из вышеперечисленных групп. К ним относятся хеширование, информация о сессии и вызов произвольных функций. Java методы.

Имя функции Тип возврата Описание
hash(a1[, a2…]) INT Возвращает хеш-значение аргументов.
current_user() string Возвращает имя текущего пользователя из настроенного менеджера аутентификаторов.
current_database() string Возвращает имя текущей базы данных.
md5 (строка/двоичный код) string Возвращает 128-битную контрольную сумму MD5 в виде строки из 32 шестнадцатеричных цифр или NULL при аргументе NULL.
sha1 (строка/двоичный формат) string Возвращает хеш SHA-1 аргумента в виде шестнадцатеричной строки.
crc32 (строка/двоичный формат) BigInt Возвращает значение проверки циклической избыточности строкового или двоичного аргумента.
версия() string Возвращает версию Hive в виде номера сборки, за которым следует хеш сборки.
reflect(class, method[, arg1…]) меняется Звонит Java Метод, сопоставляющий сигнатуру аргумента, с использованием рефлексии. java_method() является синонимом.

UDF (определяемые пользователем функции)

В Hive пользователи могут определять собственные функции для удовлетворения определенных требований клиента. В Hive они называются пользовательскими функциями (UDF). Пользовательские функции пишутся на языке программирования... Java для конкретных модулей.

Некоторые пользовательские функции (UDF) специально разработаны для повторного использования кода в прикладных фреймворках. Разработчик пишет эти функции в Java и интегрирует эти пользовательские функции с Hive.

В процессе выполнения запроса разработчик может напрямую использовать код, а пользовательские функции (UDF) будут возвращать результаты в соответствии с заданными пользователем задачами. Это обеспечивает высокую производительность как с точки зрения кодирования, так и выполнения.

Например, для стемминга строк в Hive нет предопределенной функции. Для этого мы можем написать пользовательскую функцию для обработки стемминга. JavaВезде, где нам требуется функциональность основы кода, мы можем напрямую вызвать эту пользовательскую функцию основы кода в Hive.

В данном контексте под функцией стемминга понимается выведение слов из их корневых слов. Алгоритм стемминга сводит слова «wishing», «wished» и «wishes» к корневому слову «wish». Для выполнения такого рода операций можно написать пользовательскую функцию (UDF). Java и интегрировать его с Hive.

В зависимости от сценария использования, пользовательская функция может быть написана таким образом, чтобы принимать и выдавать различное количество входных и выходных значений.

Пользовательская функция общего типа принимает одно входное значение и выдает одно выходное значение. Если пользовательская функция используется в запросе, то она будет вызываться один раз для каждой строки в результирующем наборе данных.

С другой стороны, функция может принимать группу значений в качестве входных данных и возвращать одно выходное значение. Именно это различие отличает три типа пользовательских функций, описанных далее.

UDF против UDAF против UDTF в Hive

В Hive пользовательские функции группируются по количеству входящих и исходящих строк. Наиболее распространенная причина, по которой пользовательская функция не компилируется или возвращает одну строку вместо ожидаемой таблицы, — это выбор неправильного типа данных.

Тип Входящие ряды → исходящие ряды Класс для расширения Встроенные примеры
UDF Один ряд → один ряд org.apache.hadoop.hive.ql.exec.UDF length(), round(), reverse()
УДАФ Много рядов → один ряд org.apache.hadoop.hive.ql.udf.generic.AbstractGenericUDAFResolver count(), min(), max()
УДТФ Один ряд → много рядов org.apache.hadoop.hive.ql.udf.generic.GenericUDTF explode(), json_tuple(), parse_url_tuple()

Из таблицы вытекают два практических правила:

  • Оператор UDAF почти всегда используется в паре с оператором GROUP BY, поскольку он сводит каждую группу к одной строке.
  • Неизменяемый параметр (UDTF) нельзя выбрать одновременно с другими столбцами в одном и том же списке SELECT, поэтому он обычно используется с боковым представлением (LATERAL VIEW).

Существует также второй, более функциональный базовый класс для работы на уровне строк, GenericUDF, который принимает сложные типы, такие как массивы, карты и структуры, а также переменное количество аргументов.

Как написать и зарегистрировать пользовательскую функцию (UDF) в Hive

Приведенный выше пример со стеблем можно построить как действительную функцию за четыре шага. Ничего, кроме Java Для работы необходимы компилятор и запущенная сессия Hive.

Шаг 1) Написать Java Класс, расширяющий UDF и реализующий публичный метод evaluate(). Hive вызывает evaluate() один раз для каждой строки, поэтому метод должен обрабатывать входные данные NULL.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

Шаг 2) Скомпилируйте класс и упакуйте его в JAR-файл, например, hive-udf-1.0.jar, вместе со всеми классами, от которых он зависит.

Шаг 3) Поместите JAR-файл в classpath Hive и привяжите имя функции к классу. Временная функция будет существовать только в течение текущей сессии.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

Шаг 4) Вызывайте новую функцию точно так же, как и встроенную. Применительно к словам «wishing», «wished» и «wishes» этот класс возвращает «wish» для всех трех.

SELECT word, stem(word) FROM words;

Чтобы функция была доступна для каждой сессии и каждого пользователя, зарегистрируйте её на постоянной основе в базе данных. JAR-файл должен находиться по пути, доступному для чтения всему кластеру, что обычно означает HDFS.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

В одном классе может быть объявлено более одного метода evaluate(). Hive сопоставляет вызов с сигнатурами аргументов, поэтому одна функция может принимать как строку, так и целое число.

Часто задаваемые вопросы (FAQ)

Команда SHOW FUNCTIONS выводит список всех зарегистрированных имен, включая пользовательские. Команда DESCRIBE FUNCTION name выводит однострочную сигнатуру, а команда DESCRIBE FUNCTION EXTENDED name добавляет примеры использования, если они предоставлены реализующим классом.

Практически всегда проблема связана с именем или областью видимости: строка после AS должна быть полным именем класса, а команда ADD JAR применяется только к той сессии, которая её выполнила. Переподключение удаляет как JAR-файл, так и любую временную функцию.

Используйте GenericUDF, когда функция принимает сложные типы, такие как массивы, карты или структуры, переменное количество аргументов или должна самостоятельно проверять типы аргументов. Простой класс UDF разрешает типы с помощью рефлексии и обрабатывает только примитивные объекты типа Writable.

Настоящая пользовательская функция (UDF) должна работать на JVM. Для других языков... Hive предлагает оператор TRANSFORM, который передает каждую строку через внешний скрипт, например, Python по сравнению со стандартным вводом и выводом. Это медленнее, но позволяет избежать... Java полностью.

Да, могут. Метод evaluate() выполняется один раз для каждой строки, поэтому дорогостоящая логика умножается на количество строк, а выделение памяти для объектов внутри метода увеличивает нагрузку на сборщик мусора. Предпочтительнее использовать встроенную функцию, если таковая существует, и избегать операций ввода-вывода в методе evaluate().

Нет. Имена функций разрешаются без учета регистра, поэтому ROUND(), Round() и round() — это одна и та же функция. Java Имя класса в предложении AS — это совсем другое дело, и оно должно точно соответствовать скомпилированному классу, включая его пакет.

Системы машинного обучения сопоставляют описание на простом языке с предполагаемыми сигнатурами и предупреждают, когда возвращаемый тип не соответствует целевому столбцу. Проверьте предложенный вариант на соответствие документированной сигнатуре, поскольку сгенерированные имена иногда относятся к другому диалекту SQL.

Функция создает работоспособный каркас — объявление класса, импорты и метод evaluate() — на основе комментария, описывающего операцию. Обработка значений null, типы, доступные для записи, и этап упаковки еще нуждаются в проверке, а функция должна быть протестирована на реальных строках.

Подведем итог этой публикации следующим образом: