Пример использования встроенных и определяемых пользователем функций Hive.
⚡ Умное резюме
Функции Hive делятся на две группы: встроенные функции, поставляемые вместе с движком и охватывающие коллекции, даты, математические операции, условные операторы, строковые операции и прочие, а также определяемые пользователем функции, написанные на языке программирования. Java Для обеспечения необходимой логики Hive не предоставляет никаких дополнительных возможностей.

Функции создаются для конкретной цели и предназначены для выполнения таких операций, как математические, арифметические, логические и реляционные операции над операндами имен столбцов таблицы.
Встроенные функции
Это функции, которые уже доступны в Hive. Сначала нам нужно проверить требования приложения, а затем мы сможем использовать эти встроенные функции в наших приложениях. Мы можем вызывать эти функции непосредственно в нашем приложении.
Синтаксис и типы упомянуты в следующем разделе.
Типы встроенных функций в Hive:
- Функции коллекции
- Дата Функции
- Математические функции
- Условные функции
- Строковые функции
- Разное. Функции
Ниже описана каждая из шести групп функций, включая их сигнатуры и типы возвращаемых значений.
Функции коллекции
Эти функции используются для работы с коллекциями. Под коллекциями подразумеваются группы.ping Они возвращают один элемент или массив элементов в зависимости от типа возвращаемого значения, указанного в названии функции.
| Тип возврата | Имя функции | Описание |
|---|---|---|
| INT | размер(Карта ) | Это позволит получить и отобразить количество компонентов в карте соответствующего типа. |
| INT | размер (массив ) | Она получит и отобразит количество элементов в массиве. |
| Множество | map_keys(Map ) | Программа получит и вернет массив, содержащий ключи входной карты. Массив неупорядочен. |
| Множество | map_values(Map ) | Программа получит и вернет массив, содержащий значения входной карты. Массив неупорядочен. |
| Множество | sort_array(Array ) | Сортирует входной массив в порядке возрастания его элементов и возвращает результат. |
| Логический | array_contains(Array , ценить) | Возвращает TRUE, если массив содержит значение, переданное в качестве второго аргумента. |
Дата Функции
Они используются для выполнения операций с датами и преобразования типов дат из одного типа в другой:
| Имя функции | Тип возврата | Описание |
|---|---|---|
| unix_timestamp() | BigInt | Мы получим текущий Юникс Временная метка в секундах. Значение не является фиксированным на протяжении всего запроса. |
| to_date(string timestamp) | даты | Она получит и отобразит часть строки с меткой времени, содержащую дату. |
| год (строка даты) | INT | Он получит и выдаст год как часть даты или строки временной метки. |
| квартал(дата/временная метка/строка) | INT | Он получит и выдаст квартал года для даты, метки времени или строки в диапазоне от 1 до 4. |
| месяц (строка даты) | INT | Это даст месяц как часть даты или строки временной метки. |
| час (строка даты) | INT | Она получит и отобразит час временной метки. |
| минута (строка даты) | INT | Она получит и отобразит минутную метку времени. |
| date_sub(string starting date, int days) | даты | Она получит и выведет результат выполнения подпрограммы.tracколичество дней с даты начала |
| текущая_дата | даты | В начале выполнения запроса будет получена и отображена текущая дата. |
| последний_день(строковая дата) | string | Она получит и выдаст последний день месяца, к которому относится дата. |
| trunc(дата строки, формат строки) | string | Программа получит и отобразит дату, усеченную до единицы измерения, указанной в формате. Поддерживаемые форматы: МЕСЯЦ/МЕС/ММ, ГОД/ГГГГ/ГГ. |
Математические функции
Эти функции используются для математических операций. Вместо создания пользовательских функций (UDF) в Hive есть несколько встроенных математических функций.
| Имя функции | Тип возврата | Описание |
|---|---|---|
| круглый(ДВОЙНОЙ Х) | ДВОЙНОЙ | Эта функция получит и вернет округленное значение типа BIGINT для переменной X. |
| круглый (ДВОЙНОЙ X, INT d) | ДВОЙНОЙ | Она получит и вернет значение X, округленное до d знаков после запятой. |
| коричневый(ДВОЙНОЙ X) | ДВОЙНОЙ | Программа получит и вернет округленное значение типа BIGINT для переменной X, используя режим округления HALF_EVEN, также известный как банковское округление. |
| пол(ДВОЙНОЙ Х) | БОЛЬШОЙ | Функция получит и вернет максимальное значение типа BIGINT, равное или меньшее значения X. |
| потолок(ДВОЙНОЙ а), потолок(ДВОЙНОЙ а) | БОЛЬШОЙ | Функция получит и вернет минимальное значение типа BIGINT, равное или большее заданного значения. |
| rand(), rand(INT семя) | ДВОЙНОЙ | Программа будет получать и возвращать случайное число, равномерно распределенное от 0 до 1. Указание начального значения (seed) делает последовательность повторяемой. |
Условные функции
Эти функции используются для проверки условных значений.
| Имя функции | Тип возврата | Описание |
|---|---|---|
| if(Boolean testCondition, T valueTrue, T valueFalseOrNull) | T | Если testCondition истинно, значение будет равно true, а в противном случае — falseOrNull. |
| isnull(X) | Логический | Программа выдаст значение true, если X равно NULL, и false в противном случае. |
| isnotnull(X) | Логический | Функция получит значение и вернет true, если X не равно NULL, и false в противном случае. |
| nvl(T value, T default_value) | T | Если значение равно NULL, будет возвращено значение по умолчанию (default_value), в противном случае — значение по умолчанию (value). |
Строковые функции
Обработка и операции со строками выполняются следующими функциями.
| Имя функции | Тип возврата | Описание |
|---|---|---|
| обратный (строка X) | string | Это даст перевернутую строку X |
| rpad(строка str, длина целого числа, заполнение строки) | string | Она получит строку, дополненную справа отступом, до общей длины. |
| rtrim(string X) | string | Эта функция получит и вернет строку, полученную в результате удаления пробелов с конца (с правой стороны) X. Например, rtrim('results') приводит к результату 'results' |
| пробел (INT n) | string | Она получит и выдаст строку из n пробелов. |
| разделить(STRING ул, STRING пат) | массив | Разбивает строку по pat (pat — регулярное выражение). |
| str_to_map(text[, delimiter1, delimiter2]) | карта | Программа разделит текст на пары ключ-значение, используя два разделителя. Разделитель 1 разделяет пары, а разделитель 2 разделяет каждую пару отдельно. |
Разное. Функции
Некоторые встроенные функции не относятся ни к одной из вышеперечисленных групп. К ним относятся хеширование, информация о сессии и вызов произвольных функций. Java методы.
| Имя функции | Тип возврата | Описание |
|---|---|---|
| hash(a1[, a2…]) | INT | Возвращает хеш-значение аргументов. |
| current_user() | string | Возвращает имя текущего пользователя из настроенного менеджера аутентификаторов. |
| current_database() | string | Возвращает имя текущей базы данных. |
| md5 (строка/двоичный код) | string | Возвращает 128-битную контрольную сумму MD5 в виде строки из 32 шестнадцатеричных цифр или NULL при аргументе NULL. |
| sha1 (строка/двоичный формат) | string | Возвращает хеш SHA-1 аргумента в виде шестнадцатеричной строки. |
| crc32 (строка/двоичный формат) | BigInt | Возвращает значение проверки циклической избыточности строкового или двоичного аргумента. |
| версия() | string | Возвращает версию Hive в виде номера сборки, за которым следует хеш сборки. |
| reflect(class, method[, arg1…]) | меняется | Звонит Java Метод, сопоставляющий сигнатуру аргумента, с использованием рефлексии. java_method() является синонимом. |
UDF (определяемые пользователем функции)
В Hive пользователи могут определять собственные функции для удовлетворения определенных требований клиента. В Hive они называются пользовательскими функциями (UDF). Пользовательские функции пишутся на языке программирования... Java для конкретных модулей.
Некоторые пользовательские функции (UDF) специально разработаны для повторного использования кода в прикладных фреймворках. Разработчик пишет эти функции в Java и интегрирует эти пользовательские функции с Hive.
В процессе выполнения запроса разработчик может напрямую использовать код, а пользовательские функции (UDF) будут возвращать результаты в соответствии с заданными пользователем задачами. Это обеспечивает высокую производительность как с точки зрения кодирования, так и выполнения.
Например, для стемминга строк в Hive нет предопределенной функции. Для этого мы можем написать пользовательскую функцию для обработки стемминга. JavaВезде, где нам требуется функциональность основы кода, мы можем напрямую вызвать эту пользовательскую функцию основы кода в Hive.
В данном контексте под функцией стемминга понимается выведение слов из их корневых слов. Алгоритм стемминга сводит слова «wishing», «wished» и «wishes» к корневому слову «wish». Для выполнения такого рода операций можно написать пользовательскую функцию (UDF). Java и интегрировать его с Hive.
В зависимости от сценария использования, пользовательская функция может быть написана таким образом, чтобы принимать и выдавать различное количество входных и выходных значений.
Пользовательская функция общего типа принимает одно входное значение и выдает одно выходное значение. Если пользовательская функция используется в запросе, то она будет вызываться один раз для каждой строки в результирующем наборе данных.
С другой стороны, функция может принимать группу значений в качестве входных данных и возвращать одно выходное значение. Именно это различие отличает три типа пользовательских функций, описанных далее.
UDF против UDAF против UDTF в Hive
В Hive пользовательские функции группируются по количеству входящих и исходящих строк. Наиболее распространенная причина, по которой пользовательская функция не компилируется или возвращает одну строку вместо ожидаемой таблицы, — это выбор неправильного типа данных.
| Тип | Входящие ряды → исходящие ряды | Класс для расширения | Встроенные примеры |
|---|---|---|---|
| UDF | Один ряд → один ряд | org.apache.hadoop.hive.ql.exec.UDF | length(), round(), reverse() |
| УДАФ | Много рядов → один ряд | org.apache.hadoop.hive.ql.udf.generic.AbstractGenericUDAFResolver | count(), min(), max() |
| УДТФ | Один ряд → много рядов | org.apache.hadoop.hive.ql.udf.generic.GenericUDTF | explode(), json_tuple(), parse_url_tuple() |
Из таблицы вытекают два практических правила:
- Оператор UDAF почти всегда используется в паре с оператором GROUP BY, поскольку он сводит каждую группу к одной строке.
- Неизменяемый параметр (UDTF) нельзя выбрать одновременно с другими столбцами в одном и том же списке SELECT, поэтому он обычно используется с боковым представлением (LATERAL VIEW).
Существует также второй, более функциональный базовый класс для работы на уровне строк, GenericUDF, который принимает сложные типы, такие как массивы, карты и структуры, а также переменное количество аргументов.
Как написать и зарегистрировать пользовательскую функцию (UDF) в Hive
Приведенный выше пример со стеблем можно построить как действительную функцию за четыре шага. Ничего, кроме Java Для работы необходимы компилятор и запущенная сессия Hive.
Шаг 1) Написать Java Класс, расширяющий UDF и реализующий публичный метод evaluate(). Hive вызывает evaluate() один раз для каждой строки, поэтому метод должен обрабатывать входные данные NULL.
package com.guru99.hive.udf; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; public final class Stem extends UDF { public Text evaluate(final Text input) { if (input == null) { return null; } String word = input.toString().toLowerCase(); if (word.endsWith("ing")) { word = word.substring(0, word.length() - 3); } else if (word.endsWith("ed") || word.endsWith("es")) { word = word.substring(0, word.length() - 2); } return new Text(word); } }
Шаг 2) Скомпилируйте класс и упакуйте его в JAR-файл, например, hive-udf-1.0.jar, вместе со всеми классами, от которых он зависит.
Шаг 3) Поместите JAR-файл в classpath Hive и привяжите имя функции к классу. Временная функция будет существовать только в течение текущей сессии.
ADD JAR /home/hduser/hive-udf-1.0.jar; CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';
Шаг 4) Вызывайте новую функцию точно так же, как и встроенную. Применительно к словам «wishing», «wished» и «wishes» этот класс возвращает «wish» для всех трех.
SELECT word, stem(word) FROM words;
Чтобы функция была доступна для каждой сессии и каждого пользователя, зарегистрируйте её на постоянной основе в базе данных. JAR-файл должен находиться по пути, доступному для чтения всему кластеру, что обычно означает HDFS.
CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem' USING JAR '/user/hive/udfs/hive-udf-1.0.jar';
В одном классе может быть объявлено более одного метода evaluate(). Hive сопоставляет вызов с сигнатурами аргументов, поэтому одна функция может принимать как строку, так и целое число.
