Hive 函数：内置函数和用户自定义函数 (UDF) 示例

函数是为特定目的而构建的，用于对表列名的操作数执行数学、算术、逻辑和关系运算等操作。

内置函数

这些是 Hive 中已有的函数。首先，我们必须检查应用程序需求，然后才能在我们的应用程序中使用这些内置函数。我们可以在应用程序中直接调用这些函数。

语法和类型在下一节中提到。

Hive 中内置函数的类型：

• 采集功能
• 日期函数
• 数学函数
• 条件函数
• 字符串函数
• 杂项功能

下面将分别介绍这六个系列及其函数签名和返回类型。

采集功能

这些函数用于集合。集合指的是一组ping 它们返回单个元素或元素数组，具体取决于函数名称中提到的返回类型。

日期函数

这些工具用于执行日期操作以及将日期类型从一种类型转换为另一种类型：

数学函数

这些函数用于数学运算。Hive 内置了一些数学函数，因此我们无需创建用户自定义函数 (UDF)。

条件函数

这些函数用于条件值检查。

字符串函数

字符串操作和字符串运算由以下函数处理。

杂项功能

一些内置函数不属于上述任何类别。这些函数涵盖哈希、会话信息和任意调用。 Java 方法。

UDF（用户定义函数）

在 Hive 中，用户可以定义自己的函数来满足特定的客户端需求。这些函数在 Hive 中被称为用户自定义函数 (UDF)。用户自定义函数是用 Hive 编写的。 Java 对于特定模块。

有些用户自定义函数 (UDF) 专门设计用于在应用程序框架中重用代码。开发人员在代码中编写这些函数。 Java 并将这些用户自定义函数与 Hive 集成。

在查询执行过程中，开发人员可以直接使用代码，用户自定义函数 (UDF) 将根据用户定义的任务返回输出。它在编码和执行方面都提供了高性能。

例如，Hive 中没有预定义的字符串词干提取函数。为此，我们可以编写一个词干提取用户自定义函数 (UDF)。 Java凡是需要茎功能的地方，我们都可以直接在 Hive 中调用这个茎 UDF。

词干提取功能是指从词根中提取单词。词干提取算法会将“wishing”、“wished”和“wishes”还原为词根“wish”。为了实现这种功能，我们可以编写一个用户自定义函数 (UDF)。 Java 并将其与 蜂房.

根据使用场景的不同，UDF 可以编写成接受和生成不同数量的输入和输出值。

一般情况下，用户自定义函数 (UDF) 接受单个输入值并产生单个输出值。如果 UDF 用于查询中，则对于结果数据集中的每一行，UDF 都会被调用一次。

反过来，函数也可以接受一组值作为输入，并返回单个输出值。这种区别正是接下来要介绍的三种自定义函数类型之间的区别所在。

Hive 中的 UDF、UDAF 和 UDTF 的区别

Hive 中的自定义函数按输入和输出的行数进行分组。选择错误的数据类型是导致自定义函数无法编译或仅返回一行数据（而预期返回的是表格）的最常见原因。

从表格中可以得出两条实用规则：

• UDAF 几乎总是与 GROUP BY 子句搭配使用，因为它将每个组折叠成一行。
• UDTF 不能与同一 SELECT 列表中的其他列一起选择，因此通常与横向视图一起使用。

此外，还有一个功能更强大的基类 GenericUDF，用于行级工作，它接受数组、映射和结构体等复杂类型以及可变数量的参数。

如何在 Hive 中编写和注册 UDF

上面描述的茎叶示例可以通过四个步骤构建成一个实际函数。除此之外，没有其他内容。 Java 需要编译器和正在运行的 Hive 会话。

步骤1） 写一个 Java 继承自用户自定义函数 (UDF) 并实现公共 evaluate() 方法的类。Hive 会为每一行调用一次 evaluate() 方法，因此该方法必须能够处理 NULL 输入。

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

步骤2） 编译该类并将其打包成 JAR 文件，例如 hive-udf-1.0.jar，以及它所依赖的任何类。

步骤3） 将 JAR 文件添加到 Hive 类路径中，并将函数名绑定到该类。临时函数仅在当前会话期间有效。

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

步骤4） 调用新函数的方式与调用内置函数完全相同。对于单词“wishing”、“wished”和“wishes”，此类函数都返回“wish”。

SELECT word, stem(word) FROM words;

为了确保每个会话和每个用户都能使用该函数，请将其永久注册到数据库中。JAR 文件必须位于整个集群可以读取的路径上，通常这意味着 HDFS。

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

一个类可以声明多个 `evaluate()` 方法。Hive 会将调用与参数签名进行匹配，这就是为什么一个函数可以同时接受字符串和整数参数的原因。

常见问题