Hive関数：組み込み関数とUDF（ユーザー定義関数）の例

関数は、テーブルの列名をオペランドとして、数学演算、算術演算、論理演算、関係演算などの操作を実行するという特定の目的のために構築されます。

組み込み関数

これらは、Hive ですでに利用可能な関数です。 まず、アプリケーションの要件を確認する必要があります。その後、これらの組み込み関数をアプリケーションで使用できるようになります。 これらの関数をアプリケーション内で直接呼び出すことができます。

構文と型については次のセクションで説明します。

Hiveの組み込み関数の種類：

• 収集関数
• 日付関数
• 数学関数
• 条件関数
• 文字列関数
• その他機能

以下では、6つのファミリーそれぞれについて、関数シグネチャと戻り値の型とともに説明します。

収集関数

これらの関数はコレクションに使用されます。コレクションとは、グループを意味します。ping 要素の集合であり、関数名で指定されている戻り値の型に応じて、単一の要素または要素の配列を返します。

日付関数

これらは、日付の操作や、ある日付型から別の日付型への変換を行うために使用されます。

数学関数

これらの関数は数学演算に使用されます。UDFを作成する代わりに、Hiveにはいくつかの組み込み数学関数が用意されています。

条件関数

これらの関数は、条件付き値のチェックに使用されます。

文字列関数

文字列の操作および文字列演算は、以下の関数によって処理されます。

その他機能

いくつかの組み込み関数は、上記のどのファミリーにも属しません。これらには、ハッシュ、セッション情報、任意の呼び出しが含まれます。 Java 方法。

UDF (ユーザー定義関数)

Hiveでは、ユーザーは特定のクライアント要件を満たす独自の関数を定義できます。これらはHiveではUDFと呼ばれます。ユーザー定義関数は次のように記述されます。 Java 特定のモジュール用。

一部のUDFは、アプリケーションフレームワークでのコードの再利用性を目的として特別に設計されています。開発者はこれらの関数を次のように記述します。 Java そして、それらのUDFをHiveと統合します。

クエリ実行時、開発者はコードを直接使用でき、UDFはユーザー定義のタスクに従って出力を返します。これにより、コーディングと実行の両面で高いパフォーマンスを実現します。

例えば、文字列のステミングに関しては、Hiveには事前定義された関数はありません。そのため、ステミングUDFを記述することができます。 Javaステム機能が必要な場所ではどこでも、Hive 内でこのステム UDF を直接呼び出すことができます。

ここで語幹機能とは、語根から単語を派生させることを意味します。語幹抽出アルゴリズムは、「wishing」、「wished」、「wishes」という単語を語根「wish」に還元します。このタイプの機能を実行するには、UDF を記述できます。 Java そしてそれを統合する ハイブ.

使用事例に応じて、UDFは異なる数の入力値と出力値を受け入れ、生成するように記述できます。

一般的なUDF（ユーザー定義関数）は、単一の入力値を受け取り、単一の出力値を生成します。UDFがクエリ内で使用される場合、結果データセットの各行に対してUDFが一度呼び出されます。

逆に、関数は入力として複数の値を受け取り、単一の出力値を返すこともできます。この違いこそが、次に説明する3種類のカスタム関数を区別するものです。

HiveにおけるUDF、UDAF、UDTFの違い

Hiveのカスタム関数は、入力される行数と出力される行数によって分類されます。型の選択を誤ると、カスタム関数がコンパイルに失敗したり、テーブルが期待される箇所で単一行が返されたりする最も一般的な原因となります。

この表から、以下の2つの実用的なルールが導き出されます。

• UDAFは、各グループを1行に集約するため、ほぼ必ずGROUP BY句と組み合わせて使用​​されます。
• UDTFは同じSELECTリスト内の他の列と同時に選択することはできないため、通常はLATERAL VIEWと組み合わせて使用​​されます。

また、行レベルの処理には、より高機能な基底クラスであるGenericUDFも用意されており、配列、マップ、構造体などの複雑な型や、可変個の引数を受け入れることができます。

HiveでUDFを記述および登録する方法

上記のステムの例は、4 つのステップで実際の関数として構築できます。 Java コンパイラと実行中のHiveセッションが必要です。

ステップ1） 書く Java UDFを継承し、パブリックなevaluate()メソッドを実装するクラス。Hiveはevaluate()メソッドを1行につき1回呼び出すため、このメソッドはNULL入力を処理できなければなりません。

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

ステップ2） クラスをコンパイルし、依存するクラスとともに、例えば hive-udf-1.0.jar のような JAR ファイルにパッケージ化します。

ステップ3） JARファイルをHiveのクラスパスに配置し、関数名をクラスにバインドしてください。一時関数は現在のセッションのみ有効です。

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

ステップ4） 新しい関数は、組み込み関数とまったく同じように呼び出します。「wishing」、「wished」、「wishes」という単語にこのクラスを適用すると、3つすべてに対して「wish」が返されます。

SELECT word, stem(word) FROM words;

この機能のすべてのセッションとすべてのユーザーが利用できるようにするには、データベースに永続的に登録してください。JARファイルは、クラスタ全体が読み取れるパスに配置する必要があり、通常はHDFSが該当します。

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

1つのクラスで複数の evaluate() メソッドを宣言できます。Hive は呼び出しを引数のシグネチャと照合するため、1 つの関数で文字列と整数の両方を受け入れることができます。

よくあるご質問