Hive 함수: 내장 함수 및 사용자 정의 함수(UDF) 예제

함수는 테이블 열 이름의 피연산자에 대해 수학적, 산술적, 논리적 및 관계형 연산과 같은 작업을 수행하기 위한 특정 목적을 위해 만들어집니다.

내장 함수

이는 Hive에서 이미 사용할 수 있는 기능입니다. 먼저 애플리케이션 요구 사항을 확인한 다음 애플리케이션에서 이러한 내장 기능을 사용할 수 있습니다. 우리는 애플리케이션에서 이러한 함수를 직접 호출할 수 있습니다.

구문과 유형은 다음 섹션에서 설명됩니다.

Hive에 내장된 함수의 종류:

• 수집 기능
• 날짜 함수
• 수학 함수
• 조건부 함수
• 문자열 함수
• 기타 기능

아래에서는 6개 패밀리 각각에 대한 함수 시그니처와 반환 타입을 설명합니다.

수집 기능

이 함수들은 컬렉션에 사용됩니다. 컬렉션이란 그룹을 의미합니다.ping 이 함수들은 여러 요소를 포함하며, 함수 이름에 명시된 반환 유형에 따라 단일 요소 또는 요소 배열을 반환합니다.

날짜 함수

이것들은 날짜 조작 및 날짜 유형을 한 유형에서 다른 유형으로 변환하는 데 사용됩니다.

수학 함수

이 함수들은 수학 연산에 사용됩니다. 사용자 정의 함수(UDF)를 직접 만드는 대신, Hive에는 몇 가지 내장 수학 함수가 있습니다.

조건부 함수

이 함수들은 조건부 값 검사에 사용됩니다.

문자열 함수

문자열 조작 및 문자열 연산은 다음 함수들을 통해 처리됩니다.

기타 기능

내장 함수 중 일부는 위의 어떤 계열에도 속하지 않습니다. 이러한 함수에는 해싱, 세션 정보 및 임의의 함수 호출이 포함됩니다. Java 방법.

UDF(사용자 정의 함수)

Hive에서는 사용자가 특정 클라이언트 요구 사항을 충족하기 위해 사용자 정의 함수(UDF)를 정의할 수 있습니다. 사용자 정의 함수는 다음과 같이 작성됩니다. Java 특정 모듈의 경우.

일부 사용자 정의 함수(UDF)는 애플리케이션 프레임워크에서 코드 재사용성을 위해 특별히 설계되었습니다. 개발자는 이러한 함수를 다음과 같은 방식으로 작성합니다. Java 그리고 이러한 UDF를 Hive와 통합합니다.

쿼리 실행 중에 개발자는 코드를 직접 사용할 수 있으며, UDF(사용자 정의 함수)는 사용자가 정의한 작업에 따라 출력을 반환합니다. 이는 코딩 및 실행 측면에서 높은 성능을 제공합니다.

예를 들어, 문자열 어간 추출을 위해 Hive에는 미리 정의된 함수가 없습니다. 따라서 어간 추출을 위한 사용자 정의 함수(UDF)를 직접 작성할 수 있습니다. Java스템 기능이 필요한 곳이라면 어디든 Hive에서 이 스템 UDF를 직접 호출할 수 있습니다.

여기서 어간 추출이란 어근에서 파생된 단어를 만드는 것을 의미합니다. 어간 추출 알고리즘은 "wishing", "wished", "wishes"라는 단어를 어근 "wish"로 줄여줍니다. 이러한 기능을 수행하기 위해 사용자 정의 함수(UDF)를 작성할 수 있습니다. Java 그리고 그것을 통합 하이브.

사용 사례에 따라 UDF는 서로 다른 수의 입력값과 출력값을 받아들이고 생성하도록 작성될 수 있습니다.

일반적인 유형의 사용자 정의 함수(UDF)는 단일 입력값을 받아 단일 출력값을 생성합니다. UDF가 쿼리에서 사용되는 경우, 결과 데이터 세트의 각 행에 대해 한 번씩 호출됩니다.

반대로, 함수는 여러 값을 입력으로 받아 하나의 출력 값을 반환할 수도 있습니다. 이러한 차이점이 다음에 설명할 세 가지 사용자 정의 함수 유형을 구분하는 기준이 됩니다.

Hive에서 UDF, UDAF, UDTF 비교

Hive의 사용자 정의 함수는 입력 행 수와 출력 행 수에 따라 그룹화됩니다. 사용자 정의 함수가 컴파일되지 않거나 테이블이 필요한 위치에 단일 행을 반환하는 가장 일반적인 이유는 잘못된 데이터 유형을 선택했기 때문입니다.

다음 표에서 두 가지 실용적인 규칙을 도출할 수 있습니다.

• UDAF는 각 그룹을 하나의 행으로 축소하기 때문에 거의 항상 GROUP BY 절과 함께 사용됩니다.
• UDTF는 동일한 SELECT 목록에서 다른 열과 함께 선택할 수 없으므로 일반적으로 LATERAL VIEW와 함께 사용됩니다.

행 수준 작업을 위한 두 번째 기본 클래스인 GenericUDF도 있으며, 이 클래스는 배열, 맵, 구조체와 같은 복합 유형과 가변 개수의 인수를 허용합니다.

Hive에서 UDF를 작성하고 등록하는 방법

위에서 설명한 줄기 예시는 네 단계만으로 실제 함수로 구현할 수 있습니다. 그 이상은 없습니다. Java 컴파일러와 실행 중인 Hive 세션이 필요합니다.

단계 1) 쓰기 Java UDF를 상속하고 public evaluate() 메서드를 구현하는 클래스입니다. Hive는 행당 한 번씩 evaluate() 메서드를 호출하므로, 이 메서드는 NULL 입력을 처리해야 합니다.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

단계 2) 클래스를 컴파일하고 해당 클래스가 의존하는 모든 클래스와 함께 hive-udf-1.0.jar과 같은 JAR 파일로 패키징합니다.

단계 3) Hive 클래스패스에 JAR 파일을 추가하고 함수 이름을 클래스에 바인딩하세요. 임시 함수는 현재 세션 동안만 유지됩니다.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

단계 4) 새 함수를 내장 함수처럼 정확히 호출하세요. "wishing", "wished", "wishes"라는 단어에 적용하면 이 클래스는 세 가지 경우 모두 "wish"를 반환합니다.

SELECT word, stem(word) FROM words;

모든 세션과 모든 사용자가 해당 기능을 사용할 수 있도록 하려면 데이터베이스에 영구적으로 등록하십시오. JAR 파일은 클러스터 전체가 읽을 수 있는 경로에 있어야 하며, 일반적으로 HDFS에 등록하는 것이 좋습니다.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

하나의 클래스에 여러 개의 evaluate() 메서드가 선언될 수 있습니다. Hive는 함수 호출 시 인자 시그니처를 비교하여 일치하는 함수를 찾습니다. 따라서 하나의 함수가 문자열과 정수를 모두 인자로 받을 수 있습니다.

자주 묻는 질문