Ví dụ về các hàm trong Hive: Hàm tích hợp sẵn và hàm do người dùng định nghĩa (UDF).

Các hàm được xây dựng cho một mục đích cụ thể để thực hiện các phép toán như phép toán học, số học, logic và quan hệ trên các toán hạng của tên cột trong bảng.

Chức năng tích hợp sẵn

Đây là những chức năng đã có sẵn trong Hive. Đầu tiên, chúng ta phải kiểm tra yêu cầu của ứng dụng và sau đó chúng ta có thể sử dụng các hàm tích hợp này trong ứng dụng của mình. Chúng ta có thể gọi các hàm này trực tiếp trong ứng dụng của mình.

Cú pháp và các kiểu được đề cập ở phần sau.

Các loại hàm tích hợp sẵn trong Hive:

• Chức năng thu thập
• Chức năng ngày
• Các hàm toán học
• Hàm có điều kiện
• Hàm chuỗi
• Linh tinh. Chức năng

Mỗi trong sáu nhóm hàm được trình bày chi tiết bên dưới cùng với chữ ký hàm và kiểu trả về của chúng.

Chức năng thu thập

Các hàm này được sử dụng cho các tập hợp. Tập hợp có nghĩa là nhómping Chúng là các phần tử, và trả về một phần tử đơn lẻ hoặc một mảng các phần tử tùy thuộc vào kiểu trả về được đề cập trong tên hàm.

Chức năng ngày

Các lệnh này được sử dụng để thực hiện các thao tác xử lý ngày tháng và chuyển đổi kiểu dữ liệu ngày tháng từ kiểu này sang kiểu khác:

Các hàm toán học

Các hàm này được sử dụng cho các phép toán học. Thay vì tạo các hàm do người dùng định nghĩa (UDF), chúng ta có một số hàm toán học tích hợp sẵn trong Hive.

Hàm có điều kiện

Các hàm này được sử dụng để kiểm tra giá trị có điều kiện.

Hàm chuỗi

Các thao tác và phép toán trên chuỗi được xử lý bởi các hàm sau.

Linh tinh. Chức năng

Một số hàm tích hợp sẵn không thuộc bất kỳ nhóm nào nêu trên. Chúng bao gồm các hàm băm, thông tin phiên và gọi các hàm tùy ý. Java phương pháp.

UDF (Hàm do người dùng xác định)

Trong Hive, người dùng có thể định nghĩa các hàm riêng của họ để đáp ứng các yêu cầu cụ thể của khách hàng. Chúng được gọi là UDF trong Hive. Các hàm do người dùng định nghĩa được viết bằng ngôn ngữ lập trình Hive. Java cho các mô-đun cụ thể.

Một số hàm do người dùng định nghĩa (UDF) được thiết kế đặc biệt để tái sử dụng mã trong các khung ứng dụng. Nhà phát triển viết các hàm này trong... Java và tích hợp các UDF đó với Hive.

Trong quá trình thực thi truy vấn, nhà phát triển có thể trực tiếp sử dụng mã, và các hàm do người dùng định nghĩa (UDF) sẽ trả về kết quả theo các tác vụ do người dùng xác định. Điều này mang lại hiệu suất cao về mặt lập trình và thực thi.

Ví dụ, đối với việc rút gọn chuỗi, chúng ta không có hàm được định nghĩa sẵn trong Hive. Vì vậy, chúng ta có thể viết một hàm UDF rút gọn chuỗi trong Hive. JavaBất cứ khi nào cần chức năng xử lý thân cây, chúng ta có thể gọi trực tiếp hàm UDF xử lý thân cây này trong Hive.

Ở đây, chức năng xử lý gốc từ có nghĩa là tạo ra các từ từ các từ gốc của chúng. Thuật toán xử lý gốc từ sẽ rút gọn các từ “wishing”, “wished” và “wishes” về từ gốc “wish”. Để thực hiện loại chức năng này, chúng ta có thể viết một hàm do người dùng định nghĩa (UDF) trong Java và tích hợp nó với Tổ ong.

Tùy thuộc vào trường hợp sử dụng, hàm do người dùng định nghĩa (UDF) có thể được viết để chấp nhận và tạo ra số lượng giá trị đầu vào và đầu ra khác nhau.

Kiểu hàm UDF thông thường sẽ chấp nhận một giá trị đầu vào duy nhất và tạo ra một giá trị đầu ra duy nhất. Nếu hàm UDF được sử dụng trong một truy vấn, thì hàm UDF sẽ được gọi một lần cho mỗi hàng trong tập dữ liệu kết quả.

Ngược lại, một hàm có thể chấp nhận một nhóm giá trị làm đầu vào và trả về một giá trị đầu ra duy nhất. Sự khác biệt đó là điều phân biệt ba loại hàm tùy chỉnh được mô tả tiếp theo.

UDF so với UDAF so với UDTF trong Hive

Các hàm tùy chỉnh trong Hive được nhóm theo số lượng hàng đầu vào và số lượng hàng đầu ra. Việc chọn sai kiểu dữ liệu là lý do phổ biến nhất khiến một hàm tùy chỉnh không biên dịch được hoặc trả về một hàng duy nhất trong khi mong đợi một bảng.

Từ bảng trên, ta có thể rút ra hai quy tắc thực tiễn sau:

• UDAF hầu như luôn được ghép nối với mệnh đề GROUP BY, bởi vì nó thu gọn mỗi nhóm thành một hàng duy nhất.
• Không thể chọn một UDTF cùng với các cột khác trong cùng một danh sách SELECT, vì vậy nó thường được sử dụng với LATERAL VIEW.

Ngoài ra còn có một lớp cơ sở thứ hai, mạnh mẽ hơn, dành cho công việc ở cấp hàng, GenericUDF, chấp nhận các kiểu dữ liệu phức tạp như mảng, bản đồ và cấu trúc, cùng với số lượng tham số thay đổi.

Cách viết và đăng ký hàm do người dùng định nghĩa (UDF) trong Hive

Ví dụ về thân cây được mô tả ở trên có thể được xây dựng thành một hàm thực sự trong bốn bước. Không có gì vượt quá một... Java Cần có trình biên dịch và một phiên Hive đang hoạt động.

Bước 1) Viết thư cho Java Lớp này kế thừa từ UDF và triển khai phương thức `evaluate()` công khai. Hive gọi phương thức `evaluate()` một lần cho mỗi hàng, vì vậy phương thức này phải xử lý được đầu vào NULL.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

Bước 2) Biên dịch lớp và đóng gói nó vào một tệp JAR, ví dụ: hive-udf-1.0.jar, cùng với bất kỳ lớp nào mà nó phụ thuộc.

Bước 3) Đặt tệp JAR vào classpath của Hive và gán tên hàm cho lớp đó. Hàm tạm thời chỉ tồn tại trong phiên hiện tại.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

Bước 4) Gọi hàm mới giống hệt như một hàm có sẵn. Khi áp dụng cho các từ “wishing”, “wished” và “wishes”, lớp này sẽ trả về “wish” cho cả ba từ.

SELECT word, stem(word) FROM words;

Để đảm bảo chức năng này khả dụng cho mọi phiên và mọi người dùng, hãy đăng ký nó vĩnh viễn vào cơ sở dữ liệu. Tệp JAR phải nằm trên một đường dẫn mà toàn bộ cụm máy chủ có thể đọc được, thông thường là HDFS.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

Một lớp duy nhất có thể khai báo nhiều hơn một phương thức evaluate(). Hive so khớp lệnh gọi với chữ ký đối số, đó là lý do tại sao một hàm có thể chấp nhận cả chuỗi và số nguyên.

Câu Hỏi Thường Gặp