Hive Fonksiyonları: Yerleşik ve Kullanıcı Tanımlı (UDF) Örnekler

Fonksiyonlar, tablo sütun adlarının işlenenleri üzerinde matematiksel, aritmetik, mantıksal ve ilişkisel işlemler gibi işlemleri gerçekleştirmek için belirli bir amaç doğrultusunda oluşturulur.

Yerleşik İşlevler

Bunlar Hive'da zaten mevcut olan işlevlerdir. Öncelikle uygulama gereksinimini kontrol etmemiz gerekiyor, ardından bu yerleşik işlevleri uygulamalarımızda kullanabiliriz. Bu fonksiyonları doğrudan uygulamamız içerisinde çağırabiliriz.

Sözdizimi ve türleri aşağıdaki bölümde belirtilmiştir.

Hive'da bulunan yerleşik fonksiyon türleri:

• Toplama İşlevleri
• Tarih Fonksiyonları
• Matematiksel Fonksiyonlar
• Koşullu Fonksiyonlar
• Dize İşlevleri
• Çeşitli Fonksiyonlar

Aşağıda altı ailenin her biri, fonksiyon imzaları ve dönüş tipleriyle birlikte açıklanmıştır.

Toplama İşlevleri

Bu fonksiyonlar koleksiyonlar için kullanılır. Koleksiyonlar, gruplar anlamına gelir.ping Bu fonksiyonlar, elemanlardan oluşan bir dizi döndürür ve fonksiyon adında belirtilen dönüş türüne bağlı olarak tek bir eleman veya elemanlardan oluşan bir dizi döndürür.

Tarih Fonksiyonları

Bunlar, tarih işlemleri gerçekleştirmek ve tarih türlerini bir türden diğerine dönüştürmek için kullanılır:

Matematiksel Fonksiyonlar

Bu fonksiyonlar matematiksel işlemler için kullanılır. Kullanıcı tanımlı fonksiyonlar (UDF'ler) oluşturmak yerine, Hive'da yerleşik bazı matematiksel fonksiyonlarımız mevcuttur.

Koşullu Fonksiyonlar

Bu fonksiyonlar koşullu değer kontrolleri için kullanılır.

Dize İşlevleri

Dize manipülasyonları ve dize işlemleri aşağıdaki fonksiyonlar tarafından gerçekleştirilir.

Çeşitli Fonksiyonlar

Yukarıdaki ailelerin hiçbirine ait olmayan birkaç yerleşik işlev bulunmaktadır. Bunlar arasında karma algoritmaları, oturum bilgileri ve rastgele fonksiyon çağırma yer almaktadır. Java yöntemleri.

UDF'ler (Kullanıcı Tanımlı İşlevler)

Hive'da kullanıcılar, belirli müşteri gereksinimlerini karşılamak için kendi fonksiyonlarını tanımlayabilirler. Bunlar Hive'da UDF olarak bilinir. Kullanıcı tanımlı fonksiyonlar şu şekilde yazılır: Java belirli modüller için.

Bazı kullanıcı tanımlı fonksiyonlar (UDF'ler), uygulama çerçevelerinde kodun yeniden kullanılabilirliği için özel olarak tasarlanmıştır. Geliştirici bu fonksiyonları şu şekilde yazar: Java ve bu UDF'leri Hive ile entegre eder.

Sorgu yürütme sırasında geliştirici doğrudan kodu kullanabilir ve UDF'ler kullanıcı tanımlı görevlere göre çıktılar döndürür. Bu, kodlama ve yürütme açısından yüksek performans sağlar.

Örneğin, dize kök bulma işlemi için Hive'da önceden tanımlanmış bir fonksiyonumuz yok. Bunun için, bir kök bulma kullanıcı tanımlı fonksiyonu (UDF) yazabiliriz. JavaKök fonksiyona ihtiyaç duyduğumuz her yerde, bu kök UDF'yi Hive'da doğrudan çağırabiliriz.

Burada kök kelime işlevi, kelimeleri kök kelimelerinden türetmek anlamına gelir. Bir kök bulma algoritması, "wishing", "wished" ve "wishes" kelimelerini "wish" kök kelimesine indirger. Bu tür bir işlevi gerçekleştirmek için, bir UDF yazabiliriz. Java ve onunla entegre edin kovan.

Kullanım senaryosuna bağlı olarak, UDF farklı sayıda girdi ve çıktı değeri kabul edecek ve üretecek şekilde yazılabilir.

Genel olarak, kullanıcı tanımlı fonksiyon (UDF) tek bir giriş değeri alır ve tek bir çıkış değeri üretir. UDF bir sorguda kullanılırsa, sonuç veri kümesindeki her satır için bir kez çağrılır.

Diğer yönde ise, bir fonksiyon girdi olarak bir değer grubu alabilir ve tek bir çıktı değeri döndürebilir. Bu fark, aşağıda açıklanan üç özel fonksiyon türünü birbirinden ayıran şeydir.

Hive'da UDF, UDAF ve UDTF Karşılaştırması

Hive'daki özel fonksiyonlar, giren ve çıkan satır sayısına göre gruplandırılır. Yanlış tür seçimi, özel bir fonksiyonun derlenmeyi reddetmesinin veya tablo beklenirken tek bir satır döndürmesinin en yaygın nedenidir.

Tablodan iki pratik kural çıkarılabilir:

• UDAF ifadesi neredeyse her zaman GROUP BY yan tümcesiyle birlikte kullanılır, çünkü her grubu tek bir satıra indirger.
• Bir UDTF, aynı SELECT listesinde diğer sütunlarla birlikte seçilemez, bu nedenle genellikle LATERAL VIEW ile birlikte kullanılır.

Satır düzeyinde çalışma için daha yetenekli ikinci bir temel sınıf da mevcuttur: GenericUDF. Bu sınıf, diziler, haritalar ve yapılar gibi karmaşık türleri ve değişken sayıda argümanı kabul eder.

Hive'da Kullanıcı Tanımlı Fonksiyon (UDF) Nasıl Yazılır ve Kaydedilir?

Yukarıda açıklanan örnek, dört adımda gerçek bir fonksiyon olarak oluşturulabilir. Bunun ötesinde hiçbir şey gerekmez. Java Derleyici ve çalışan bir Hive oturumu gereklidir.

) 1 Adım Yaz Java UDF'den türeyen ve herkese açık bir evaluate() metodu uygulayan bir sınıf. Hive, evaluate() metodunu her satır için bir kez çağırır, bu nedenle metot NULL girdisini de ele almalıdır.

package com.guru99.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Stem extends UDF {

    public Text evaluate(final Text input) {
        if (input == null) {
            return null;
        }
        String word = input.toString().toLowerCase();
        if (word.endsWith("ing")) {
            word = word.substring(0, word.length() - 3);
        } else if (word.endsWith("ed") || word.endsWith("es")) {
            word = word.substring(0, word.length() - 2);
        }
        return new Text(word);
    }
}

) 2 Adım Sınıfı derleyin ve örneğin hive-udf-1.0.jar gibi bir JAR dosyasına, bağımlı olduğu tüm sınıflarla birlikte paketleyin.

) 3 Adım JAR dosyasını Hive sınıf yoluna ekleyin ve bir fonksiyon adını sınıfa bağlayın. Geçici bir fonksiyon yalnızca geçerli oturum boyunca yaşar.

ADD JAR /home/hduser/hive-udf-1.0.jar;

CREATE TEMPORARY FUNCTION stem AS 'com.guru99.hive.udf.Stem';

) 4 Adım Yeni fonksiyonu tıpkı yerleşik bir fonksiyon gibi çağırın. "Dilemek", "dilenmiş" ve "dilekler" kelimelerine uygulandığında, bu sınıf her üçü için de "dilemek" değerini döndürür.

SELECT word, stem(word) FROM words;

İşlevin her oturum ve her kullanıcı için kullanılabilir olmasını sağlamak için, onu kalıcı olarak bir veritabanına kaydedin. JAR dosyası, tüm kümenin okuyabileceği bir yolda bulunmalıdır; bu genellikle HDFS anlamına gelir.

CREATE FUNCTION default.stem AS 'com.guru99.hive.udf.Stem'
USING JAR '/user/hive/udfs/hive-udf-1.0.jar';

Tek bir sınıf birden fazla evaluate() metodu tanımlayabilir. Hive, çağrıyı argüman imzalarıyla eşleştirir; bu sayede bir fonksiyon hem dize hem de tamsayı kabul edebilir.

SSS