Hive Sorgu Dili Nedir? HiveQL Operaları

Hive Sorgu Dili (HiveQL) nedir?

Hive Sorgu Dili (HiveQL), bir sorgu dilidir. Apaçi Kovanı Yapılandırılmış verilerin işlenmesi ve analizi için kullanılır. Kullanıcıları MapReduce programlamasının karmaşıklığından kurtarır. Öğrenmeyi kolaylaştırmak için tablolar, satırlar, sütunlar ve şema gibi ilişkisel veritabanlarından ortak kavramları yeniden kullanır. Hive, Hive Sorgu Dili (HiveQL) kullanarak Hive sorgusu yazmak için bir komut satırı arayüzü (CLI) sağlar.

Çoğu etkileşim genellikle bir komut satırı arayüzü (CLI) üzerinden gerçekleşir. Genel olarak HiveQL sözdizimi şuna benzer: SQL Çoğu veri analistinin aşina olduğu bir sözdizimi. Orijinal Hive belgelerinde belirtilen dört dosya formatı TEXTFILE, SEQUENCEFILE, ORC ve RCFILE'dır (Kayıt Sütunlu Dosya); mevcut sürümler ayrıca Parquet ve Avro formatlarını da okuyup yazabilir ve çoğu ayarlama kılavuzu ORC formatını varsayar.

Hive, tek kullanıcılı meta veri depolaması için yerleşik bir Derby veritabanı kullanır. Çok kullanıcılı veya paylaşımlı meta veri deposu dağıtımları için Hive, farklı bir veritabanı kullanır. MySQL Ya da bunun yerine başka bir harici ilişkisel veritabanı kullanın, çünkü Derby aynı anda yalnızca bir oturuma izin veriyor.

HiveQL Yerleşik Operaları

Hive, Hive veri ambarında tutulan tablolara karşı çalıştırılan veri işlemleri için yerleşik operatörler sağlar.

Bu operatörler, bir ifade içindeki işlenenler üzerinde işlem yapar ve uygulanan mantığa göre bir değer döndürür; bu mantık bir karşılaştırma, bir hesaplama veya iç içe geçmiş bir sütunda arama olabilir.

Aşağıda HiveQL'deki başlıca yerleşik operatör türleri verilmiştir:

• İlişkisel operatörler
• Aritmetik operatörler
• mantıksal operatörler
• Operakarmaşık tipler üzerindeki torklar
• Karmaşık tip yapıcıları

Aşağıda her aile için ayrı bir bölüm ayrılmış olup, o aileye ait operatör tablosunun tamamı verilmiştir.

İlişkisel OperaHiveQL'deki tors

İki işlenen arasındaki ilişkileri karşılaştırmak için ilişkisel operatörler kullanıyoruz.

• OperaEşittir, eşit değildir, küçüktür ve büyüktür gibi ifadeler.
• Bu operatörlerdeki işlenen türlerinin tamamı temel veri türleridir ve desen eşleştirme operatörleri yalnızca dizeleri kabul eder.

Her ilişkisel operatör bir BOOLEAN değeri döndürür; bu nedenle WHERE yan tümcesi, JOIN koşulu ve CASE WHEN dalı bu operatörlerden oluşturulur. Aşağıdaki tablo, ilişkisel operatörler ve bunların HiveQL'deki kullanımları hakkında ayrıntılı bilgi vermektedir:

Unutmayın ki, NULL ile yapılan bir karşılaştırma asla TRUE veya FALSE döndürmez. Bu nedenle tabloda IS NULL ve IS NOT NULL ayrı operatörler olarak listelenmiştir, X = NULL'un çalışması beklenmez.

HiveQL Aritmetiği Operaları

Aritmetik operatörleri, işlenenler üzerinde aritmetik işlemler gerçekleştirmek için kullanırız.

• Toplama, çıkarma gibi aritmetik işlemlertracİşlemler arasında çarpma ve bölme işlemleri bu operatörleri kullanır.
• Bu operatörlerdeki işlenen türlerinin tümü sayı türündedir.

Örnek:

2 + 3'ün sonucu 5'tir.

Bu örnekte, '+' operatör, 2 ve 3 işlenenler ve dönüş değeri 5'tir.

Aşağıdaki tabloda Hive Sorgu Dilindeki aritmetik operatörler hakkında ayrıntılı bilgi verilmektedir:

Son dört satır, sıradan aritmetik işlemler yerine bit tabanlı aritmetik işlemlerdir: tamsayı işlenenlerin ikili gösterimi üzerinde işlem yaparlar, bu nedenle &, | ve ^ operatörleri, bir sonraki bölümde ele alınan mantıksal VE, VEYA ve DEĞİL operatörleriyle aynı değildir.

HiveQL Mantıksal Operaları

Mantıksal operatörleri, işlenenler üzerinde mantıksal işlemler gerçekleştirmek için kullanırız.

• İşlenenler arasında AND, OR ve NOT gibi mantıksal işlemler bu operatörleri kullanır.
• Bu operatörlerdeki işlenen türlerinin tamamı BOOLEAN türündedir.

Aşağıdaki tabloda HiveQL'deki mantıksal operatörler hakkında ayrıntılı bilgi verilmektedir:

İlişkisel operatörler BOOLEAN değerler döndürdüğü için, mantıksal operatörler bunları bir araya getirir: salary > 50000 AND dept = 'Sales' gibi bir koşul, bir aileyi diğerine bağlar.

OperaKarmaşık Türler Üzerine Tors

İlişkisel, aritmetik ve mantıksal operatörlerin tümü tekil skalar değerler üzerinde çalışır. Hive ayrıca dizi, harita ve yapı sütunlarını da saklar ve bunların içindeki öğelere ulaşmak için farklı bir mekanizmaya ihtiyaç duyulur. Aşağıdaki tablo, bu mekanizmayı sağlayan karmaşık tip operatörleri hakkında ayrıntılı bilgi vermektedir:

Her iki biçim de sıradan ifadelerdir, bu nedenle bir SELECT listesinde, bir WHERE yan tümcesinde veya bir GROUP BY'da yer alabilirler ve bir yapı alanına köşeli parantez yerine S.field gibi nokta gösterimiyle ulaşılır.

Karmaşık Tip Oluşturucuları

Yukarıdaki operatörler mevcut bir karmaşık sütunu okurken, yapıcılar yeni bir sütun oluşturur. Aşağıdaki tablo, Hive'da Array, Map ve Struct gibi karmaşık veri türlerinin örneklerini oluşturan karmaşık tür yapıcıları hakkında ayrıntılı bilgi vermektedir.

Bu bölümde, karmaşık tip yapıcılar üzerinde gerçekleştirilen işlemleri inceleyeceğiz.

Yapıcılar (constructors) en sık olarak karmaşık bir sütunu dolduran bir INSERT işleminde veya sonucu başka bir tabloya yazmadan önce birden fazla skalar sütunu tek bir yapıya paketleyen bir SELECT işleminde kullanılır.

HiveQL Dahili Fonksiyonları

OperaTork fonksiyonları karşılaştırma, hesaplama ve eleman erişimini kapsar, ancak bir sayıyı yuvarlamaz, bir dizeyi kırpmaz veya alt dizileme yapmaz.tracİki tarih. Bu iş, operatörlerin göründüğü aynı ifadeler içinde adlarıyla çağrılan Hive'ın yerleşik fonksiyonlarına aittir. Aşağıdaki tablo, yeni başlayan birinin ilk karşılaştığı aileleri gruplandırmaktadır.

Fonksiyon listesi Hive sürümüne bağlıdır, bu nedenle statik bir sayfadan okumak yerine oturumun kendisinden okumak daha iyidir. Bunu yapmak için iki ifade kullanılır:

SHOW FUNCTIONS;

DESCRIBE FUNCTION round;

DESCRIBE FUNCTION EXTENDED round;

SHOW FUNCTIONS komutu kayıtlı her adı listeler, DESCRIBE FUNCTION komutu tek satırlık imzayı yazdırır ve EXTENDED formu, uygulayan sınıfın sağladığı durumlarda kullanım örnekleri ekler. Yerleşik bir fonksiyon uygun olmadığında, Hive bir alternatif kabul eder. kullanıcı tanımlı fonksiyon yazılmış Java.

HiveQL ve SQL: Temel Farklar

HiveQL, SQL sözdizimini bilinçli olarak ödünç alır ve yukarıdaki operatör tabloları, SQL yazmış olan herkese tanıdık gelecektir. Ancak altta yatan yürütme modeli aynı değildir ve farklılıklar, sorgu basit bir SELECT'in ötesine geçtiği anda ortaya çıkar.

İfade yazımı açısından pratik sonuçları küçük ama gerçektir. OperaTor operatörleri beklendiği gibi davranır, ancak ilişkisel bir veritabanında bir indeksten yanıtlanacak bir koşul, Hive'da dosyaları tarayarak yanıtlanır; bu nedenle, bölüm sütununda filtreleme yapmak genellikle operatörün kendisini ayarlamaktan çok daha değerlidir.

SSS