Ce este limbajul de interogare Hive? HiveQL Operatori

Ce este Hive Query Language (HiveQL)?

Hive Query Language (HiveQL) este un limbaj de interogare în Apache Hive pentru procesarea și analizarea datelor structurate. Separă utilizatorii de complexitatea programării MapReduce. Reutilizează concepte comune din bazele de date relaționale, cum ar fi tabele, rânduri, coloane și scheme, pentru a facilita învățarea. Hive oferă o interfață CLI pentru scrierea de interogări Hive folosind Hive Query Language (HiveQL).

Cele mai multe interacțiuni tind să aibă loc printr-o interfață de linie de comandă (CLI). În general, sintaxa HiveQL este similară cu SQL sintaxă cu care majoritatea analiștilor de date sunt familiarizați. Cele patru formate de fișier menționate în documentația originală Hive sunt TEXTFILE, SEQUENCEFILE, ORC și RCFILE (Record Columnar File); versiunile actuale citesc și scriu și în Parquet și Avro, iar ORC este formatul presupus de majoritatea ghidurilor de optimizare.

Hive folosește o bază de date Derby încorporată pentru stocarea metadatelor pentru un singur utilizator. Pentru implementări de metastore partajate sau cu mai mulți utilizatori, Hive folosește MySQL sau o altă bază de date relațională externă, deoarece Derby permite o singură sesiune odată.

HiveQL încorporat Operatori

Hive oferă operatori încorporați pentru operațiunile de date care rulează asupra tabelelor din depozitul Hive.

Acești operatori acționează asupra operanzilor din interiorul unei expresii și returnează o valoare în funcție de logica aplicată, indiferent dacă acea logică este o comparație, un calcul sau o căutare într-o coloană imbricată.

Mai jos sunt principalele tipuri de operatori încorporați în HiveQL:

• Operatori relaționali
• Operatori aritmetici
• operatorii logici
• Operatori pe tipuri complexe
• Constructori de tipuri complexe

Fiecare familie este prezentată în propria secțiune de mai jos, cu tabelul complet de operatori pentru familia respectivă.

Relațional Operatori în HiveQL

Folosim operatori relaționali pentru compararea relațiilor dintre doi operanzi.

• Operators precum egal cu, neegal cu, mai mic decât și mai mare decât.
• Tipurile de operanzi sunt toate tipuri primitive în acești operatori, iar operatorii de potrivire a modelelor acceptă doar șiruri de caractere.

Fiecare operator relațional returnează o valoare BOOLEAN, motiv pentru care acești operatori sunt sursa de inspirație pentru o clauză WHERE, o condiție JOIN și o ramură CASE WHEN. Următorul tabel oferă detalii despre operatorii relaționali și utilizarea lor în HiveQL:

Rețineți că o comparație cu NULL nu returnează niciodată TRUE sau FALSE. Acesta este motivul pentru care tabelul listează IS NULL și IS NOT NULL ca operatori separați, în loc să se aștepte ca X = NULL să funcționeze.

Aritmetica HiveQL Operatori

Folosim operatori aritmetici pentru a efectua operații aritmetice asupra operanzilor.

• Operații aritmetice precum adunarea, subdivizareatracÎnmulțirea, înmulțirea și împărțirea între operanzi utilizează acești operatori.
• Tipurile de operanzi din acești operatori sunt toate tipuri de numere.

Exemplu de exemplu:

2 + 3 dă rezultatul 5.

În acest exemplu, „+” este operatorul, 2 și 3 sunt operanzii, iar valoarea returnată este 5.

Următorul tabel oferă detalii despre operatorii aritmetici din limbajul de interogare Hive:

Ultimele patru rânduri sunt aritmetice pe biți, nu obișnuite: operează pe reprezentarea binară a operanzilor întregi, deci &, | și ^ nu sunt aceleași cu operanții logici AND, OR și NOT, abordați în secțiunea următoare.

HiveQL Logical Operatori

Folosim operatori logici pentru a efectua operații logice asupra operanzilor.

• Operațiile logice precum ȘI, SAU și NU între operanzi utilizează acești operatori.
• Tipurile de operanzi în acești operatori sunt toate de tip BOOLEAN.

Următorul tabel oferă detalii despre operatorii logici din HiveQL:

Deoarece operatorii relaționali returnează valori BOOLEENE, operatorii logici sunt cei care îi combină: un predicat precum salary > 50000 AND dept = 'Sales' înlănțuie o familie în cealaltă.

Operators pe Tipuri complexe

Operatorii relaționali, aritmetici și logici lucrează cu toții pe valori scalare unice. Hive stochează, de asemenea, coloane de tip array, map și struct, iar acestea necesită un mecanism diferit pentru a ajunge la elementele din interiorul lor. Tabelul următor oferă detalii despre operatorii de tip complex, care oferă acest mecanism:

Ambele forme sunt expresii obișnuite, deci pot apărea într-o listă SELECT, o clauză WHERE sau o instrucțiune GROUP BY, iar un câmp struct este accesat cu notație punct, cum ar fi S.field în loc de paranteză.

Constructori de tip complex

Acolo unde operatorii de mai sus citesc o coloană complexă existentă, constructorii construiesc una. Tabelul următor oferă detalii despre constructorii de tipuri complexe, care creează instanțe ale tipurilor de date complexe — Array, Map și Struct — în Hive.

În această secțiune, vom vedea operațiunile efectuate asupra constructorilor de tipuri complexe.

Constructorii sunt cel mai adesea utilizați într-o instrucțiune INSERT care populează o coloană complexă sau într-o instrucțiune SELECT care împachetează mai multe coloane scalare într-o singură structură înainte de a scrie rezultatul într-un alt tabel.

Funcții încorporate HiveQL

Operatorii acoperă compararea, calculul și accesul la elemente, dar nu rotunjesc un număr, nu elimină un șir sau o subcategorie.tracdouă date. Această lucrare aparține funcțiilor încorporate ale Hive, care sunt apelate pe nume în interiorul acelorași expresii în care apar operatorii. Tabelul de mai jos grupează familiile pe care un începător le întâlnește mai întâi.

Lista de funcții depinde de versiunea Hive, așa că merită să o citiți chiar din sesiune, mai degrabă decât de pe o pagină statică. Două instrucțiuni fac acest lucru:

SHOW FUNCTIONS;

DESCRIBE FUNCTION round;

DESCRIBE FUNCTION EXTENDED round;

SHOW FUNCTIONS listează fiecare nume înregistrat, DESCRIBE FUNCTION afișează semnătura pe o singură linie, iar forma EXTENDED adaugă exemple de utilizare acolo unde clasa de implementare le furnizează. Când nicio funcție încorporată nu se potrivește, Hive acceptă o funcție definită de utilizator scris in Java.

HiveQL vs SQL: Diferențe cheie

HiveQL împrumută în mod deliberat sintaxa SQL, iar tabelele de operatori de mai sus vor părea familiare oricui a scris SQL. Modelul de execuție de mai jos nu este același, iar diferențele apar imediat ce o interogare trece dincolo de un simplu SELECT.

Consecința practică a scrierii expresive este mică, dar reală. OperaTorii se comportă așa cum era de așteptat, totuși un predicat care ar primi răspuns dintr-un index dintr-o bază de date relațională primește răspuns în Hive prin scanarea fișierelor, așa că filtrarea pe o coloană de partiție este de obicei mult mai valoroasă decât reglarea operatorului în sine.

Întrebări frecvente