Što je Hive Query Language? HiveQL Operaulagatelji

Što je Hive Query Language (HiveQL)?

Hive Query Language (HiveQL) je upitni jezik u Apache košnica za obradu i analizu strukturiranih podataka. Odvaja korisnike od složenosti MapReduce programiranja. Ponovno koristi uobičajene koncepte iz relacijskih baza podataka, kao što su tablice, retci, stupci i sheme, radi lakšeg učenja. Hive pruža CLI za pisanje Hive upita pomoću Hive Query Language (HiveQL).

Većina interakcija obično se odvija preko sučelja naredbenog retka (CLI). Općenito, HiveQL sintaksa je slična sintaksi SQL sintaksa s kojom je većina analitičara podataka upoznata. Četiri formata datoteka navedena u izvornoj Hive dokumentaciji su TEXTFILE, SEQUENCEFILE, ORC i RCFILE (Record Columnar File); trenutna izdanja također čitaju i pišu Parquet i Avro, a ORC je format koji većina smjernica za podešavanje pretpostavlja.

Hive koristi ugrađenu Derby bazu podataka za pohranu metapodataka za jednog korisnika. Za implementacije s više korisnika ili dijeljene metapohrane, Hive koristi MySQL ili neku drugu vanjsku relacijsku bazu podataka, jer Derby dopušta samo jednu sesiju istovremeno.

Ugrađen HiveQL Operaulagatelji

Hive nudi ugrađene operatore za operacije s podacima koje se izvršavaju na tablicama koje se nalaze u Hive skladištu.

Ovi operatori djeluju na operande unutar izraza i vraćaju vrijednost prema primijenjenoj logici, bilo da je ta logika usporedba, izračun ili pretraživanje u ugniježđenom stupcu.

U nastavku su navedene glavne vrste ugrađenih operatora u HiveQL-u:

• Relacijski operatori
• Aritmetički operatori
• logički operatori
• Operatori na složenim tipovima
• Konstruktori složenog tipa

Svaka obitelj je obrađena u vlastitom odjeljku u nastavku, s potpunom tablicom operatora za tu obitelj.

Relacijski Operatori u HiveQL-u

Za usporedbu odnosa između dva operanda koristimo relacijske operatore.

• Operaizrazi kao što su jednako, nije jednako, manje od i veće od.
• Tipovi operanada u ovim operatorima su svi primitivni tipovi, a operatori za prepoznavanje uzoraka prihvaćaju samo nizove znakova.

Svaki relacijski operator vraća BOOLEAN, zbog čega se od tih operatora grade WHERE klauzula, JOIN uvjet i CASE WHEN grana. Sljedeća tablica daje detalje o relacijskim operatorima i njihovoj upotrebi u HiveQL-u:

Imajte na umu da usporedba s NULL nikada ne vraća TRUE ili FALSE. To je razlog zašto tablica navodi IS NULL i IS NOT NULL kao zasebne operatore, umjesto da se očekuje da X = NULL radi.

HiveQL aritmetika Operaulagatelji

Za izvođenje aritmetičkih operacija nad operandima koristimo aritmetičke operatore.

• Aritmetičke operacije kao što su zbrajanje, oduzimanjetracMnoženje i dijeljenje između operanada koriste ove operatore.
• Svi tipovi operanda u ovim operatorima su brojevni tipovi.

Primjer:

2 + 3 daje rezultat 5.

U ovom primjeru, '+' je operator, 2 i 3 su operandi, a povratna vrijednost je 5.

Sljedeća tablica daje detalje o aritmetičkim operatorima u Hive Query Languageu:

Posljednja četiri retka su bitna, a ne obična aritmetika: oni operiraju na binarnom prikazu cjelobrojnih operanada, pa &, | i ^ nisu isti kao logički AND, OR i NOT koji su obrađeni u sljedećem odjeljku.

HiveQL Logical Operaulagatelji

Logičke operatore koristimo za izvođenje logičkih operacija nad operandima.

• Logičke operacije poput I, ILI i NE između operanada koriste ove operatore.
• Svi tipovi operanada u ovim operatorima su tipa BOOLEAN.

Sljedeća tablica daje detalje o logičkim operatorima u HiveQL-u:

Budući da relacijski operatori vraćaju BOOLEAN vrijednosti, logički operatori su ono što ih kombinira: predikat poput plaća > 50000 I odjel = 'Prodaja' povezuje jednu obitelj s drugom.

Operatorovi na složenim tipovima

Relacijski, aritmetički i logički operatori rade na pojedinačnim skalarnim vrijednostima. Hive također pohranjuje stupce nizova, mapa i struktura, a njima je potreban drugačiji mehanizam za dosezanje elemenata unutar njih. Sljedeća tablica daje detalje o složenim operatorima tipa koji pružaju taj mehanizam:

Oba oblika su obični izrazi, pa se mogu pojaviti u SELECT listi, WHERE klauzuli ili GROUP BY, a do strukturnog polja se dolazi točkovnom notacijom kao što je S.field umjesto zagrade.

Konstruktori složenog tipa

Tamo gdje gornji operatori čitaju postojeći složeni stupac, konstruktori grade novi. Sljedeća tablica daje detalje o konstruktorima složenih tipova koji stvaraju instance složenih tipova podataka - Array, Map i Struct - u Hiveu.

U ovom odjeljku vidjet ćemo operacije koje se izvode na konstruktorima složenih tipova.

Konstruktori se najčešće koriste u INSERT-u koji popunjava složeni stupac ili u SELECT-u koji pakira nekoliko skalarnih stupaca u jednu strukturu prije zapisivanja rezultata u drugu tablicu.

Ugrađene funkcije HiveQL-a

OperaAlati pokrivaju usporedbu, izračun i pristup elementima, ali ne zaokružuju broj, skraćuju niz ili podvrijednosti.tracdva datuma. Taj rad pripada Hiveovim ugrađenim funkcijama, koje se pozivaju po imenu unutar istih izraza u kojima se pojavljuju operatori. Tablica u nastavku grupira obitelji s kojima se početnik prvo susreće.

Popis funkcija ovisi o izdanju Hivea, pa ga je bolje čitati iz same sesije, a ne sa statičke stranice. To čine dvije naredbe:

SHOW FUNCTIONS;

DESCRIBE FUNCTION round;

DESCRIBE FUNCTION EXTENDED round;

SHOW FUNCTIONS navodi svako registrirano ime, DESCRIBE FUNCTION ispisuje potpis u jednom retku, a EXTENDED oblik dodaje primjere upotrebe tamo gdje ih implementacijska klasa navodi. Kada nijedna ugrađena funkcija ne odgovara, Hive prihvaća korisnički definirana funkcija napisan u Java.

HiveQL vs SQL: Ključne razlike

HiveQL namjerno posuđuje SQL sintaksu, a tablice operatora iznad izgledat će poznato svima koji su pisali SQL. Model izvršavanja ispod nije isti, a razlike se pojavljuju čim upit prijeđe okvire jednostavnog SELECT-a.

Praktične posljedice za pisanje izraza su male, ali stvarne. OperaOperatori se ponašaju kako se očekuje, no predikat na koji bi se odgovorilo iz indeksa u relacijskoj bazi podataka u Hiveu se odgovara skeniranjem datoteka, pa filtriranje na stupcu particije obično vrijedi puno više od podešavanja samog operatora.

Pitanja i odgovori