Wat is Hive Query Language? HiveQL Operaverdraaid

Wat is Hive Query Language (HiveQL)?

Hive Query Language (HiveQL) is een querytaal in Apache-bijenkorf Voor het verwerken en analyseren van gestructureerde data. Het ontlast gebruikers van de complexiteit van MapReduce-programmering. Het hergebruikt gangbare concepten uit relationele databases, zoals tabellen, rijen, kolommen en schema's, om het leerproces te vergemakkelijken. Hive biedt een CLI voor het schrijven van Hive-query's met behulp van de Hive Query Language (HiveQL).

De meeste interacties vinden meestal plaats via een opdrachtregelinterface (CLI). Over het algemeen is de syntaxis van HiveQL vergelijkbaar met de SQL Syntaxis die de meeste data-analisten kennen. De vier bestandsformaten die in de oorspronkelijke Hive-documentatie worden genoemd, zijn TEXTFILE, SEQUENCEFILE, ORC en RCFILE (Record Columnar File); de huidige versies kunnen ook Parquet en Avro lezen en schrijven, en ORC is het formaat dat in de meeste optimalisatiehandleidingen wordt gebruikt.

Hive gebruikt een ingebouwde Derby-database voor de opslag van metadata voor individuele gebruikers. Voor implementaties met meerdere gebruikers of gedeelde metastore gebruikt Hive een andere database. MySQL Of gebruik in plaats daarvan een andere externe relationele database, omdat Derby slechts één sessie tegelijk toestaat.

HiveQL ingebouwd Operaverdraaid

Hive biedt ingebouwde operators voor de data-bewerkingen die worden uitgevoerd op de tabellen in het Hive-datawarehouse.

Deze operatoren werken op operanden binnen een expressie en retourneren een waarde volgens de toegepaste logica, of die logica nu een vergelijking, een berekening of een opzoeking in een geneste kolom is.

Hieronder staan ​​de belangrijkste typen ingebouwde operators in HiveQL:

• Relationele operatoren
• Rekenkundige operatoren
• logische operatoren
• Operators op complexe typen
• Complexe typeconstructors

Elke familie wordt hieronder in een eigen sectie behandeld, met de volledige operatortabel voor die familie.

relationele Operators in HiveQL

We gebruiken relationele operatoren voor het vergelijken van relaties tussen twee operanden.

• Operastellingen zoals gelijk aan, niet gelijk aan, kleiner dan en groter dan.
• De operandtypen in deze operatoren zijn allemaal primitieve typen, en de patroonherkenningsoperatoren accepteren alleen tekenreeksen.

Elke relationele operator retourneert een BOOLEAN-waarde. Daarom vormen deze operators de basis voor een WHERE-clausule, een JOIN-voorwaarde en een CASE WHEN-structuur. De volgende tabel geeft details over relationele operators en hun gebruik in HiveQL:

Merk op dat een vergelijking met NULL nooit TRUE of FALSE oplevert. Daarom worden IS NULL en IS NOT NULL als aparte operatoren in de tabel vermeld, in plaats van te verwachten dat X = NULL werkt.

HiveQL-rekenkunde Operaverdraaid

We gebruiken rekenkundige operatoren om rekenkundige bewerkingen op operanden uit te voeren.

• Rekenkundige bewerkingen zoals optellen en aftrekkentracBij bewerkingen zoals vermenigvuldiging en deling tussen operanden worden deze operatoren gebruikt.
• De operandtypen in deze operatoren zijn allemaal numerieke typen.

Voorbeeld:

2 + 3 geeft als resultaat 5.

In dit voorbeeld is '+' de operator, 2 en 3 zijn de operanden en de retourwaarde is 5.

De volgende tabel geeft details over rekenkundige operatoren in de Hive-querytaal:

De laatste vier rijen zijn bitwise in plaats van gewone rekenkundige bewerkingen: ze werken met de binaire representatie van gehele getallen, dus &, | en ^ zijn niet hetzelfde als de logische EN, OF en NIET die in de volgende sectie worden behandeld.

HiveQL Logisch Operaverdraaid

We gebruiken logische operatoren om logische bewerkingen op operanden uit te voeren.

• Logische bewerkingen zoals EN, OF en NIET tussen operanden maken gebruik van deze operatoren.
• De operandtypen in deze operatoren zijn allemaal van het type BOOLEAN.

De volgende tabel geeft details over logische operatoren in HiveQL:

Omdat relationele operatoren BOOLEAN-waarden retourneren, zijn het logische operatoren die ze combineren: een predicaat zoals salary > 50000 AND dept = 'Sales' koppelt de ene familie aan de andere.

Operators op complexe typen

Relationele, rekenkundige en logische operatoren werken allemaal met enkele scalaire waarden. Hive slaat ook array-, map- en structkolommen op, en daarvoor is een ander mechanisme nodig om de elementen erin te benaderen. De volgende tabel geeft details over operatoren voor complexe gegevenstypen, die dit mechanisme bieden:

Beide vormen zijn gewone expressies, dus ze kunnen voorkomen in een SELECT-lijst, een WHERE-clausule of een GROUP BY, en een struct-veld wordt benaderd met puntnotatie zoals S.field in plaats van een haakje.

Complexe typeconstructeurs

Waar de bovenstaande operators een bestaande complexe kolom lezen, bouwen constructors er een. De volgende tabel geeft details over constructors voor complexe gegevenstypen, die instanties van de complexe gegevenstypen Array, Map en Struct in Hive creëren.

In dit gedeelte gaan we de bewerkingen bekijken die worden uitgevoerd op constructors van complexe gegevenstypen.

Constructors worden meestal gebruikt in een INSERT-query die een complexe kolom vult, of in een SELECT-query die meerdere scalaire kolommen in één structuur combineert voordat het resultaat naar een andere tabel wordt geschreven.

Ingebouwde HiveQL-functies

OperaTors behandelen vergelijking, berekening en toegang tot elementen, maar ze ronden geen getallen af, korten geen tekenreeks in en voeren geen substitutie uit.tract twee datums. Dat werk behoort tot de ingebouwde functies van Hive, die met hun naam worden aangeroepen binnen dezelfde expressies waarin de operatoren voorkomen. De onderstaande tabel groepeert de families die een beginner als eerste tegenkomt.

De lijst met functies is afhankelijk van de Hive-release, dus het is de moeite waard om deze vanuit de sessie zelf te lezen in plaats van vanuit een statische pagina. Twee statements doen dat:

SHOW FUNCTIONS;

DESCRIBE FUNCTION round;

DESCRIBE FUNCTION EXTENDED round;

SHOW FUNCTIONS geeft een lijst van alle geregistreerde namen, DESCRIBE FUNCTION print de functiesignatuur op één regel, en de EXTENDED-vorm voegt gebruiksvoorbeelden toe waar de implementerende klasse deze levert. Wanneer geen ingebouwde functie geschikt is, accepteert Hive een door de gebruiker gedefinieerde functie geschreven in Java.

HiveQL versus SQL: Belangrijkste verschillen

HiveQL leent bewust SQL-syntaxis, en de bovenstaande operatortabellen zullen bekend voorkomen voor iedereen die ooit SQL heeft geschreven. Het onderliggende uitvoeringsmodel is echter niet hetzelfde, en de verschillen worden duidelijk zodra een query verder gaat dan een simpele SELECT.

De praktische consequentie voor expressief schrijven is klein, maar wel degelijk aanwezig. OperaTors gedragen zich zoals verwacht, maar een predicaat dat in een relationele database beantwoord zou worden met behulp van een index, wordt in Hive beantwoord door bestanden te scannen. Daarom is filteren op een partitiekolom meestal veel waardevoller dan het optimaliseren van de operator zelf.

Veelgestelde vragen