Hva er Hive Query Language? HiveQL Operatorer

Hva er Hive Query Language (HiveQL)?

Hive Query Language (HiveQL) er et spørringsspråk i Apache Hive for behandling og analyse av strukturerte data. Det skiller brukere fra kompleksiteten ved MapReduce-programmering. Det gjenbruker vanlige konsepter fra relasjonsdatabaser, for eksempel tabeller, rader, kolonner og skjemaer, for å forenkle læringen. Hive tilbyr et CLI for Hive-spørringsskriving ved hjelp av Hive Query Language (HiveQL).

De fleste interaksjoner har en tendens til å foregå over et kommandolinjegrensesnitt (CLI). Generelt er HiveQL-syntaksen lik SQL syntaks som de fleste dataanalytikere er kjent med. De fire filformatene som er nevnt i den originale Hive-dokumentasjonen er TEXTFILE, SEQUENCEFILE, ORC og RCFILE (Record Columnar File); nåværende utgivelser leser og skriver også Parquet og Avro, og ORC er formatet som de fleste tuningveiledninger antar.

Hive bruker en innebygd Derby-database for lagring av metadata for én bruker. For distribusjoner av flere brukere eller delte metastorer bruker Hive MySQL eller en annen ekstern relasjonsdatabase i stedet, fordi Derby bare tillater én økt om gangen.

HiveQL innebygd Operatorer

Hive har innebygde operatorer for dataoperasjonene som kjører mot tabellene som ligger i Hive-lageret.

Disse operatorene fungerer på operander i et uttrykk og returnerer en verdi i henhold til logikken som brukes, enten logikken er en sammenligning, en beregning eller et oppslag i en nestet kolonne.

Nedenfor er hovedtypene av innebygde operatorer i HiveQL:

• Relasjonsoperatorer
• Aritmetiske operatører
• logiske operatorer
• Operatorer på komplekse typer
• Komplekse typekonstruktører

Hver familie er dekket i sin egen seksjon nedenfor, med den fullstendige operatortabellen for den familien.

Relasjonelt Operatorer i HiveQL

Vi bruker relasjonsoperatorer for å sammenligne relasjoner mellom to operander.

• Operatorer som lik, ikke lik, mindre enn og større enn.
• Operandtypene er alle primitive typer i disse operatorene, og mønstersamsvarsoperatorene godtar bare strenger.

Hver relasjonsoperator returnerer en BOOLESK verdi, og det er derfor disse operatorene er det en WHERE-klausul, en JOIN-betingelse og en CASE WHEN-gren er bygget opp fra. Tabellen nedenfor gir detaljer om relasjonsoperatorer og bruken av dem i HiveQL:

Merk at en sammenligning mot NULL aldri returnerer TRUE eller FALSE. Det er grunnen til at tabellen viser IS NULL og IS NOT NULL som separate operatorer i stedet for å forvente at X = NULL skal fungere.

HiveQL aritmetikk Operatorer

Vi bruker aritmetiske operatorer for å utføre aritmetiske operasjoner på operander.

• Aritmetiske operasjoner som addisjon, subtilitettracsjon, multiplikasjon og divisjon mellom operander bruker disse operatorene.
• Operandtypene er alle talltyper i disse operatorene.

Eksempeleksempel:

2 + 3 gir resultatet 5.

I dette eksemplet er '+' operatoren, 2 og 3 er operandene, og returverdien er 5.

Tabellen nedenfor gir detaljer om aritmetiske operatorer i Hive Query Language:

De fire siste radene er bitvise snarere enn vanlig aritmetikk: de opererer på den binære representasjonen av heltallsoperander, så &, | og ^ er ikke det samme som de logiske AND, OR og NOT som dekkes i neste avsnitt.

HiveQL Logisk Operatorer

Vi bruker logiske operatorer for å utføre logiske operasjoner på operander.

• Logiske operasjoner som AND, OR og NOT mellom operander bruker disse operatorene.
• Operandtypene er alle av typen BOOLESK i disse operatorene.

Tabellen nedenfor gir detaljer om logiske operatorer i HiveQL:

Fordi relasjonelle operatorer returnerer BOOLESK verdi, er det logiske operatorer som kombinerer dem: et predikat som lønn > 50 000 OG avd. = 'Salg' kjeder én familie inn i den andre.

Operators på komplekse typer

Relasjonelle, aritmetiske og logiske operatorer fungerer alle på enkeltstående skalarverdier. Hive lagrer også array-, map- og struct-kolonner, og disse trenger en annen mekanisme for å nå elementene inni dem. Tabellen nedenfor gir detaljer om komplekse typeoperatorer, som tilbyr denne mekanismen:

Begge formene er vanlige uttrykk, så de kan vises i en SELECT-liste, en WHERE-klausul eller en GROUP BY, og et struct-felt nås med punktumnotasjon som S.field i stedet for en parentes.

Komplekse type konstruktører

Der operatorene ovenfor leser en eksisterende kompleks kolonne, bygger konstruktører en. Tabellen nedenfor gir detaljer om komplekse typekonstruktører, som oppretter forekomster av de komplekse datatypene – Array, Map og Struct – i Hive.

I denne delen skal vi se på operasjonene som utføres på komplekse typekonstruktører.

Konstruktører brukes oftest i en INSERT som fyller en kompleks kolonne, eller i en SELECT som pakker flere skalare kolonner inn i én struktur før resultatet skrives til en annen tabell.

HiveQL innebygde funksjoner

OperaTorer dekker sammenligning, beregning og elementtilgang, men de runder ikke et tall, trimmer en streng eller underordnertract to datoer. Det arbeidet tilhører Hives innebygde funksjoner, som kalles ved navn i de samme uttrykkene som operatorene vises i. Tabellen nedenfor grupperer familiene en nybegynner møter først.

Funksjonslisten avhenger av Hive-utgivelsen, så det er verdt å lese den fra selve økten i stedet for fra en statisk side. To setninger gjør det:

SHOW FUNCTIONS;

DESCRIBE FUNCTION round;

DESCRIBE FUNCTION EXTENDED round;

VIS FUNKSJONER viser alle registrerte navn, BESKRIV FUNKSJON skriver ut signaturen på én linje, og EXTENDED-skjemaet legger til brukseksempler der implementeringsklassen oppgir dem. Når ingen innebygd funksjon passer, godtar Hive en brukerdefinert funksjon skrevet i Java.

HiveQL vs. SQL: Viktige forskjeller

HiveQL låner SQL-syntaks bevisst, og operatortabellene ovenfor vil se kjente ut for alle som har skrevet SQL. Utførelsesmodellen nedenfor er ikke den samme, og forskjellene dukker opp så snart en spørring går forbi en enkel SELECT.

Den praktiske konsekvensen for uttrykksskriving er liten, men reell. Operators oppfører seg som forventet, men et predikat som ville blitt besvart fra en indeks i en relasjonsdatabase blir besvart i Hive ved å skanne filer, så filtrering på en partisjonskolonne er vanligvis verdt mye mer enn å finjustere selve operatoren.

Spørsmål og svar