Hive-datatyper: Sådan oprettes og droppes databaser i Hive

Datatyper er meget vigtige elementer i Hive-forespørgselssprog og datamodellering. For at definere tabelkolonnetyper skal vi have kendskab til datatyperne og deres anvendelse.

Følgende giver en kort oversigt over nogle datatyper, der findes i Hive:

• Numeriske typer
• Strengtyper
• Dato/klokkeslætstyper
• Komplekse typer

Datatyper i Hive

Hver Hive-kolonne er deklareret med en af ​​typerne nedenfor. De primitive familier kommer først, efterfulgt af de komplekse typer, der indeholder mere end én værdi i en enkelt kolonne.

Hive numeriske datatyper

Numeriske kolonner spænder fra en enkelt byte til otte bytes, så at vælge den mindste type, der passer til værdierne, holder både lager- og scanningsomkostningerne nede.

Hive-strengdatatyper

Tegnkolonner findes i tre former, og forskellen er, om Hive håndhæver en deklareret længde.

Hive Dato/Tid Datatyper

Midlertidige kolonner gemmes uden tidszoneforskydning, hvilket er værd at huske på, før man sammenligner værdier skrevet af forskellige klynger.

Diverse Hive-datatyper

To yderligere primitiver ligger uden for de numeriske, streng- og datofamilier, men optræder regelmæssigt i virkelige skemaer.

Hive komplekse datatyper

Komplekse typer indlejrer værdier i én kolonne, hvilket fjerner den ekstra join, som et relationelt design ville have brug for.

Eksempel på komplekse Hive-datatyper

Tabellen ovenfor viser deklarationsformen. Sætningen nedenfor sætter tre af de komplekse typer i én tabel, så afgrænsningsklausulerne og adgangssyntaksen kan ses sammen.

CREATE TABLE employees (
  name      STRING,
  skills    ARRAY<STRING>,
  deductions MAP<STRING, FLOAT>,
  address   STRUCT<street:STRING, city:STRING, pin:INT>
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

Tre separate afgrænsere er nødvendige her: en mellem kolonner, en anden mellem elementerne i et ARRAY eller en STRUCTS, og en tredje mellem en MAP-nøgle og dens værdi. Når tabellen findes, læses hver kompleks kolonne med sin egen accessor.

SELECT name, skills[0], deductions['tax'], address.city
FROM employees;

Tabellen nedenfor opsummerer, hvilken accessor der tilhører hvilken type.

Komplekse typer kan indlejres, så ARRAY > er en gyldig kolonnedeklaration. Når kolonnelayoutet er fastlagt, bygges selve tabellerne med de udsagn, der er dækket i Opret, rediger og slet tabel i Hive.

Sådan opretter og dropper du databaser i Hive

En database i Hive er simpelthen et navnerum, der grupperer tabeller, så det er det første objekt, der oprettes, før noget tabelarbejde begynder. Følgende er trinnene til, hvordan du opretter og sletter databaser i Hive.

Trin 1) Opret database i Hive

For at oprette en database i Hive Shell skal vi bruge kommandoen som vist i syntaksen nedenfor:

Syntaks:

Create database <DatabaseName>

Eksempel: Opret databasen “guru99”

Skærmbilledet nedenfor viser create-kommandoen efterfulgt af en show-kommando, der viser alle databaser i klyngen.

Ud fra ovenstående skærmbillede gør vi to ting:

1. Oprettelse af database "guru99" i Hive
2. Visning af eksisterende databaser ved hjælp af kommandoen "show"

På samme skærm vises databasen “guru99” til sidst, når vi udfører show-kommandoen, hvilket betyder, at databasen “guru99” er oprettet.

Trin 2) Drop databasen i Hive

Til dropping en database i Hive shell, skal vi bruge kommandoen "drop" som vist i syntaksen nedenfor:

Syntaks:

Drop database <DatabaseName>

Eksempel: Drop database guru99

I det næste skærmbillede køres drop-sætningen først, og den efterfølgende show-kommando viser ikke længere databasen.

I skærmbilledet ovenfor gør vi to ting:

1. Vi er faldetping databasen 'guru99' fra Hive
2. Krydstjek det samme med kommandoen "vis"

På samme skærm, efter at have kontrolleret databaserne med show-kommandoen, vises databasen "guru99" ikke i Hive. Så vi kan nu bekræfte, at databasen "guru99" er slettet.

Hive-databasekommandoer: BRUG, BESKRIV, VIS og ÆNDRE DATABASE

De to ovenstående udsagn bruger deres korteste form. Den dokumenterede syntaks indeholder valgfrie klausuler, der bestemmer, hvor filerne lander, og hvad der sker, når navnet allerede er optaget.

CREATE DATABASE [IF NOT EXISTS] database_name
  [COMMENT database_comment]
  [LOCATION hdfs_path]
  [WITH DBPROPERTIES (property_name=property_value, ...)];

DROP DATABASE [IF EXISTS] database_name [RESTRICT|CASCADE];

Nøgleordene DATABASE og SCHEMA kan bruges i samme rækkefølge, så CREATE SCHEMA og CREATE DATABASE gør præcis det samme. De resterende kommandoer fuldender det daglige arbejde med et navnerum.

To standardindstillinger er værd at huske. Uden en LOCATION-klausul ligger filerne under warehouse-mappen, normalt /user/hive/warehouse/database_name.db, og uden IF EXISTS genererer et drop mod et manglende navn en fejl i stedet for at ske stille og roligt. Begge indstillinger bevares i Hive-metastore.

Hive-datatypekonvertering og almindelige fejl

Typer bruges ikke altid præcis som deklareret. Hive udvider automatisk en værdi, når ingen information kan gå tabt, og overlader alt andet til en eksplicit konvertering.

• Implicit udvidelse følger kæden TINYINT til SMALLINT til INT til BIGINT til FLOAT til DOUBLE, og en STRING, der indeholder cifre, forfremmes til DOUBLE.
• Indsnævring sker aldrig af sig selv, så en DOUBLE tildelt en INT-kolonne kræver en skriftlig konvertering.
• CAST udfører den skrevne konvertering, og den returnerer NULL i stedet for en fejl, når værdien ikke kan konverteres.

SELECT CAST(salary AS DECIMAL(10,2)) FROM employees;

Fejlene nedenfor forklarer de fleste af de overraskelser, som begyndere møder på deres første skema.

Når typerne opfører sig korrekt, er næste trin at indlæse og forespørge selve dataene, hvilket er dækket i Hive-forespørgsler med Sortér efter, Gruppér efter og Cluster By.

Ofte Stillede Spørgsmål