Hive-gegevenstypen: databases maken en verwijderen in Hive

Gegevenstypen zijn zeer belangrijke elementen in de Hive-querytaal en datamodellering. Om de gegevenstypen van tabelkolommen te definiëren, moeten we de gegevenstypen en hun gebruik kennen.

Hieronder volgt een kort overzicht van enkele gegevenstypen die in Hive aanwezig zijn:

• Numerieke typen
• String-typen
• Datum-/tijdtypen
• Complexe typen

Gegevenstypen in Hive

Elke Hive-kolom wordt gedeclareerd met een van de onderstaande typen. De primitieve typen komen eerst, gevolgd door de complexe typen die meer dan één waarde in een enkele kolom kunnen bevatten.

Hive numerieke gegevenstypen

Numerieke kolommen variëren van één tot acht bytes, dus door het kleinste type te kiezen dat bij de waarden past, blijven zowel de opslag- als de scankosten laag.

Hive-tekenreeksgegevenstypen

Tekstkolommen zijn er in drie vormen, en het verschil zit hem in de vraag of Hive een opgegeven lengte afdwingt.

Datum-/tijdgegevenstypen voor Hives

Tijdskolommen worden opgeslagen zonder tijdzone-offset, iets om te onthouden bij het vergelijken van waarden die door verschillende clusters zijn geschreven.

Diverse gegevenstypen voor Hive

Twee andere basistypen vallen buiten de numerieke, tekenreeks- en datumfamilies, maar komen wel regelmatig voor in echte schema's.

Complexe gegevenstypen van Hive

Bij complexe gegevenstypen worden waarden binnen één kolom genest, waardoor de extra join die bij een relationeel ontwerp nodig zou zijn, overbodig wordt.

Voorbeeld van complexe gegevenstypen in Hive

De bovenstaande tabel toont de declaratievorm. De onderstaande instructie plaatst drie van de complexe typen in één tabel, zodat de scheidingsclausules en de toegangssyntaxis samen zichtbaar zijn.

CREATE TABLE employees (
  name      STRING,
  skills    ARRAY<STRING>,
  deductions MAP<STRING, FLOAT>,
  address   STRUCT<street:STRING, city:STRING, pin:INT>
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

Hier zijn drie afzonderlijke scheidingstekens nodig: één tussen kolommen, een tweede tussen de elementen van een array of structuur, en een derde tussen een sleutel en de bijbehorende waarde in een map. Zodra de tabel bestaat, wordt elke complexe kolom gelezen met een eigen accessor.

SELECT name, skills[0], deductions['tax'], address.city
FROM employees;

De onderstaande tabel geeft een overzicht van welke accessor bij welk type hoort.

Complexe gegevenstypen kunnen genest zijn, dus ARRAY > is een geldige kolomdeclaratie. Zodra de kolomindeling is vastgesteld, worden de tabellen zelf opgebouwd met de instructies die in Hive-tabel aanmaken, wijzigen en verwijderen.

Databases maken en verwijderen in Hive

Een database in Hive is simpelweg een naamruimte die tabellen groepeert. Het is daarom het eerste object dat je aanmaakt voordat je met tabellen begint. Hieronder volgen de stappen voor het aanmaken en verwijderen van databases in Hive.

Stap 1) Een database aanmaken in Hive

Om een ​​database in de Hive-shell aan te maken, moeten we de opdracht gebruiken zoals weergegeven in de onderstaande syntax:

Syntax:

Create database <DatabaseName>

Voorbeeld: Maak de database “guru99” aan.

De onderstaande schermafbeelding toont de CREATE-instructie, gevolgd door een SHOW-opdracht die alle databases in het cluster weergeeft.

Uit de bovenstaande schermafbeelding blijkt dat we twee dingen doen:

1. Database “guru99” maken in Hive
2. Bestaande databases weergeven met behulp van het commando "show".

Op hetzelfde scherm wordt aan het einde, na het uitvoeren van het commando 'show', de database 'guru99' weergegeven. Dit betekent dat de database 'guru99' succesvol is aangemaakt.

Stap 2) Verwijder de database in Hive.

Voor dropping Om een ​​database in de Hive-shell te verwijderen, moeten we het commando "drop" gebruiken, zoals in de onderstaande syntax wordt weergegeven:

Syntax:

Drop database <DatabaseName>

Voorbeeld: Verwijder de database guru99

In de volgende schermafbeelding wordt eerst de drop-instructie uitgevoerd, en de daaropvolgende show-opdracht geeft de database niet meer weer.

In de bovenstaande schermafbeelding doen we twee dingen:

1. We droppen af.ping database 'guru99' van Hive
2. Controleer dit ook met het commando "show".

Op hetzelfde scherm, na het controleren van de databases met het commando 'show', verschijnt database 'guru99' niet meer in Hive. We kunnen dus nu bevestigen dat database 'guru99' is verwijderd.

Hive-databaseopdrachten: USE, DESCRIBE, SHOW en ALTER DATABASE

De twee bovenstaande verklaringen gebruiken hun kortste vorm. De gedocumenteerde syntaxis bevat optionele clausules die bepalen waar de bestanden terechtkomen en wat er gebeurt als de naam al in gebruik is.

CREATE DATABASE [IF NOT EXISTS] database_name
  [COMMENT database_comment]
  [LOCATION hdfs_path]
  [WITH DBPROPERTIES (property_name=property_value, ...)];

DROP DATABASE [IF EXISTS] database_name [RESTRICT|CASCADE];

De sleutelwoorden DATABASE en SCHEMA zijn overal uitwisselbaar, dus CREATE SCHEMA en CREATE DATABASE doen precies hetzelfde. De overige commando's vullen de dagelijkse werkzaamheden met een namespace aan.

Twee standaardinstellingen zijn het onthouden waard. Zonder een LOCATION-clausule bevinden de bestanden zich in de warehouse-directory, normaal gesproken /user/hive/warehouse/database_name.db, en zonder IF EXISTS leidt het verwijderen van een bestand met een ontbrekende naam tot een foutmelding in plaats van dat het bestand zonder problemen wordt verwijderd. Beide instellingen worden bewaard in het bestand. Hive metastore.

Conversie van gegevenstypen in Hive en veelvoorkomende fouten

Typen worden niet altijd exact gebruikt zoals ze zijn gedeclareerd. Hive verbreedt een waarde automatisch wanneer er geen informatie verloren kan gaan, en laat alle andere gevallen over aan een expliciete conversie.

• Impliciete verbreding volgt de keten TINYINT naar SMALLINT naar INT naar BIGINT naar FLOAT naar DOUBLE, en een STRING die cijfers bevat, wordt gepromoveerd naar DOUBLE.
• Een versmalling vindt nooit vanzelf plaats, dus een DOUBLE die aan een INT-kolom is toegewezen, vereist een schriftelijke conversie.
• CAST voert die geschreven conversie uit en retourneert NULL in plaats van een foutmelding wanneer de waarde niet kan worden geconverteerd.

SELECT CAST(salary AS DECIMAL(10,2)) FROM employees;

De onderstaande fouten verklaren de meeste verrassingen waar beginners tegenaan lopen bij hun eerste schema.

Zodra de gegevenstypen correct functioneren, is de volgende stap het laden en opvragen van de gegevens zelf, wat wordt behandeld in Hive-query's met ORDER BY, GROUP BY en Cluster By.

Veelgestelde vragen