Hive-Datentypen: So erstellen und löschen Sie Datenbanken in Hive

Datentypen sind sehr wichtige Elemente der Hive-Abfragesprache und der Datenmodellierung. Um die Spaltentypen einer Tabelle zu definieren, müssen wir die Datentypen und ihre Verwendung kennen.

Im Folgenden finden Sie einen kurzen Überblick über einige in Hive vorhandene Datentypen:

• Numerische Typen
• String-Typen
• Datums-/Uhrzeittypen
• Komplexe Typen

Datentypen in Hive

Jede Hive-Spalte wird mit einem der unten aufgeführten Typen deklariert. Die primitiven Familien stehen an erster Stelle, gefolgt von den komplexen Typen, die mehr als einen Wert in einer einzelnen Spalte speichern können.

Numerische Hive-Datentypen

Numerische Spalten reichen von einem Byte bis zu acht Bytes. Durch die Wahl des kleinsten Datentyps, der zu den Werten passt, werden sowohl Speicher- als auch Scankosten reduziert.

Hive-String-Datentypen

Zeichenspalten gibt es in drei Formen, der Unterschied besteht darin, ob Hive eine festgelegte Länge erzwingt.

Hive-Datums-/Uhrzeitdatentypen

Zeitliche Spalten werden ohne Zeitzonenverschiebung gespeichert, was man sich merken sollte, bevor man Werte vergleicht, die von verschiedenen Clustern geschrieben wurden.

Verschiedene Datentypen in Hive

Zwei weitere primitive Datentypen stehen außerhalb der numerischen, Zeichenketten- und Datumsfamilien, kommen aber regelmäßig in realen Datenschemata vor.

Komplexe Hive-Datentypen

Komplexe Datentypen verschachteln Werte innerhalb einer Spalte, wodurch der zusätzliche Join entfällt, der bei einem relationalen Datentyp erforderlich wäre.

Beispiel für komplexe Datentypen in Hive

Die obige Tabelle zeigt die Deklarationsform. Die folgende Anweisung fasst drei der komplexen Datentypen in einer Tabelle zusammen, sodass die Trennklauseln und die Zugriffssyntax gemeinsam dargestellt werden können.

CREATE TABLE employees (
  name      STRING,
  skills    ARRAY<STRING>,
  deductions MAP<STRING, FLOAT>,
  address   STRUCT<street:STRING, city:STRING, pin:INT>
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

Hierfür werden drei separate Trennzeichen benötigt: eines zwischen Spalten, ein zweites zwischen den Elementen eines ARRAY oder einer STRUCT und ein drittes zwischen einem MAP-Schlüssel und seinem Wert. Sobald die Tabelle existiert, wird jede komplexe Spalte mit ihrer eigenen Zugriffsmethode gelesen.

SELECT name, skills[0], deductions['tax'], address.city
FROM employees;

Die folgende Tabelle fasst zusammen, welcher Accessor zu welchem ​​Typ gehört.

Komplexe Datentypen können verschachtelt sein, daher ARRAY > ist eine gültige Spaltendeklaration. Sobald das Spaltenlayout festgelegt ist, werden die Tabellen selbst mit den in diesem Abschnitt beschriebenen Anweisungen erstellt. Hive-Tabelle erstellen, ändern und löschen.

So erstellen und löschen Sie Datenbanken in Hive

Eine Datenbank in Hive ist im Grunde ein Namensraum, der Tabellen gruppiert. Daher muss sie als erstes Objekt erstellt werden, bevor mit der eigentlichen Tabellenarbeit begonnen wird. Im Folgenden werden die Schritte zum Erstellen und Löschen von Datenbanken in Hive beschrieben.

Schritt 1) ​​Datenbank in Hive erstellen

Um eine Datenbank in der Hive-Shell zu erstellen, muss der Befehl wie in der folgenden Syntax gezeigt verwendet werden:

Syntax:

Create database <DatabaseName>

Beispiel: Datenbank „guru99“ erstellen

Der folgende Screenshot zeigt die CREATE-Anweisung, gefolgt von einem SHOW-Befehl, der alle Datenbanken im Cluster auflistet.

Aus dem obigen Screenshot geht hervor, dass wir zwei Dinge tun:

1. Erstellen der Datenbank „guru99“ in Hive
2. Vorhandene Datenbanken mit dem Befehl „show“ anzeigen

Im selben Bildschirm wird am Ende die Datenbank „guru99“ angezeigt, wenn wir den Befehl „show“ ausführen. Dies bedeutet, dass die Datenbank „guru99“ erfolgreich erstellt wurde.

Schritt 2) Datenbank in Hive ablegen

Für Tropfenping Um eine Datenbank in der Hive-Shell zu erstellen, muss der Befehl „drop“ verwendet werden, wie in der folgenden Syntax gezeigt:

Syntax:

Drop database <DatabaseName>

Beispiel: Datenbank guru99 löschen

Im nächsten Screenshot wird zuerst die DROP-Anweisung ausgeführt, und der anschließende SHOW-Befehl listet die Datenbank nicht mehr auf.

Im obigen Screenshot tun wir zwei Dinge:

1. Wir fallen.ping Datenbank 'guru99' von Hive
2. Überprüfen Sie dies mit dem Befehl „show“.

Im selben Fenster wird nach der Überprüfung der Datenbanken mit dem Befehl „show“ die Datenbank „guru99“ nicht in Hive angezeigt. Wir können daher bestätigen, dass die Datenbank „guru99“ gelöscht wurde.

Hive-Datenbankbefehle: USE, DESCRIBE, SHOW und ALTER DATABASE

Die beiden obigen Anweisungen verwenden ihre kürzeste Form. Die dokumentierte Syntax enthält optionale Klauseln, die festlegen, wo die Dateien gespeichert werden und was geschieht, wenn der Name bereits vergeben ist.

CREATE DATABASE [IF NOT EXISTS] database_name
  [COMMENT database_comment]
  [LOCATION hdfs_path]
  [WITH DBPROPERTIES (property_name=property_value, ...)];

DROP DATABASE [IF EXISTS] database_name [RESTRICT|CASCADE];

Die Schlüsselwörter DATABASE und SCHEMA sind überall austauschbar, daher bewirken CREATE SCHEMA und CREATE DATABASE genau dasselbe. Die übrigen Befehle vervollständigen die tägliche Arbeit mit einem Namensraum.

Zwei Standardeinstellungen sind wichtig. Ohne eine LOCATION-Klausel befinden sich die Dateien im Warehouse-Verzeichnis, normalerweise /user/hive/warehouse/database_name.db, und ohne IF EXISTS führt das Löschen einer Datei mit einem nicht vorhandenen Namen zu einem Fehler, anstatt stillschweigend abgeschlossen zu werden. Beide Einstellungen werden in der Datei gespeichert. Hive Metastore.

Hive-Datentypkonvertierung und häufige Fehler

Typen werden nicht immer exakt so verwendet, wie sie deklariert sind. Hive erweitert einen Wert automatisch, wenn keine Informationen verloren gehen dürfen, und überlässt alles andere einer expliziten Konvertierung.

• Die implizite Erweiterung folgt der Kette TINYINT zu SMALLINT zu INT zu BIGINT zu FLOAT zu DOUBLE, und ein STRING, der Ziffern enthält, wird zu DOUBLE erweitert.
• Eine Datenkonvertierung erfolgt nie von selbst, daher ist für eine INT-Spalte, die vom Typ DOUBLE zugewiesen ist, eine schriftliche Konvertierung erforderlich.
• CAST führt diese Konvertierung durch und gibt NULL anstelle eines Fehlers zurück, wenn der Wert nicht konvertiert werden kann.

SELECT CAST(salary AS DECIMAL(10,2)) FROM employees;

Die folgenden Fehler erklären den Großteil der Überraschungen, denen Anfänger bei ihrem ersten Schema begegnen.

Sobald die Datentypen korrekt funktionieren, besteht der nächste Schritt darin, die Daten selbst zu laden und abzufragen, was in folgendem Abschnitt behandelt wird: Hive-Abfragen mit ORDER BY, GROUP BY und Cluster By.

Häufig gestellte Fragen