Typy danych Hive: jak tworzyć i upuszczać bazy danych w Hive

Typy danych są bardzo ważnymi elementami języka zapytań Hive i modelowania danych. Aby zdefiniować typy kolumn tabeli, musimy znać typy danych i ich zastosowanie.

Poniżej znajduje się krótki przegląd niektórych typów danych dostępnych w Hive:

• Typy numeryczne
• Typy ciągów
• Typy daty/godziny
• Typy złożone

Typy danych w Hive

Każda kolumna Hive jest deklarowana za pomocą jednego z poniższych typów. Najpierw pojawiają się rodziny prymitywne, a następnie typy złożone, które przechowują więcej niż jedną wartość w jednej kolumnie.

Numeryczne typy danych Hive

Kolumny numeryczne mają długość od jednego do ośmiu bajtów, więc wybranie najmniejszego typu, który pasuje do wartości, pozwala ograniczyć koszty przechowywania i skanowania.

Typy danych ciągu Hive

Kolumny znaków występują w trzech kształtach, a różnica polega na tym, czy Hive wymusza określoną długość.

Typy danych daty/godziny Hive

Kolumny czasowe są przechowywane bez przesunięcia strefy czasowej, o czym warto pamiętać przed porównaniem wartości zapisanych przez różne klastry.

Różne typy danych Hive

Dwa kolejne prymitywy znajdują się poza rodzinami liczb, ciągów znaków i dat, ale regularnie pojawiają się w rzeczywistych schematach.

Typy danych złożonych Hive

Typy złożone zagnieżdżają wartości w jednej kolumnie, co eliminuje dodatkowe połączenia, które byłyby wymagane w przypadku projektów relacyjnych.

Przykład złożonych typów danych Hive

Powyższa tabela przedstawia formę deklaracji. Poniższe polecenie umieszcza trzy typy złożone w jednej tabeli, dzięki czemu klauzule rozdzielające i składnia dostępu są widoczne razem.

CREATE TABLE employees (
  name      STRING,
  skills    ARRAY<STRING>,
  deductions MAP<STRING, FLOAT>,
  address   STRUCT<street:STRING, city:STRING, pin:INT>
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

Potrzebne są tutaj trzy oddzielne ograniczniki: jeden między kolumnami, drugi między elementami tablicy (ARRAY) lub struktury (STRUCT) oraz trzeci między kluczem MAP a jego wartością. Po utworzeniu tabeli każda kolumna złożona jest odczytywana za pomocą własnego akcesora.

SELECT name, skills[0], deductions['tax'], address.city
FROM employees;

Poniższa tabela podsumowuje, który akcesor należy do którego typu.

Typy złożone mogą być zagnieżdżane, więc ARRAY > jest prawidłową deklaracją kolumny. Po ustaleniu układu kolumn, same tabele są tworzone przy użyciu instrukcji omówionych w Hive tworzy, zmienia i usuwa tabele.

Jak tworzyć i upuszczać bazy danych w Hive

Baza danych w Hive to po prostu przestrzeń nazw grupująca tabele, dlatego jest to pierwszy obiekt tworzony przed rozpoczęciem jakichkolwiek operacji na tabelach. Poniżej przedstawiono kroki tworzenia i usuwania baz danych w Hive.

Krok 1) Utwórz bazę danych w Hive

Aby utworzyć bazę danych w powłoce Hive, musimy użyć polecenia pokazanego w poniższej składni:

Składnia:

Create database <DatabaseName>

Przykład: Utwórz bazę danych „guru99”

Poniższy zrzut ekranu pokazuje polecenie create, po którym następuje polecenie show, wyświetlające listę wszystkich baz danych w klastrze.

Na powyższym zrzucie ekranu widzimy, że robimy dwie rzeczy:

1. Tworzenie bazy danych „guru99” w Hive
2. Wyświetlanie istniejących baz danych za pomocą polecenia „show”

Na tym samym ekranie po wykonaniu polecenia show wyświetlana jest baza danych „guru99”, co oznacza, że ​​baza danych „guru99” została pomyślnie utworzona.

Krok 2) Usunięcie bazy danych w Hive

Do upuszczeniaping bazy danych w powłoce Hive, musimy użyć polecenia „drop”, jak pokazano w poniższej składni:

Składnia:

Drop database <DatabaseName>

Przykład: Usuń bazę danych guru99

Na kolejnym zrzucie ekranu najpierw wykonywane jest polecenie drop, a następujące po nim polecenie show nie wyświetla już bazy danych.

Na powyższym zrzucie ekranu robimy dwie rzeczy:

1. Jesteśmy kropląping baza danych „guru99” z Hive
2. Sprawdzanie krzyżowe tego samego za pomocą polecenia „show”

Na tym samym ekranie, po sprawdzeniu baz danych poleceniem show, baza danych „guru99” nie pojawia się w Hive. Możemy więc potwierdzić, że baza danych „guru99” została usunięta.

Polecenia bazy danych Hive: USE, DESCRIBE, SHOW i ALTER DATABASE

Dwa powyższe polecenia używają najkrótszej formy. Udokumentowana składnia zawiera klauzule opcjonalne, które decydują o miejscu przechowywania plików i o tym, co się stanie, gdy nazwa jest już zajęta.

CREATE DATABASE [IF NOT EXISTS] database_name
  [COMMENT database_comment]
  [LOCATION hdfs_path]
  [WITH DBPROPERTIES (property_name=property_value, ...)];

DROP DATABASE [IF EXISTS] database_name [RESTRICT|CASCADE];

Słowa kluczowe DATABASE i SCHEMA są wymienne, więc CREATE SCHEMA i CREATE DATABASE działają dokładnie tak samo. Pozostałe polecenia uzupełniają codzienną pracę o przestrzeń nazw.

Warto zapamiętać dwa ustawienia domyślne. Bez klauzuli LOCATION pliki znajdują się w katalogu magazynu, zazwyczaj /user/hive/warehouse/database_name.db, a bez klauzuli IF EXISTS usunięcie brakującej nazwy powoduje błąd zamiast przejść bez problemu. Oba ustawienia są przechowywane w Metamagazyn Hive.

Konwersja typów danych Hive i typowe błędy

Typy nie zawsze są używane dokładnie tak, jak zostały zadeklarowane. Hive automatycznie rozszerza wartość, gdy nie ma możliwości utraty informacji, a resztę pozostawia jawnej konwersji.

• Niejawne poszerzenie następuje po łańcuchu TINYINT, SMALLINT, INT, BIGINT, FLOAT, DOUBLE, a STRING zawierający cyfry jest promowany do DOUBLE.
• Zwężenie nigdy nie następuje samoistnie, więc wartość DOUBLE przypisana do kolumny INT wymaga pisemnej konwersji.
• CAST wykonuje tę zapisaną konwersję i zwraca NULL zamiast błędu, jeśli wartości nie można przekonwertować.

SELECT CAST(salary AS DECIMAL(10,2)) FROM employees;

Poniższe błędy są przyczyną większości niespodzianek, z jakimi spotykają się początkujący podczas swojego pierwszego schematu.

Gdy typy zachowują się prawidłowo, następnym krokiem jest załadowanie i zapytanie samych danych, co zostało omówione w Zapytania Hive z opcją Sortuj według, Grupuj według i Cluster By.

FAQ