Типи даних Hive: як створювати та видаляти бази даних у Hive

Типи даних є дуже важливими елементами мови запитів Hive та моделювання даних. Для визначення типів стовпців таблиці нам потрібно знати про типи даних та їх використання.

Нижче наведено короткий огляд деяких типів даних, присутніх у Hive:

• Числові типи
• Типи рядків
• Типи дати/часу
• Складні типи

Типи даних у Hive

Кожен стовпець Hive оголошується з одним із наведених нижче типів. Першими йдуть примітивні сімейства, а потім складні типи, які містять більше одного значення в одному стовпці.

Числові типи даних Hive

Числові стовпці мають розмір від одного байта до восьми байтів, тому вибір найменшого типу, який відповідає значенням, знижує як витрати на зберігання, так і витрати на сканування.

Типи даних Hive String

Стовпці символів бувають трьох форм, і різниця полягає в тому, чи застосовує Hive оголошену довжину.

Типи даних дати/часу вулика

Тимчасові стовпці зберігаються без будь-якого зміщення часового поясу, що варто пам'ятати перед порівнянням значень, записаних різними кластерами.

Різні типи даних Hive

Два інших примітиви знаходяться поза числовими, рядковими та датовими сімействами, але регулярно з'являються в реальних схемах.

Комплексні типи даних Hive

Складні типи вкладають значення в один стовпець, що усуває додаткове об'єднання, необхідне для реляційного дизайну.

Приклад складних типів даних Hive

У таблиці вище наведено форму оголошення. У наведеному нижче операторі три складні типи поміщаються в одну таблицю, щоб роздільники та синтаксис доступу можна було побачити разом.

CREATE TABLE employees (
  name      STRING,
  skills    ARRAY<STRING>,
  deductions MAP<STRING, FLOAT>,
  address   STRUCT<street:STRING, city:STRING, pin:INT>
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

Тут потрібні три окремі роздільники: один між стовпцями, другий між елементами масиву ARRAY або STRUCT, і третій між ключем MAP та його значенням. Після того, як таблиця існує, кожен складний стовпець зчитується з власним методом доступу.

SELECT name, skills[0], deductions['tax'], address.city
FROM employees;

У таблиці нижче підсумовано, який аксесор належить до якого типу.

Складні типи можуть бути вкладеними, тому ARRAY > є коректним оголошенням стовпця. Після того, як макет стовпця визначено, самі таблиці будуються за допомогою операторів, описаних у Створення, зміна та видалення таблиці у вулику.

Як створювати та видаляти бази даних у Hive

База даних у Hive — це просто простір імен, який групує таблиці, тому це перший об'єкт, який створюється перед початком будь-якої роботи з таблицями. Нижче наведено кроки щодо створення та видалення баз даних у Hive.

Крок 1) Створення бази даних у Hive

Для створення бази даних в оболонці Hive нам потрібно використовувати команду, синтаксис як показано нижче:

Синтаксис:

Create database <DatabaseName>

Приклад: Створення бази даних «guru99»

На скріншоті нижче показано оператор create, а потім команду show, яка перераховує всі бази даних у кластері.

З наведеного вище скріншоту видно, що ми робимо дві речі:

1. Створення бази даних “guru99” у Hive
2. Відображення існуючих баз даних за допомогою команди «show»

На тому ж екрані база даних «guru99» відображається в кінці виконання команди show, що означає, що база даних «guru99» успішно створена.

Крок 2) Перетягніть базу даних у Hive

Для падінняping Для бази даних в оболонці Hive нам потрібно використовувати команду «drop», як показано в синтаксисі нижче:

Синтаксис:

Drop database <DatabaseName>

Приклад: Видалити базу даних guru99

На наступному скріншоті оператор drop виконується першим, а наступна команда show більше не відображає базу даних.

На наведеному вище скріншоті ми робимо дві речі:

1. Ми падаємоping база даних 'guru99' з Hive
2. Перевірка того ж за допомогою команди «показати»

На тому ж екрані, після перевірки баз даних за допомогою команди show, база даних «guru99» не відображається в Hive. Тож тепер ми можемо підтвердити, що база даних «guru99» видалена.

Команди бази даних Hive: USE, DESCRIBE, SHOW та ALTER DATABASE

Два наведені вище оператори використовують свою найкоротшу форму. Задокументований синтаксис містить додаткові речення, які визначають, куди потрапляють файли та що відбувається, коли ім'я вже зайняте.

CREATE DATABASE [IF NOT EXISTS] database_name
  [COMMENT database_comment]
  [LOCATION hdfs_path]
  [WITH DBPROPERTIES (property_name=property_value, ...)];

DROP DATABASE [IF EXISTS] database_name [RESTRICT|CASCADE];

Ключові слова DATABASE та SCHEMA взаємозамінні, тому CREATE SCHEMA та CREATE DATABASE виконують ту саму дію. Решта команд доповнюють щоденну роботу з простором імен.

Варто запам'ятати два значення за замовчуванням. Без речення LOCATION файли знаходяться в каталозі сховища даних, зазвичай /user/hive/warehouse/database_name.db, а без IF EXISTS видалення на відсутнє ім'я викликає помилку, а не передає дані непомітно. Обидва налаштування зберігаються в Метасховище вулика.

Перетворення типів даних Hive та поширені помилки

Типи не завжди використовуються точно так, як оголошено. Hive автоматично розширює значення, коли жодна інформація не може бути втрачена, і залишає все інше для явного перетворення.

• Неявне розширення виконується за ланцюжком TINYINT до SMALLINT, потім до INT, потім до BIGINT, потім до FLOAT, потім до DOUBLE, а рядок STRING, що містить цифри, перетворюється на DOUBLE.
• Звуження ніколи не відбувається саме по собі, тому значення DOUBLE, призначене стовпцю INT, потребує письмового перетворення.
• CAST виконує це записане перетворення та повертає NULL, а не помилку, коли значення не може бути перетворене.

SELECT CAST(salary AS DECIMAL(10,2)) FROM employees;

Наведені нижче помилки пояснюють більшість несподіванок, з якими стикаються новачки на своїх перших схемах.

Після того, як типи поведуть себе, наступним кроком є ​​завантаження та запитування самих даних, що розглядається в Запити до куща з функціями «Упорядкування за», «Групування за» та Cluster By.

Поширені запитання