Типове данни в Hive: Как да създавате и премахвате бази данни в Hive

Типовете данни са много важни елементи в езика за заявки на Hive и моделирането на данни. За да дефинираме типовете колони в таблицата, трябва да знаем за типовете данни и тяхното използване.

Следва кратък преглед на някои типове данни, налични в Hive:

• Числови типове
• Типове низове
• Типове дата/час
• Сложни типове

Типове данни в Hive

Всяка колона на Hive е декларирана с един от типовете по-долу. Примитивните семейства са първи, следвани от сложните типове, които съдържат повече от една стойност в една колона.

Числови типове данни на кошера

Числовите колони варират от един байт до осем байта, така че избирането на най-малкия тип, който отговаря на стойностите, намалява както разходите за съхранение, така и разходите за сканиране.

Типове данни за низове на Hive

Колоните със символи се предлагат в три форми, а разликата е дали Hive налага декларирана дължина.

Типове данни за дата/час на кошера

Временните колони се съхраняват без отместване спрямо часовата зона, което е добре да се помни, преди да се сравняват стойности, записани от различни клъстери.

Разни типове данни за кошера

Два други примитива се намират извън числовите, низовите и датните семейства, но се появяват редовно в реални схеми.

Сложни типове данни на Hive

Сложните типове влагат стойности в една колона, което премахва допълнителното съединение, от което би се нуждаел релационният дизайн.

Пример за сложни типове данни на кошера

Таблицата по-горе дава формата на декларацията. Операторът по-долу поставя три от сложните типове в една таблица, така че клаузите за разделители и синтаксисът за достъп могат да се видят заедно.

CREATE TABLE employees (
  name      STRING,
  skills    ARRAY<STRING>,
  deductions MAP<STRING, FLOAT>,
  address   STRUCT<street:STRING, city:STRING, pin:INT>
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

Тук са необходими три отделни разделителя: един между колоните, втори между елементите на ARRAY или STRUCT и трети между MAP ключ и неговата стойност. След като таблицата съществува, всяка сложна колона се чете със собствен метод за достъп.

SELECT name, skills[0], deductions['tax'], address.city
FROM employees;

Таблицата по-долу обобщава кой аксесор принадлежи към кой тип.

Сложните типове могат да бъдат вложени, така че ARRAY > е валидна декларация на колона. След като оформлението на колоните е установено, самите таблици се изграждат с операторите, обхванати в Създаване, промяна и премахване на таблица в Hive.

Как да създавате и премахвате бази данни в Hive

Базата данни в Hive е просто пространство от имена, което групира таблици, така че е първият обект, който се създава, преди да започне каквато и да е работа с таблици. Следват стъпките за това как да създавате и премахвате бази данни в Hive.

Стъпка 1) Създаване на база данни в Hive

За да създадем база данни в Hive shell, трябва да използваме командата, както е показано в синтаксиса по-долу:

Синтаксис:

Create database <DatabaseName>

Пример: Създаване на база данни „guru99“

Екранната снимка по-долу показва командата create, последвана от командата show, изброяваща всички бази данни в клъстера.

От горната екранна снимка правим две неща:

1. Създаване на база данни „guru99“ в Hive
2. Показване на съществуващи бази данни с помощта на командата „show“

На същия екран, базата данни „guru99“ се показва в края, когато изпълним командата show, което означава, че базата данни „guru99“ е създадена успешно.

Стъпка 2) Преместване на базата данни в Hive

За капкаping база данни в Hive shell, трябва да използваме командата „drop“, както е показано в синтаксиса по-долу:

Синтаксис:

Drop database <DatabaseName>

Пример: Премахване на база данни guru99

На следващата екранна снимка командата drop се изпълнява първа, а командата show, която следва, вече не изброява базата данни.

На горната екранна снимка правим две неща:

1. Ние сме капкаping база данни „guru99“ от Hive
2. Кръстосана проверка с командата „show“

На същия екран, след проверка на базите данни с командата show, базата данни „guru99“ не се появява в Hive. Така че сега можем да потвърдим, че базата данни „guru99“ е премахната.

Команди за база данни на Hive: USE, DESCRIBE, SHOW и ALTER DATABASE

Двете горни твърдения използват най-кратката си форма. Документираният синтаксис съдържа незадължителни клаузи, които решават къде се намират файловете и какво се случва, когато името вече е заето.

CREATE DATABASE [IF NOT EXISTS] database_name
  [COMMENT database_comment]
  [LOCATION hdfs_path]
  [WITH DBPROPERTIES (property_name=property_value, ...)];

DROP DATABASE [IF EXISTS] database_name [RESTRICT|CASCADE];

Ключовите думи DATABASE и SCHEMA са взаимозаменяеми навсякъде, така че CREATE SCHEMA и CREATE DATABASE правят абсолютно едно и също нещо. Останалите команди допълват ежедневната работа с пространство от имена.

Струва си да се запомнят две настройки по подразбиране. Без клауза LOCATION файловете се намират в директорията на хранилището, обикновено /user/hive/warehouse/database_name.db, а без IF EXISTS, премахването на липсващо име ще предизвика грешка, вместо да премине безшумно. И двете настройки се съхраняват в Метахранилище на кошера.

Преобразуване на типа данни в Hive и често срещани грешки

Типовете не винаги се използват точно както са декларирани. Hive разширява стойността автоматично, когато не може да се загуби информация, и оставя всичко останало на изрично преобразуване.

• Имплицитното разширяване следва веригата TINYINT към SMALLINT към INT към BIGINT към FLOAT към DOUBLE, а STRING, който съдържа цифри, се преобразува в DOUBLE.
• Стесняването никога не се случва само по себе си, така че DOUBLE, присвоен на колона INT, се нуждае от писмено преобразуване.
• CAST извършва това писмено преобразуване и връща NULL, а не грешка, когато стойността не може да бъде преобразувана.

SELECT CAST(salary AS DECIMAL(10,2)) FROM employees;

Грешките по-долу обясняват повечето изненади, с които се сблъскват начинаещите при първата си схема.

След като типовете се държат добре, следващата стъпка е зареждането и заявките към самите данни, което е разгледано в Заявки за кошер с подреждане по, групиране по и Cluster By.

Въпроси и Отговори