Типы данных Hive: как создавать и удалять базы данных в Hive

Типы данных являются очень важными элементами в языке запросов Hive и моделировании данных. Для определения типов столбцов таблицы необходимо знать типы данных и их использование.

Ниже приведён краткий обзор некоторых типов данных, присутствующих в Hive:

• Числовые типы
• Типы строк
• Типы даты/времени
• Сложные типы

Типы данных в Hive

Каждый столбец Hive объявляется с одним из перечисленных ниже типов. Первыми идут примитивные типы, за ними следуют сложные типы, которые могут содержать более одного значения в одном столбце.

Числовые типы данных Hive

Числовые столбцы могут содержать от одного до восьми байтов данных, поэтому выбор наименьшего типа, соответствующего значениям, позволяет снизить как затраты на хранение, так и на сканирование.

Типы данных Hive String

Символьные столбцы бывают трех типов, и разница между ними заключается в том, устанавливает ли Hive заданную длину.

Типы данных даты и времени Hive

Столбцы с временными данными хранятся без учета смещения часового пояса, что стоит помнить перед сравнением значений, записанных разными кластерами.

Различные типы данных Hive

Еще два примитива находятся за пределами семейств числовых, строковых и датовых данных, но регулярно встречаются в реальных схемах.

Сложные типы данных Hive

Сложные типы данных вкладывают значения в один столбец, что устраняет необходимость в дополнительном соединении, которое потребовалось бы в реляционной структуре.

Пример сложных типов данных Hive

В таблице выше представлена ​​форма объявления. Приведенное ниже выражение объединяет три сложных типа в одну таблицу, чтобы можно было одновременно увидеть разделительные предложения и синтаксис доступа.

CREATE TABLE employees (
  name      STRING,
  skills    ARRAY<STRING>,
  deductions MAP<STRING, FLOAT>,
  address   STRUCT<street:STRING, city:STRING, pin:INT>
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

Здесь необходимы три отдельных разделителя: один между столбцами, второй между элементами массива или структуры и третий между ключом MAP и его значением. После создания таблицы каждый сложный столбец считывается с помощью собственного метода доступа.

SELECT name, skills[0], deductions['tax'], address.city
FROM employees;

В таблице ниже приведена сводная информация о том, к какому типу относится тот или иной аксессор.

Сложные типы могут быть вложенными, поэтому ARRAY > — это допустимое объявление столбца. После определения структуры столбцов сами таблицы создаются с помощью операторов, описанных в Создание, изменение и удаление таблиц в Hive..

Как создавать и удалять базы данных в Hive

В Hive база данных — это просто пространство имен, объединяющее таблицы, поэтому это первый объект, который необходимо создать перед началом любой работы с таблицами. Ниже описаны шаги по созданию и удалению баз данных в Hive.

Шаг 1) Создайте базу данных в Hive.

Для создания базы данных в оболочке Hive необходимо использовать команду, представленную в синтаксисе ниже:

Синтаксис:

Create database <DatabaseName>

Пример: Создать базу данных «guru99»

На скриншоте ниже показана команда создания базы данных, за которой следует команда show, отображающая список всех баз данных в кластере.

На скриншоте выше мы делаем две вещи:

1. Создание базы данных «guru99» в Hive
2. Отображение существующих баз данных с помощью команды «show».

На том же экране в конце выполнения команды show отображается база данных «guru99», что означает успешное создание базы данных «guru99».

Шаг 2) Удалите базу данных в Hive.

Для паденияping Для работы с базой данных в оболочке Hive необходимо использовать команду «drop», как показано в синтаксисе ниже:

Синтаксис:

Drop database <DatabaseName>

Пример: Удалить базу данных guru99

На следующем скриншоте сначала выполняется команда drop, а команда show, которая следует за ней, больше не отображает базу данных.

На скриншоте выше мы делаем две вещи:

1. Мы — капляping база данных 'guru99' из Hive
2. Проверьте это с помощью команды «show».

На том же экране после проверки баз данных с помощью команды show база данных «guru99» не отображается в Hive. Таким образом, теперь мы можем подтвердить, что база данных «guru99» удалена.

Команды базы данных Hive: USE, DESCRIBE, SHOW и ALTER DATABASE

В двух приведенных выше утверждениях используется их кратчайшая форма. Документированный синтаксис содержит необязательные условия, определяющие, куда будут помещены файлы и что произойдет, если имя уже занято.

CREATE DATABASE [IF NOT EXISTS] database_name
  [COMMENT database_comment]
  [LOCATION hdfs_path]
  [WITH DBPROPERTIES (property_name=property_value, ...)];

DROP DATABASE [IF EXISTS] database_name [RESTRICT|CASCADE];

Ключевые слова DATABASE и SCHEMA взаимозаменяемы, поэтому команды CREATE SCHEMA и CREATE DATABASE выполняют одно и то же действие. Остальные команды завершают повседневную работу с пространством имен.

Стоит запомнить два параметра по умолчанию. Без условия LOCATION файлы находятся в каталоге хранилища, обычно /user/hive/warehouse/database_name.db, а без условия IF EXISTS удаление файла с отсутствующим именем вызовет ошибку вместо того, чтобы пройти проверку без проблем. Оба параметра хранятся в файле конфигурации. Хранилище метаданных улья.

Преобразование типов данных в Hive и распространенные ошибки

Типы не всегда используются точно так, как заявлено. Hive автоматически расширяет значение, если нельзя потерять никакой информации, а все остальное оставляет на явное преобразование.

• Неявное расширение происходит по цепочке TINYINT — SMALLINT — INT — BIGINT — FLOAT — DOUBLE, при этом строка, содержащая цифры, преобразуется в тип DOUBLE.
• Сужение диапазона значений никогда не происходит само по себе, поэтому для присвоения значения типа DOUBLE столбцу типа INT требуется текстовое преобразование.
• Функция CAST выполняет преобразование, и в случае невозможности преобразования значения она возвращает NULL, а не ошибку.

SELECT CAST(salary AS DECIMAL(10,2)) FROM employees;

Приведенные ниже ошибки объясняют большинство неожиданностей, с которыми сталкиваются новички при создании своей первой схемы.

После того как типы данных будут корректно распознаны, следующим шагом станет загрузка и запрос самих данных, что описано в соответствующем разделе. Запросы Hive с сортировкой, группировкой и Cluster By.

Часто задаваемые вопросы (FAQ)