Що таке мова запитів Hive? HiveQL Operaторс

Що таке Hive Query Language (HiveQL)?

Hive Query Language (HiveQL) — це мова запитів у Вулик апачів для обробки та аналізу структурованих даних. Це відокремлює користувачів від складного програмування MapReduce. Він повторно використовує поширені концепції з реляційних баз даних, такі як таблиці, рядки, стовпці та схеми, для спрощення навчання. Hive надає CLI для написання запитів Hive за допомогою мови запитів Hive (HiveQL).

Більшість взаємодій зазвичай відбувається через інтерфейс командного рядка (CLI). Загалом синтаксис HiveQL схожий на синтаксис SQL синтаксис, з яким знайома більшість аналітиків даних. Чотири формати файлів, названі в оригінальній документації Hive, це TEXTFILE, SEQUENCEFILE, ORC та RCFILE (Record Columnar File); поточні версії також читають і записують Parquet та Avro, і ORC – це формат, який передбачає більшість посібників з налаштування.

Hive використовує вбудовану базу даних Derby для зберігання метаданих для одного користувача. Для розгортання для кількох користувачів або спільного розгортання сховища метаданих Hive використовує MySQL або іншу зовнішню реляційну базу даних, оскільки Derby дозволяє одночасно працювати лише з одним сеансом.

Вбудований HiveQL Operaторс

Hive надає вбудовані оператори для операцій з даними, які виконуються з таблицями, що зберігаються у сховищі Hive.

Ці оператори діють на операнди всередині виразу та повертають значення відповідно до застосованої логіки, незалежно від того, чи є ця логіка порівнянням, обчисленням чи пошуком у вкладеному стовпці.

Нижче наведено основні типи вбудованих операторів у HiveQL:

• Оператори відношення
• Арифметичні оператори
• Логічні оператори
• Operaтори на складних типах
• Конструктори складних типів

Кожна родина розглядається в окремому розділі нижче, разом із повною таблицею операторів для цієї родини.

Реляційний Operaторів у HiveQL

Ми використовуємо реляційні оператори для порівняння відношень між двома операндами.

• Operaтакі терміни, як дорівнює, не дорівнює, менше ніж та більше ніж.
• Типи операндів у цих операторах є примітивними типами, а оператори зіставлення зі зразком приймають лише рядки.

Кожен реляційний оператор повертає логічне значення (BOOLEAN), тому саме з цих операторів будуються речення WHERE, умова JOIN та гілка CASE WHEN. У наступній таблиці наведено детальну інформацію про реляційні оператори та їх використання в HiveQL:

Зверніть увагу, що порівняння з NULL ніколи не повертає TRUE або FALSE. Саме тому в таблиці оператори IS NULL та IS NOT NULL перелічені як окремі, а не очікується, що X = NULL працюватиме.

Арифметика HiveQL Operaторс

Ми використовуємо арифметичні оператори для виконання арифметичних операцій над операндами.

• Арифметичні операції, такі як додавання, відніманняtracМноження та ділення між операндами використовують ці оператори.
• Типи операндів у цих операторах є числовими типами.

Приклад:

2 + 3 дає результат 5.

У цьому прикладі '+' – це оператор, 2 та 3 – операнди, а повернене значення – 5.

У наступній таблиці наведено детальну інформацію про арифметичні оператори в мові запитів Hive:

Останні чотири рядки є побітовими, а не звичайними арифметичними операціями: вони оперують з двійковим представленням цілочисельних операндів, тому &, | та ^ не є тими самими, що й логічні І, АБО та НЕ, які розглядаються в наступному розділі.

Логічний HiveQL Operaторс

Ми використовуємо логічні оператори для виконання логічних операцій над операндами.

• Логічні операції, такі як І, АБО та НЕ між операндами, використовують ці оператори.
• Усі типи операндів у цих операторах є логічними.

У наступній таблиці наведено детальну інформацію про логічні оператори в HiveQL:

Оскільки реляційні оператори повертають логічне значення, їх об'єднують логічні оператори: предикат, такий як зарплата > 50000 ТА відділ = 'Продажі', пов'язує одну родину з іншою.

Operaтори на складні типи

Реляційні, арифметичні та логічні оператори працюють з одиничними скалярними значеннями. Hive також зберігає стовпці масивів, мап та структур, і їм потрібен інший механізм для доступу до елементів усередині них. У наступній таблиці наведено детальну інформацію про оператори складних типів, які забезпечують цей механізм:

Обидві форми є звичайними виразами, тому вони можуть з'являтися у списку SELECT, реченні WHERE або GROUP BY, а поле структури досягається за допомогою крапкової нотації, такої як S.field, замість квадратної дужки.

Конструктори складного типу

Там, де вищезгадані оператори зчитують існуючий складний стовпець, конструктори будують його. У наступній таблиці наведено детальну інформацію про конструктори складних типів, які створюють екземпляри складних типів даних — Array, Map та Struct — у Hive.

У цьому розділі ми розглянемо операції, що виконуються над конструкторами складних типів.

Конструктори найчастіше використовуються в INSERT, який заповнює складний стовпець, або в SELECT, який упаковує кілька скалярних стовпців в одну структуру перед записом результату в іншу таблицю.

Вбудовані функції HiveQL

OperaІнструменти охоплюють порівняння, обчислення та доступ до елементів, але вони не округлюють числа, не обрізають рядки або не виконують підрядкові дії.tracдві дати. Ця робота належить до вбудованих функцій Hive, які викликаються за іменем у тих самих виразах, у яких з'являються оператори. У таблиці нижче згруповано сімейства, з якими новачок зустрічається першим.

Список функцій залежить від версії Hive, тому варто читати його з самого сеансу, а не зі статичної сторінки. Для цього використовуються два оператори:

SHOW FUNCTIONS;

DESCRIBE FUNCTION round;

DESCRIBE FUNCTION EXTENDED round;

SHOW FUNCTIONS виводить усі зареєстровані імена, DESCRIBE FUNCTION друкує однорядковий підпис, а форма EXTENDED додає приклади використання там, де їх надає клас реалізації. Коли жодна вбудована функція не підходить, Hive приймає функція, визначена користувачем написане в Java.

HiveQL проти SQL: ключові відмінності

HiveQL навмисно запозичує синтаксис SQL, і таблиці операторів вище будуть знайомі кожному, хто писав SQL. Модель виконання нижче відрізняється, і відмінності з'являються, як тільки запит виходить за рамки простого SELECT.

Практичний наслідок для написання виразів невеликий, але реальний. OperaОператори поводяться належним чином, проте предикат, на який відповідав би індекс у реляційній базі даних, у Hive отримує відповідь шляхом сканування файлів, тому фільтрація за стовпцем розділу зазвичай має набагато більше значення, ніж налаштування самого оператора.

Поширені запитання