Какво е език за заявки Hive? HiveQL Operaтори

Какво е Hive Query Language (HiveQL)?

Hive Query Language (HiveQL) е език за заявки в Apache Hive за обработка и анализ на структурирани данни. Той отделя потребителите от сложността на програмирането с MapReduce. Използва повторно общи концепции от релационни бази данни, като таблици, редове, колони и схеми, за да улесни обучението. Hive предоставя CLI за писане на заявки в Hive, използвайки Hive Query Language (HiveQL).

Повечето взаимодействия обикновено се осъществяват през интерфейс на командния ред (CLI). Като цяло синтаксисът на HiveQL е подобен на SQL синтаксис, с който повечето анализатори на данни са запознати. Четирите файлови формата, посочени в оригиналната документация на Hive, са TEXTFILE, SEQUENCEFILE, ORC и RCFILE (Record Columnar File); текущите версии също четат и записват Parquet и Avro, а ORC е форматът, който повечето ръководства за настройка приемат.

Hive използва вградена база данни Derby за съхранение на метаданни за един потребител. За многопотребителски или споделени метахранилища, Hive използва MySQL или друга външна релационна база данни, защото Derby позволява само една сесия едновременно.

Вграден HiveQL Operaтори

Hive предоставя вградени оператори за операциите с данни, които се изпълняват спрямо таблиците, съхранявани в хранилището на Hive.

Тези оператори действат върху операнди в израз и връщат стойност според приложената логика, независимо дали тази логика е сравнение, изчисление или търсене във вложена колона.

По-долу са изброени основните видове вградени оператори в HiveQL:

• Релационни оператори
• Аритметични оператори
• Логическите оператори
• Operaтори на сложни типове
• Конструктори от сложен тип

Всяко семейство е разгледано в отделен раздел по-долу, заедно с пълната таблица с оператори за това семейство.

Релационна Operaтори в HiveQL

Използваме релационни оператори за сравняване на връзки между два операнда.

• Operaизрази като равно, не е равно, по-малко от и по-голямо от.
• Типовете операнди в тези оператори са примитивни типове, а операторите за съпоставяне на шаблони приемат само низове.

Всеки релационен оператор връща BOOLEAN стойност, поради което от тези оператори се изграждат клауза WHERE, условие JOIN и клон CASE WHEN. Следната таблица дава подробности за релационните оператори и тяхното използване в HiveQL:

Обърнете внимание, че сравнението с NULL никога не връща TRUE или FALSE. Това е причината таблицата да изброява IS NULL и IS NOT NULL като отделни оператори, вместо да се очаква X = NULL да работи.

HiveQL аритметика Operaтори

Използваме аритметични оператори за извършване на аритметични операции с операнди.

• Аритметични операции като събиране, извличанеtracОперациите умножение и деление между операнди използват тези оператори.
• Типовете операнди в тези оператори са всички числови типове.

Примерен пример:

2 + 3 дава резултат 5.

В този пример „+“ е операторът, 2 и 3 са операндите, а върнатата стойност е 5.

Следната таблица дава подробности за аритметичните оператори в Hive Query Language:

Последните четири реда са побитови, а не обикновени аритметични операции: те работят с двоичното представяне на целочислените операнди, така че &, | и ^ не са същите като логическите AND, OR и NOT, разгледани в следващия раздел.

HiveQL Логическа Operaтори

Използваме логически оператори за извършване на логически операции с операнди.

• Логически операции като И, ИЛИ и НЕ между операнди използват тези оператори.
• Всички типове операнди в тези оператори са от тип BOOLEAN.

Следната таблица дава подробности за логическите оператори в HiveQL:

Тъй като релационните оператори връщат булеви стойности, логическите оператори са това, което ги комбинира: предикат като заплата > 50000 И отдел = 'Продажби' свързва едно семейство с другото.

Operaторове за сложни типове

Релационните, аритметичните и логическите оператори работят с единични скаларни стойности. Hive също така съхранява колони тип array, map и struct, а те се нуждаят от различен механизъм за достигане до елементите вътре в тях. Следната таблица дава подробности за операторите от сложен тип, които предоставят този механизъм:

И двете форми са обикновени изрази, така че могат да се появят в SELECT списък, WHERE клауза или GROUP BY, а полето на структурата се достига с точкова нотация, като например S.field, вместо със скоба.

Конструктори от сложен тип

Където горните оператори четат съществуваща сложна колона, конструкторите изграждат такава. Следната таблица дава подробности за конструкторите на сложни типове, които създават екземпляри на сложните типове данни — Array, Map и Struct — в Hive.

В този раздел ще видим операциите, извършвани върху конструктори от сложен тип.

Конструкторите най-често се използват в INSERT, който попълва сложна колона, или в SELECT, който пакетира няколко скаларни колони в една структура, преди да запише резултата в друга таблица.

Вградени функции на HiveQL

OperaИнструментите обхващат сравнение, изчисление и достъп до елементи, но не закръгляват числа, не отрязват низове или не извършват подзаглавия.tracдве дати. Тази работа принадлежи към вградените функции на Hive, които се извикват по име в същите изрази, в които се появяват операторите. Таблицата по-долу групира семействата, с които начинаещият се среща първо.

Списъкът с функции зависи от версията на Hive, така че си струва да го прочетете от самата сесия, а не от статична страница. Два оператора правят това:

SHOW FUNCTIONS;

DESCRIBE FUNCTION round;

DESCRIBE FUNCTION EXTENDED round;

SHOW FUNCTIONS изброява всяко регистрирано име, DESCRIBE FUNCTION отпечатва едноредовия подпис, а формата EXTENDED добавя примери за употреба, където имплементиращият клас ги предоставя. Когато няма вградена функция, Hive приема потребителски дефинирана функция написан в Java.

HiveQL срещу SQL: Ключови разлики

HiveQL умишлено заимства SQL синтаксиса и таблиците с оператори по-горе ще изглеждат познати на всеки, който е писал SQL. Моделът на изпълнение по-долу не е същият и разликите се проявяват веднага щом заявката премине отвъд обикновения SELECT.

Практическите последици за писането на изрази са малки, но реални. OperaОператорите се държат както се очаква, но предикат, на който би се отговорило от индекс в релационна база данни, се отговаря в Hive чрез сканиране на файлове, така че филтрирането по колона на дял обикновено е много по-ценно от настройването на самия оператор.

Въпроси и Отговори