Hive ETL: загрузка JSON, XML, примеров текстовых данных

⚡ Умное резюме

Hive ETL преобразует текстовые, XML и JSON-файлы в таблицы, доступные для запросов, путем загрузки их в Hive и последующего анализа.tracОбработка значений с помощью функций xpath() и get_json_object(), предоставляя аналитикам SQL-интерфейс для работы с полуструктурированными данными Hadoop.

  • 🧱 Структурированные нагрузки: Текстовый файл с разделителями преобразуется в таблицу с параметрами ROW FORMAT DELIMITED и FIELDS TERMINATED BY, затем выполняется команда LOAD DATA LOCAL INPATH.
  • 🏷️ XML extracТион: Каждый XML-документ хранится в одном столбце типа STRING, а функция xpath() извлекает значения из именованных тегов.
  • 🔑 JSON extracТион: Функция get_json_object() считывает одно выражение JSONPath за один вызов, поэтому для каждого поля требуется отдельный вызов.
  • 🪜 Вложенные полезные нагрузки: Сложные JSON-данные загружаются точно так же, а обход иерархии осуществляется с помощью выражений JSONPath с точками.
  • 📍 Правила маршрута: Ключевое слово LOCAL используется для чтения данных из файловой системы Linux, а его отсутствие позволяет определить путь в HDFS.
  • 🎯 Где это уместно: Hive больше подходит для пакетной обработки данных и полуструктурированного ETL, чем для поиска записей с низкой задержкой.

Hive ETL: Загрузка данных в формате JSON, XML и текстовом формате.

Hive как инструмент ETL и хранилища данных поверх... Hadoop Экосистема предоставляет такие функции, как моделирование данных, манипулирование данными, обработка данных и выполнение запросов к данным.tracВ Hive под "загрузкой" данных понимается создание таблиц, загрузка структурированных и полуструктурированных данных, а также выполнение запросов к данным в соответствии с требованиями.

Для пакетной обработки мы будем писать собственные скрипты, используя скрипты map и reduce на языке сценариев. Это обеспечивает SQL например, среда и поддержка простых запросов.

Работа со структурированными данными с помощью Hive

Структурированные данные означают, что данные представлены в правильном формате строк и столбцов. Это больше похоже на... RDBMS данные с соответствующими строками и столбцами.

Здесь мы будем загружать структурированные данные из текстовых файлов в Hive.

Шаг 1) На этом этапе мы создаем таблицу «employees_guru» с именами столбцов, такими как идентификатор, имя, возраст, адрес, зарплата и отдел сотрудников, с типами данных.

Создание таблицы employees_guru и загрузка файла Employees.txt в Hive.

На приведенном выше скриншоте можно заметить следующее:

  1. Создание таблицы «сотрудники_гуру»
  2. Загрузка данных из файла Employees.txt в таблицу “employees_guru”

Шаг 2) На этом шаге мы отображаем содержимое этой таблицы с помощью команды «Выбрать». Содержимое таблицы можно увидеть на следующем скриншоте.

Выберите результат запроса, отображающий строки таблицы employees_guru в Hive.

Пример фрагмента кода

Запросы, которые необходимо выполнить

1) Create table employees_guru(Id INT, Name STRING, Age INT, Address STRING, Salary FLOAT, Department STRING)
> Row format delimited
> Fields terminated by ',';
2) load data local inpath '/home/hduser/Employees.txt' into TABLE employees_guru;
3) select * from employees_guru;

Работа с полуструктурированными данными с использованием Hive (XML, JSON)

Hive выполняет функции ETL в экосистеме Hadoop, выступая в качестве... Инструмент ETLВ некоторых типах приложений выполнение MapReduce может быть сложным; Hive может упростить этот процесс и предоставляет наилучшее решение для ИТ-приложений в сфере хранилищ данных.

Полуструктурированные данные, такие как XML и JSON, можно обрабатывать с меньшей сложностью с помощью Hive. Сначала мы рассмотрим, как можно использовать Hive для... XML.

XML в таблицу Hive

При этом мы собираемся загрузить данные XML в таблицы Hive и получить значения, хранящиеся внутри тегов XML.

Шаг 1) Создание таблицы “xmlsample_guru” со столбцом типа str, содержащим строковые данные.

Создание таблицы xmlsample_guru и загрузка файла test.xml в Hive.

На приведенном выше скриншоте можно заметить следующее:

  1. Создание таблицы «xmlsample_guru»
  2. Загрузка данных из файла test.xml в таблицу “xmlsample_guru”

Шаг 2) Посмотрите на график XPath С помощью метода xpath() мы сможем получить данные, хранящиеся внутри XML-тегов.

Запрос xpath() возвращает значения ename и esal из XML-столбца.

На приведенном выше скриншоте можно заметить следующее:

  1. Используя метод xpath(), мы получаем значения, хранящиеся в каталогах /emp/esal/ и /emp/ename/.
  2. Значения, находящиеся внутри XML-тегов. На этом шаге мы отображаем фактические значения, хранящиеся внутри XML-тегов в таблице «xmlsample_guru».

Обратите внимание, что функция xpath() возвращает массив строк; функции xpath_string(), xpath_int() и xpath_double() возвращают одно типизированное значение.

Шаг 3) На этом этапе мы получим и отобразим необработанный XML-код таблицы «xmlsample_guru».

Исходные XML-документы хранятся в столбце str таблицы xmlsample_guru.

На приведенном выше скриншоте можно заметить следующее:

  • Фактические данные XML отображаются с помощью тегов
  • Если мы рассмотрим отдельный тег, то увидим, что родительским тегом является «emp», а дочерними — «ename» и «esal».

Code фрагмент:

Запросы, которые необходимо выполнить

1) create table xmlsample_guru(str string);                                                                                                   2) load data local inpath '/home/hduser/test.xml' overwrite  into table xmlsample_guru;
3) select xpath(str,'emp/ename/text()'), xpath(str,'emp/esal/text()') from xmlsample_guru;

JSON (JavaОбозначение объекта скрипта)

Данные из социальных сетей и веб-сайтов обычно хранятся в формате JSON. При попытке получить данные с онлайн-серверов мы получаем файлы JSON. Используя Hive в качестве хранилища данных, мы можем загружать данные JSON в таблицы Hive, создавая схемы.

Преобразование JSON в таблицу Hive

В этом примере мы загрузим данные в формате JSON в таблицы Hive и получим значения, хранящиеся в схеме JSON.

Шаг 1) На этом этапе мы создадим JSON-таблицу с именем «json_guru». После создания мы загрузим и отобразим содержимое фактической схемы.

Создание json_guru, загрузка test.json и отображение JSON-схемы.

На приведенном выше скриншоте можно заметить следующее:

  1. Создание таблицы «json_guru»
  2. Загрузка данных из файла test.json в таблицу “json_guru”
  3. Отображение фактической схемы JSON-файла, хранящегося в таблице json_guru.

Шаг 2) С помощью метода get_json_object() мы можем получить значения данных, хранящиеся в иерархии JSON.

Функция get_json_object() выводит список параметров ecode, ename и salary из json_guru.

На приведенном выше скриншоте можно заметить следующее:

  1. Используя функцию get_json_object(str,'$.ecode'), можно получить значения ecode из таблицы json_guru. Аналогично, используя функции get_json_object(str,'$.ename') и get_json_object(str,'$.sal'), можно получить значения ename и sal из таблицы json_guru.
  2. Значения хранятся внутри иерархии JSON в json_guru.

Поскольку функция get_json_object() анализирует документ один раз за вызов, json_tuple() оказывается дешевле, когда требуется несколько ключей, а JSON SerDe сопоставляет документ с типизированными столбцами во время загрузки.

Code отрывок

Запросы, которые необходимо выполнить

1) create table json_guru(str string);
2) load data inpath 'home/hduser/test.json' into table json_guru;
3) select * from json_guru;
4) select get_json_object(str,'$.ecode') as ecode, get_json_object(str,'$.ename') as ename ,get_json_object(str,'$.sal') as salary from json_guru;

Преобразование сложного JSON в таблицу Hive

В этом примере мы будем загружать сложные данные в формате JSON в таблицы Hive и извлекать значения, хранящиеся в схеме JSON.

Шаг 1) Создание объекта complexjson_guru с одним столбцом.

Создание таблицы complexjson_guru и загрузка файла emp.json в таблицу Hive.

На приведенном выше скриншоте можно заметить следующее:

  1. Создание таблицы complexjson_guru с одним столбцом, содержащим строковый тип данных.
  2. Загрузка данных в complexjson_guru из сложного JSON-файла emp.json.

Шаг 2) С помощью функции get_json_object мы можем получить фактическое содержимое, хранящееся в иерархии JSON-файлов.

На следующем скриншоте мы видим результат обработки данных, хранящихся в complexjson_guru.

Extracкод ted и вложенные ключ-значения из сложного JSON-документа

Шаг 3) На этом этапе, используя команду «Select», мы можем увидеть сложные данные JSON, хранящиеся в таблице «complexjson_guru».

Выберите выходные данные, отображающие необработанные сложные JSON-строки в complexjson_guru.

Пример фрагмента кода

Запросы, которые необходимо выполнить

1) create table complexjson_guru(json string);
2) load data inpath 'home/hduser/emp.json' into table complexjson_guru;
3) select get_json_object(json,'$.ecode') as ecode ,get_json_object(json,'$.b') as code, get_json_object(json,'$.c') from complexjson_guru;
4) select * from complexjson_guru;

Использование Hive в проектах реального времени: когда и где.

Когда и где использовать Hive в экосистеме Hadoop:

После появления

  • При работе с мощными статистическими функциями в экосистеме Hadoop
  • При работе со структурированными и полуструктурированными данными
  • В качестве инструмента для хранилищ данных с использованием Hadoop.
  • Ввод данных в реальном времени с помощью HBase, где также может использоваться Hive.

где

  • Для удобства использования в качестве инструмента ETL и хранилища данных.
  • Для обеспечения среды, аналогичной SQL, и выполнения запросов по типу SQL с использованием HiveQL.
  • Использование и развертывание специально разработанных скриптов map и reducer в соответствии с требованиями клиента.

Часто задаваемые вопросы (FAQ)

Функция LOCAL копирует файл из файловой системы клиентского компьютера. Без функции LOCAL Hive рассматривает путь как путь к HDFS и перемещает файл, поэтому относительный путь разрешается в каталоге домашней директории пользователя в HDFS.

Функция json_tuple() обычно работает быстрее: она анализирует документ один раз и возвращает несколько ключей вместе, в то время как get_json_object() повторно анализирует строку для каждого поля. Используйте get_json_object() для одного значения.

Нет. Достаточно одного столбца типа STRING плюс функции JSON. SerDe, например org.apache.hive.hcatalog.data.JsonSerDe, подходит для повторяющихся запросов в производственной среде, например, map.ping Вводить ключи в столбцы с текстом один раз, а не при каждом чтении.

Обычно это файл с форматированным выводом: Hive ожидает один полный JSON-документ на строку, поэтому документ, разбитый на несколько строк, становится недействительным. Ошибка в написании ключа или неправильный регистр в JSONPath приводят к тому же результату.

Функция xpath() всегда возвращает массив строк. Вместо этого используйте типизированный вариант: xpath_string(), xpath_int(), xpath_long(), xpath_float(), xpath_double() или xpath_boolean(). Каждая из них возвращает один скаляр соответствующего типа.

Внешний доступ безопаснее для необработанных данных о посадке, потому что происходит падение.ping Таблица оставляет файлы на месте. Управляемая таблица удаляет свой каталог данных при выполнении команды DROP — это удобно для временных таблиц, но губительно для общих файлов.

Инструменты машинного обучения анализируют тестовые файлы, чтобы определить типы, отметить разреженные ключи и предложить столбцы для разделения на основе шаблонов запросов. Рассматривайте выходные данные как черновик — типы и разделы еще нужно проверить на реальных томах.

Программа формирует операторы CREATE TABLE, команды LOAD DATA и выражения JSONPath на основе образца записи, вставленной в редактор. Она не видит кластер, поэтому сначала необходимо проверить имена, пути и правильность написания ключей.

Подведем итог этой публикации следующим образом: