SAP DS (службы данных) в HANA

Что такое SAP Услуги передачи данных?

SAP Data Services — это инструмент ETL, предоставляющий единое решение корпоративного уровня для интеграции, преобразования, обеспечения качества данных, профилирования данных и обработки текстовых данных из разнородных источников в целевую базу данных или хранилище данных.

Заявки, называемые заданиями, создаются в конструкторе, где происходит сопоставление данных.ping Определены преобразования и трансформация. Продукт также называется SAP BusinessObjects Data Services, сокращенно BusinessObjects Data Services SAP BODS — оба названия описывают один и тот же инструмент. SAP Текущая версия — Data Services 4.3; основная поддержка версии 4.2 завершилась 31 мая 2023 года, поэтому новые внедрения должны начаться с версии 4.3.

В пределах SAP Ландшафт HANA, SAP Сервисы обработки данных — это вариант, который выбирают, когда данные необходимо преобразовать в процессе загрузки, а не копировать в исходном виде. В разделах ниже описаны возможности инструмента, взаимодействие его компонентов и полный расчет загрузки данных. SAP Таблица ECC в SAP ХАНА.

Особенности SAP Услуги по передаче данных

Приведенные ниже возможности объясняют, почему SAP Data Services позиционируется как платформа корпоративного уровня, а не просто утилита для копирования.

• Он обеспечивает высокопроизводительные параллельные преобразования.
• В нем есть комплексные административные инструменты и инструмент для составления отчетов.
• Он поддерживает несколько пользователей.
• SAP ТЕЛА Обладает высокой гибкостью в работе с приложениями на основе веб-сервисов.
• Это позволяет использовать скриптовый язык с богатым набором функций.
• SAP Службы данных могут интегрироваться с SAP Сервер репликации LT (SLT) с использованием технологии, основанной на триггерах. SLT добавляет возможности дельта-анализа к каждому устройству. SAP или неSAP исходная таблица, которая позволяет отслеживать изменения данных и передавать дельта-данные из исходной таблицы.
• Проверка данных с помощью информационных панелей и аудит процессов.
• Инструмент администрирования с возможностями планирования и панелями мониторинга.
• Отладка, встроенное профилирование и просмотр данных.
• SAP Служба обработки данных поддерживает широкий спектр источников и целевых объектов:
• Любое приложение, например SAP.
• Любая база данных с поддержкой массовой загрузки и отслеживания изменений данных.
• Файлы: фиксированной ширины, с разделителями-запятыми, COBOL, XML и Excel.

Эти функции обеспечиваются небольшим набором устанавливаемых компонентов, каждый из которых выполняет свою особую роль.

Компоненты SAP Услуги по передаче данных

SAP В состав службы обработки данных входят перечисленные ниже компоненты.

1. UX/UI дизайнер – Это инструмент разработки, с помощью которого можно создавать, тестировать и выполнять задания по заполнению хранилища данных. Он позволяет разработчику создавать объекты и настраивать их, выбирая значок на диаграмме потока «источник-цель». Его можно использовать для создания приложений, указывая рабочие процессы и потоки данных. Чтобы открыть Data Services Designer, перейдите в Меню «Пуск» -> «Все программы» -> SAP Службы данных -> Конструктор служб данных.

2. Сервер заданий – Это приложение, которое запускает механизм обработки данных и служит интерфейсом между этим механизмом и пакетом программ Data Services.
3. Двигатель – Механизм служб данных выполняет отдельные задачи, определенные в приложении.
4. Репозиторий – Репозиторий представляет собой базу данных, в которой хранятся предопределенные объекты Designer и определяемые пользователем объекты (метаданные источника и цели, правила преобразования). Репозитории бывают двух типов:

• Локальный репозиторий (используется Designer и Job Server).
• Центральный репозиторий (используется для совместного использования объектов и контроля версий).

5. Сервер доступа – Сервер доступа передает сообщения между веб-приложениями, сервером заданий служб данных и механизмами обработки данных.
6. Администратора – Веб-администратор обеспечивает администрирование ресурсов служб данных через браузер, как описано ниже:

• Настройка, запуск и остановкаping Сервисы в режиме реального времени.
• Планирование, мониторинг и выполнение пакетных заданий.
• Настройка сервера заданий, сервера доступа и использования репозитория.
• Управление пользователями.
• Публикация пакетных заданий и сервисов в режиме реального времени через веб-сервисы.
• Настройка и управление адаптерами.

Знание функций каждого компонента — это лишь половина дела. Приведенная ниже архитектура показывает, как они взаимодействуют под нагрузкой.

SAP Услуги по передаче данных Archiтекстура

Архитектура служб данных включает следующие компоненты:

• Центральное хранилище — используется для настройки репозитория для серверов заданий, управления безопасностью, контроля версий и совместного использования объектов.
• Конструктор — используется для создания проекта, задания, рабочего процесса и потока данных, а также для их запуска.
• Локальный репозиторий — здесь вы можете создавать, изменять и запускать задания, рабочие процессы и потоки данных.
• Сервер заданий и механизм обработки заданий – он управляет заданиями.
• Сервер доступа — используется для выполнения заданий в реальном времени, созданных разработчиками в репозиториях.

На изображении ниже показаны службы данных и взаимосвязи между их компонентами.

SAP ТЕЛА Archiтекстура

Деталь дизайнерского окна

Компонент Designer — это тот компонент, с которым разработчик проводит больше всего времени, поэтому стоит сначала изучить его структуру. Подробное описание каждого раздела Data Services Designer приведено ниже:

1. Панель инструментов (используется для открытия, сохранения, резервного копирования, проверки, выполнения и т. д.).
2. Площадь проекта (Содержит текущий проект, включающий задание, рабочий процесс и поток данных. В Data Services все сущности являются объектами).
3. Рабочее пространство (Область окна приложения, в которой мы определяем, отображаем и изменяем объекты).
4. Локальная библиотека объектов (Он содержит локальные объекты репозитория, такие как преобразования, задания, рабочие процессы, потоки данных и т. д.).
5. Палитра инструментов (Кнопки на панели инструментов позволяют добавлять новые объекты в рабочую область).

Иерархия объектов

На приведенной ниже диаграмме показаны иерархические связи для ключевых типов объектов в рамках служб данных.

Примечание: В приведенной ниже легенде указаны необязательные элементы в иерархии.

Рабочие процессы и условные операторы являются необязательными.

Предметы, используемые в SAP Ниже приведена подробная информация об услугах обработки данных.

Объекты	Описание
Проект	Проект — это объект самого верхнего уровня в окне конструктора. Проекты позволяют организовать другие объекты, создаваемые в Data Services. Одновременно открыт только один проект, где «открыт» означает «видим в области проекта».
работа	«Задание» — это наименьшая единица работы, которую можно независимо запланировать для выполнения.
Сценарии	Подмножество строк в процедуре.
Процесс	«Рабочий процесс» — это объединение нескольких потоков данных в целостный рабочий процесс для выполнения всей задачи. Рабочий процесс является необязательным. Рабочий процесс — это процедура, которая может: Потоки данных вызовов Вызовите другой рабочий процесс Определите порядок шагов, которые будут выполняться в вашей работе. Передача параметров в потоки данных и из них. Укажите, как обрабатывать ошибки, возникающие во время выполнения. Определите условия для выполнения разделов проекта.
Поток данных	«Поток данных» — это процесс, посредством которого исходные данные преобразуются в целевые данные. Поток данных — это многократно используемый объект. Он всегда вызывается из рабочего процесса или задания. Он используется для: Укажите исходные данные, которые вы хотите прочитать. Укажите преобразования, которые вы хотите выполнить над данными. Укажите целевую таблицу, в которую вы хотите загрузить данные.
Хранилище данных	Логический канал, соединяющий службы данных с исходными и целевыми базами данных. Хранилища данных: Необходимо указать для каждой исходной и целевой базы данных. Используются для импорта метаданных исходной и целевой баз данных в репозиторий. Используются службами обработки данных для чтения данных из исходных таблиц и загрузки данных в целевые таблицы.
Target	Таблица или файл, в который служба данных загружает данные из источника.

SAP Data Services против SLT против DXC

SAP Data Services — одна из нескольких компаний. предоставление данных варианты для SAP HANA, и выбор неправильной версии приводит к дополнительным затратам, которые невозможно компенсировать никакими настройками. В таблице ниже сравниваются три серверных метода.

Критерии	SAP Услуги по передаче данных	ТА	DXC
Задержка	Пакетная или плановая обработка	Настоящее время	Пакетная обработка, запланированная источником данных.
трансформация	Полный процесс ETL, очистка и профилирование.	Простые правила фильтрации и обработки полей.	Нет ничего, кроме эксtracлогика Тора
Область действия источника	SAP и не-SAPфайлы, приложения	SAP и не-SAP базы данных	SAP Только для бизнес-пакета
Требуется дополнительный сервер	Да, сервер заданий	Обычно да	Нет
Наиболее подходит для	Качество данных и консолидация данных из различных источников	Operaнациональная отчетность на основе данных в режиме реального времени	Повторное использование существующего бизнес-контента, например:tracTORs

Короче говоря, выбирайте SAP Использование Data Services необходимо, когда данные должны быть очищены, объединены или стандартизированы перед их подачей. SLT следует выбирать, когда отчет должен отражать транзакцию в режиме реального времени. DXC когда проверенный бизнес-контентtracTor уже предоставляет необходимую вам семантику. Для разового набора данных без повторяющегося расписания... загрузка плоского файла Это быстрее, чем настройка любого из этих трех вариантов.

Как загрузить данные из SAP Исходная таблица с использованием SAP Услуги по передаче данных

В Data Services все данные представляют собой объекты. Для каждой исходной и целевой базы данных требуется отдельное хранилище данных.

Полная последовательность загрузки данных из SAP Ниже приведена таблица исходных данных. Затем подробно описан каждый шаг.

• Создайте хранилище данных между источником и BODS.
• Импортируйте метаданные (структуры) в BODS.
• Настройте сервер импорта.
• Импортируйте метаданные в систему HANA.
• Создайте хранилище данных между BODS и HANA.
• Создать проект
• Создать задание (пакетное или в режиме реального времени)
• Создайте рабочий процесс
• Создать поток данных
• Добавление объектов в поток данных
• Выполнить задание
• Проверьте предварительный просмотр данных в HANA.

Шаг 1) Создайте хранилище данных между SAP источник и BODS.

1. Для загрузки данных из SAP источник в SAP Хана через SAP Для работы BODS требуется хранилище данных. Поэтому сначала создадим хранилище данных, как показано ниже: Проект -> Создать -> Хранилище данных

2. Появится всплывающее окно «Создать новое хранилище данных». Введите данные, как показано ниже:
   1. Введите имя хранилища данных «ds_ecc».
   2. Выберите имя типа хранилища данных как «SAP Приложения".
   3. Введите имя сервера базы данных.
   4. Введите имя пользователя и пароль.
   5. Щелкните по кнопке «Применить».
   6. Щелкните по кнопке «ОК».

3. Будет создано хранилище данных. Просмотрите созданное хранилище данных ниже.

1. Перейдите в библиотеку локальных объектов.
2. Выберите вкладку «Хранилище данных».
3. Будет отображено хранилище данных «ds_ecc».

Шаг 2) Импортируйте метаданные (структуру) на сервер BODS.

Мы создали хранилище данных для переноса данных из ECC в BODS; теперь мы импортируем метаданные из ECC в BODS. Для импорта выполните следующие шаги.

1. Выберите хранилище данных «ds_ecc» и щелкните правой кнопкой мыши.
2. Выберите опцию «Импорт по имени».

Отобразится всплывающее окно «Импорт по имени». Введите данные, как показано ниже:

1. Выберите Тип как таблица.
2. Введите название таблицы для импорта. В данном случае мы импортируем таблицу KNA1.
3. Нажмите кнопку «Импорт». Таблица KNA1 появится в узле «Таблица» источника данных «ds_ecc».

Метаданные таблицы будут импортированы в хранилище данных ds_ecc следующим образом.

Шаг 3) Настройте сервер импорта.

На данный момент мы импортировали таблицу в хранилище данных «ds_ecc», созданное для ECC, чтобы SAP Подключение BODS. Для импорта данных в SAP HANAНам необходимо настроить сервер импорта.

1. Для этого перейдите к Быстрый просмотр -> Настройка сервера импорта как показано ниже.

2. Появится всплывающее окно «Выберите систему». Выберите её. SAP Система HANA (здесь HDB) представлена ​​ниже.

3. Нажмите кнопку «Далее». Появится еще одно всплывающее окно для ввода учетных данных службы данных. Введите следующие данные:

1. SAP Адрес сервера BODS (здесь BODS:6400).
2. SAP Имя репозитория BODS (имя репозитория HANAUSER).
3. Источник данных ODBC (ZTDS_DS).
4. Порт по умолчанию для SAP Сервер BODS (8080).

Щелкните по кнопке «Готово».

Шаг 4) Импортируйте метаданные в систему HANA.

Сервер импорта настроен, поэтому метаданные можно импортировать. SAP BODS-сервер.

1. В режиме быстрого просмотра нажмите кнопку «Импорт».
2. Отобразится всплывающее окно с параметрами импорта. Выберите опцию «Выборочный импорт метаданных».

Нажмите на кнопку «Далее».

Появится всплывающее окно «Выборочный импорт метаданных», в котором мы выбираем целевую систему.

1. Выберите SAP Система HANA (здесь HDB).

Нажмите на кнопку «Далее».

Шаг 5) Создайте хранилище данных между BODS и HANA.

В BODS требуется отдельное хранилище данных для источника и целевой системы. Хранилище данных источника уже существует, поэтому далее создается целевое хранилище данных между BODS и HANA с именем «DS_BODS_HANA».

1. Перейдите в Проект -> Создать -> Хранилище данных.

2. На экране появится окно «Создать новое хранилище данных», как показано ниже.
   1. Введите имя хранилища данных (DS_BODS_HANA).
   2. Укажите тип хранилища данных как «База данных».
   3. Введите тип базы данных следующим образом: SAP ХАНА.
   4. Выберите версию базы данных.
   5. Введите SAP Имя сервера базы данных HANA.
   6. Введите имя порта для SAP База данных Хана.
   7. Введите имя пользователя и пароль.
   8. Поставьте галочку напротив пункта «Включить автоматическую передачу данных».

Нажмите кнопку «Применить», а затем кнопку «ОК».

Хранилище данных «DS_BODS_HANA» будет отображаться на вкладке «Хранилище данных» в локальной библиотеке объектов, как показано ниже.

3. Теперь импортируем таблицу в хранилище данных «DS_BODS_HANA».
   1. Выберите хранилище данных «DS_BODS_HANA» и щелкните правой кнопкой мыши.
   2. Выберите «Импорт по имени».

4. Появится всплывающее окно для импорта по имени, как показано ниже.
   1. Выберите Тип как таблица.
   2. Введите имя как KNA1.
   3. Владелец будет отображаться как Ханаузер.
   4. Нажмите кнопку «Импорт».

Таблица будет импортирована в хранилище данных «DS_BODS_HANA». Для просмотра данных в таблице выполните следующие действия.

1. Щелкните по таблице «KNA1» в хранилище данных «DS_BODS_HANA».
2. Данные будут представлены в табличном формате.

Шаг 6) Определите проект. Проект группирует и организует связанные объекты. Проект может содержать любое количество заданий, рабочих процессов и потоков данных.

1. Перейдите в меню «Проект дизайнера».
2. Выберите новый вариант.
3. Выберите опцию «Проект».

Появится всплывающее окно для создания нового проекта, как показано ниже. Введите название проекта и нажмите кнопку «Создать». Будет создана папка проекта, в нашем случае BODS_DHK.

Шаг 7) Определите задачу. Задание — это многократно используемый объект. Оно содержит рабочие процессы и потоки данных. Задания могут выполняться вручную или по расписанию. Для выполнения процесса BODS необходимо определить задание.

Мы создаём задание с именем JOB_Customer.

1. Выберите проект (BODS_DHK), созданный на предыдущем шаге, щелкните правой кнопкой мыши и выберите «Создать пакетное задание».
2. Переименуйте его в «JOB_Customer».

Шаг 8) Определите рабочий процесс.

1. В области проекта выберите задание «JOB_Customer».
2. Нажмите кнопку «Рабочий процесс» на панели инструментов. Щелкните по пустой области рабочего пространства. В рабочем пространстве появится значок рабочего процесса.
3. Измените название рабочего процесса на «WF_Customer».

Щелкните по названию рабочего процесса, и в рабочей области появится пустое представление для этого рабочего процесса.

Шаг 9) Определите поток данных.

1. Нажмите на рабочий процесс «WF_Customer».
2. Нажмите кнопку «Поток данных» на панели инструментов. Щелкните по пустой области рабочей области. В рабочей области появится значок потока данных.
3. Измените имя потока данных на «DF_Customer».
4. Поток данных также отображается в области проекта слева, под названием задания.

Шаг 10) Добавьте объекты в поток данных.

Внутри потока данных мы предоставляем инструкции по преобразованию исходных данных в желаемый формат для целевой таблицы.

Используются три объекта:

• Объект для источника.
• Объект для целевой таблицы.
• Объект для преобразования запроса, который сопоставляет столбцы из источника с целевыми.

Щёлкните по потоку данных DF_Customer. Появится пустое рабочее пространство, как показано ниже.

1. Укажите объект в качестве источника. – Перейдите в хранилище данных «ds_ecc», выберите таблицу KNA1 и перетащите ее на пустой экран потока данных.
2. Укажите объект в качестве целевого. – Выберите хранилище данных «DS_BODS_HANA» из репозитория и выберите таблицу KNA1.
3. Перетащите его на рабочую область и выберите «Создать». Target«Опция». Теперь будет две таблицы: одна исходная, другая целевая.

4. Преобразование запроса – Это инструмент, используемый для извлечения данных на основе входной схемы для заданных пользователем условий, а также для передачи данных из источника в целевую систему.
   1. Выберите значок «Преобразование запроса» на панели инструментов и перетащите его между исходным и целевым объектами в рабочей области.
   2. Свяжите объект Query с источником.
   3. Свяжите объект запроса с целевой таблицей.

Double— Щелкните значок «Запрос», чтобы сопоставить столбцы из входной схемы с выходной схемой. Картаping Появляется окно, в котором мы выполняем следующие действия:

1. Выбрана исходная таблица KNA1.
2. Выделите все столбцы из исходной таблицы, щелкните правой кнопкой мыши и выберите «Сопоставить с выходными данными».
3. В качестве целевого выходного параметра выбирается запрос, и столбцы будут сопоставлены.

Сохраните и подтвердите проект. Нажмите на значок «Проверить». Появится всплывающее окно, подтверждающее успешную проверку.

Шаг 11) Выполните задание. Для выполнения задания следуйте указанному ниже пути.

1. Чтобы открыть проект, выберите значок области проекта, а затем выберите созданный проект.
2. Выберите задание и щелкните правой кнопкой мыши.
3. Выберите параметр «Выполнить», чтобы запустить задание.

После выполнения задания отображается окно «Журнал задания», в котором отображаются все сообщения, относящиеся к заданию. Последнее сообщение будет «Задание». «Завершено успешно».

Шаг 12) Проверьте и подтвердите данные в SAP База данных Хана.

1. Войти в SAP База данных HANA через SAP HANA Studioи выберите схему HANAUSER.
2. Выберите таблицу KNA1 в узле «Таблица».
3. Щелкните правой кнопкой мыши на таблице KNA1 и выберите «Открыть предварительный просмотр данных».
4. Данные KNA1, загруженные в процессе BODS, будут отображены на экране предварительного просмотра данных.

Совпадение количества строк в исходной таблице и в этом предварительном просмотре подтверждает корректность загрузки, после чего задачу можно запланировать для повторного запуска из административной панели.

Часто задаваемые вопросы (FAQ)