SAP DS (службы данных) в HANA

Что такое SAP Службы передачи данных?

SAP Службы обработки данных — это инструмент ETL, который предоставляет единое решение корпоративного уровня для интеграции данных, преобразования, качества данных, профилирования данных и обработки текстовых данных из гетерогенного источника в целевую базу данных или хранилище данных.

Мы можем создавать приложения (задания), в которых можно выполнять сопоставление и преобразование данных с помощью Конструктора. (Последняя версия SAP БОДС – 4.2).

Особенности служб передачи данных

• Он обеспечивает высокопроизводительные параллельные преобразования.
• Он имеет комплексные административные инструменты и инструмент отчетности.
• Он поддерживает многопользовательскую работу.
• SAP ТЕЛА очень гибок с приложениями на основе веб-сервисов.
• Это позволяет использовать язык сценариев с богатым набором функций.
• Службы данных могут интегрироваться с SAP LT Replication Server (SLT) с технологией Trigger-based. SLT добавляет дельта-возможности к каждому SAP или неSAP исходная таблица, которая позволяет использовать сбор данных для изменения и передачи дельта-данных исходной таблицы.
• Проверка данных с помощью информационных панелей и аудит процессов.
• Инструмент администрирования с возможностями планирования и мониторинга/панелями мониторинга.
• Отладка и встроенные средства профилирования и просмотра данных.
• SAP Поддержка BODS Широкий источник и цель.
• Любые приложения (например SAP).
• Любые базы данных с массовой загрузкой и сбором данных об изменениях.
• Файлы: фиксированная ширина, через запятую, COBOL, XML, Excel.

Компонент служб данных

SAP Службы DATA имеют следующий компонент:

1. Дизайнер - Это инструмент разработки, с помощью которого мы можем создавать, тестировать и выполнять задание, заполняющее хранилище данных. Он позволяет разработчику создавать объекты и настраивать их, выбирая значок на диаграмме потока от источника к цели. Это может быть используется для создания приложения путем указания рабочих процессов и потоков данных. Чтобы открыть конструктор службы данных, перейдите в раздел Меню «Пуск» -> «Все программы» -> SAP Службы данных (4.2 здесь) -> Дизайнер служб данных.

2. Сервер заданий- Это приложение, которое запускает механизм обработки служб данных и служит интерфейсом для этого механизма и пакета служб данных.
3. Двигатель- Механизм службы данных выполняет отдельные задания, определенные в приложении.
4. Репозиторий- Репозиторий — это база данных, в которой хранятся предопределенные дизайнером объекты и объекты, определенные пользователем (исходные и целевые метаданные, правила преобразования). Репозиторий бывает двух типов:

• Локальный репозиторий (Используется Designer и сервером заданий).
• Центральный репозиторий (Используется для совместного использования объектов и контроля версий)

5. Сервер доступа- Сервер доступа передает сообщения между веб-приложениями, сервером заданий служб данных и механизмами.
6. Администратор- Веб-администратор обеспечивает администрирование ресурсов служб данных с помощью браузера. Подробная информация приведена ниже:

• Настройка, запуск и остановка служб реального времени.
• Планирование, мониторинг и выполнение пакетных заданий.
• Настройка использования сервера заданий, сервера доступа и репозитория.
• Управление пользователями.
• Публикация пакетных заданий и сервисов реального времени через веб-сервисы.
• Настройка и управление адаптерами.

Услуги по передаче данных Archiтектура –

Архитектура служб данных состоит из следующих компонентов:

• Центральный репозиторий – используется для настройки репозиториев на серверах заданий, управления безопасностью, контроля версий и совместного использования объектов.
• Конструктор — используется для создания проекта, задания, рабочего процесса, потока данных и запуска.
• Локальный репозиторий (здесь вы можете создавать изменения и запускать задания, рабочий процесс, поток данных).
• Сервер и механизм заданий – управляют заданиями.
• Сервер доступа – используется для выполнения заданий в реальном времени, созданных разработчиками в репозиториях.

На изображении ниже показана связь служб данных и их компонентов.

SAP ТЕЛА Archiтекстура

Деталь дизайнерского окна: Сначала мы рассмотрим первый компонент SAP служба данных-дизайнер

Подробности каждого раздела дизайнера службы данных приведены ниже:

1. Панель инструментов (Используется для открытия, сохранения, возврата, проверки, выполнения и т. д.).
2. Площадь проекта (Содержит текущий проект, включающий задание, рабочий процесс и поток данных. В службах данных все сущности являются объектами.
3. Рабочее пространство (Область окна приложения, в которой мы определяем, отображаем и изменяем объекты).
4. Локальная библиотека объектов (Он содержит объекты локального репозитория, такие как преобразования, задания, рабочие процессы, потоки данных и т. д.).
5. Палитра инструментов (Кнопки на палитре инструментов позволяют добавлять новые объекты в рабочую область).

Иерархия объектов

На диаграмме ниже показаны иерархические отношения для ключевых типов объектов в службах данных.

>

Примечание:

Рабочие процессы и условия* не являются обязательными.

Предметы, используемые в SAP Детали услуг передачи данных приведены ниже:

Объекты	Описание
Проект	Проект — это объект самого высокого уровня в окне дизайнера. Проекты предоставляют вам возможность упорядочить другие объекты, создаваемые вами в службах данных. Одновременно открыт только один проект (где «открытый» означает «видимый в области проекта»).
работа	«Задание» — это наименьшая единица работы, выполнение которой можно запланировать независимо.
Сценарии	Подмножество строк в процедуре.
Рабочий процесс	«Рабочий поток» — это объединение нескольких потоков данных в единый рабочий поток для всей работы. Рабочий процесс не является обязательным. Рабочий процесс — это процедура. Потоки данных вызовов Вызов другого рабочего процесса Определите порядок шагов, которые будут выполняться в вашей работе. Передача параметров в потоки данных и из них. Укажите, как обрабатывать ошибки, возникающие во время выполнения. Определить условия выполнения разделов проекта.
Поток данных	«Поток данных» — это процесс, посредством которого исходные данные преобразуются в целевые данные. Поток данных — это объект многократного использования. Он всегда вызывается из рабочего процесса или задания. Определите исходные данные, которые вы хотите прочитать. Определите преобразования, которые вы хотите выполнить с данными. Определите целевую таблицу, в которую вы хотите загрузить данные.
Хранилище данных	Логический канал, который соединяет службы данных с исходными и целевыми базами данных хранилища данных. Должен быть указан для каждой исходной и целевой базы данных. Используются для импорта метаданных исходных и целевых баз данных в репозиторий. Используются службами данных для чтения данных из исходных таблиц и загрузки данных в целевые таблицы.
Target	Таблица или файл, в который службы данных загружают данные из источника.

Пример служб данных путем загрузки данных из SAP Исходная таблица

Все в службах данных является объектом. Нам необходимо разделить хранилище данных для каждой исходной и целевой базы данных.

Шаги по загрузке данных из SAP исходная таблица – SAP BODS состоит из множества этапов, на которых нам необходимо создать хранилище данных для источника и цели и сопоставить их.

• Создать хранилище данных между источником и BODS
• Импортируйте метаданные (структуры) в BODS.
• Настройка сервера импорта
• Импортируйте метаданные в систему HANA.
• Создайте хранилище данных между BODS и HANA.
• Создать проект.
• Создать задание (пакетное/в режиме реального времени)
• Создать рабочий процесс
• Создать поток данных
• Добавить объект в поток данных
• Выполнить задание
• Проверьте предварительный просмотр данных в HANA

Шаг 1) Создать хранилище данных между SAP Источник и БОДС

1. Чтобы загрузить данные из SAP Источник для SAP Хана через SAP BODS, нам нужно хранилище данных. Поэтому сначала мы создаем хранилище данных, как показано ниже – Проект -> Создать -> Хранилище данных.

   

2. Появится всплывающее окно «Создать новое хранилище данных», введите данные, как показано ниже:
   1. Введите имя хранилища данных «ds_ecc».
   2. Выберите имя типа хранилища данных как «SAP Приложения".
   3. Введите имя сервера базы данных
   4. Имя пользователя и пароль.
   5. Нажмите кнопку «Применить».
   6. Нажмите кнопку «ОК».

   

3. Будет создано хранилище данных, и вы сможете просмотреть созданное хранилище данных, как показано ниже:

1. Перейти в локальную библиотеку объектов
2. Выберите вкладку «Хранилище данных».
3. Будет отображено хранилище данных «ds_ecc».

Шаг 2) Импортируйте метаданные (структуру) на сервер BODS.

Мы создали хранилище данных для ECC в BODS; теперь импортируем метаданные из ECC в BODS. Для импорта выполните следующие действия:

1. Выберите хранилище данных «ds_ecc» и щелкните правой кнопкой мыши.
2. Выберите опцию «Импортировать по имени».

   

   Появится всплывающее окно для импорта по имени. Введите детали, как показано ниже –

   1. Выберите Тип в виде таблицы.
   2. Введите имя таблицы, которую мы хотим импортировать. Здесь мы импортируем таблицу KNA1.
   3. Нажмите кнопку «Импорт». Таблица KNA1 появится под узлом таблицы источника данных «ds_ecc».

   

Метаданные таблицы будут импортированы в хранилище данных ds_ecc, как показано ниже:

Шаг 3) Настройка сервера импорта

До сих пор мы импортировали таблицу в данные, хранящиеся «ds_ecc», созданные для ECC. SAP Соединение БОДС. Чтобы импортировать данные в SAP HANA, нам нужно настроить сервер импорта,

1. Для этого перейдите в Быстрый просмотр-> Настройка сервера импорта как показано ниже –

   

2. Появится всплывающее окно «Выбрать систему», «Выбрать». SAP Система HANA (здесь HDB), как показано ниже:

3. Нажмите кнопку «Далее». Появится еще одно всплывающее окно с учетными данными службы передачи данных. Введите следующие данные.

1. SAP Адрес сервера BODS (здесь BODS:6400 )
2. Enter SAP Имя репозитория BODS (Имя репозитория HANAUSER)
3. Введите источник данных ODBC (ZTDS_DS).
4. Введите порт по умолчанию для SAP BODS-сервер(8080).

Нажмите кнопку «Готово».

Шаг 4) Импортируйте метаданные в систему HANA.

1. До сих пор у нас есть настроенный сервер импорта, теперь мы будем импортировать метаданные из SAP BODS-сервер.

1. Нажмите «Импорт» в режиме быстрого просмотра.
2. Появится всплывающее окно с опцией импорта. Выберите опцию «Выборочный импорт метаданных».

Нажмите кнопку «Далее».

2. Появится всплывающее окно «Выборочный импорт метаданных», в котором мы выбираем целевую систему.

1. Выберите SAP Система HANA (здесь HDB).

Нажмите кнопку «Далее».

Шаг 5) Создайте хранилище данных между BODS и HANA.

Как мы знаем, в BODS нам нужно создать отдельное хранилище данных для источника и цели. Мы уже создали хранилище данных для источника, теперь нам нужно создать хранилище данных для цели (между BODS и HANA). Итак, мы создаем новое хранилище данных с именем «DS_BODS_HANA».

1. Перейдите в Проект -> Создать -> Хранилище данных.

2. Появится экран создания нового хранилища данных, как показано ниже.
   1. Введите имя хранилища данных (DS_BODS_HANA).
   2. Введите тип хранилища данных как «База данных».
   3. Введите тип базы данных как SAP ХАНА.
   4. Выберите версию базы данных.
   5. Enter SAP Имя сервера базы данных HANA.
   6. Введите имя порта для SAP База данных Хана.
   7. Введите имя пользователя и пароль.
   8. Ставим галочку «Включить автоматическую передачу данных».

Нажмите «Применить», а затем кнопку «ОК».

Хранилище данных «DS_BODS_HANA» будет отображаться на вкладке хранилища данных локальной библиотеки объектов как

Ниже-

3. Теперь мы импортируем таблицу в хранилище данных «DS_BODS_HANA».
   1. Выберите хранилище данных «DS_BODS_HANA» и щелкните правой кнопкой мыши.
   2. Выберите «Импортировать по имени».

4. Появится всплывающее окно для импорта по имени, как показано ниже:
   1. Выберите Тип как таблица.
   2. Введите имя как KNA1.
   3. Владелец будет отображаться как Ханаузер.
   4. Нажмите кнопку «Импорт».

Таблица будет импортирована в хранилище данных «DS_BOD_HANA». Чтобы просмотреть данные в таблице, выполните следующие действия:

1. Нажмите на таблицу «KNA1» в хранилище данных «DS_BODS_HANA».
2. Данные будут отображаться в ТАБЛИЧНОМ формате.

Шаг 6) Определите проект: Проектная группа и организация связанные объекты. Проект может содержать любое количество заданий, рабочих процессов и потоков данных.

1. Перейдите в меню дизайнерского проекта.
2. Выберите новый вариант.
3. Выберите опцию «Проект».

Всплывающее окно для создания нового проекта выглядит, как показано ниже. Введите имя проекта и нажмите кнопку «Создать». В нашем случае будет создана папка проекта BODS_DHK.

Шаг 7) Определите работу: Job — это объект многократного использования. Он содержит рабочие процессы и потоки данных. Задания могут выполняться вручную или по расписанию. Для выполнения процесса BODS нам необходимо определить задание.

Мы создаем задание как JOB_Customer.

1. Выберите проект (BODS_DHK), созданный на шаге 1, щелкните правой кнопкой мыши и выберите «Новое пакетное задание».

   

2. Переименуйте его в «JOB_Customer».

Шаг 8) Определите рабочий процесс:

1. Выберите задание «JOB_Customer» в области проекта,
2. Нажмите кнопку рабочего процесса на палитре инструментов. Нажмите на область «Черное рабочее пространство». В рабочей области появится значок рабочего процесса.
3. Измените имя рабочего процесса на «WF_Customer».

Щелкните имя рабочего процесса, в рабочей области появится пустое представление рабочего процесса.

Шаг 9) Определите поток данных:

1. Нажмите «Рабочий процесс «WF_Customer».
2. Нажмите кнопку «Поток данных» на палитре инструментов. Нажмите на область «Черное рабочее пространство». В рабочей области появится значок потока данных.
3. Измените имя потока данных на «DF_Customer».
4. Поток данных также отображается в области проекта слева под именем задания.

Шаг 10) Добавьте объект в поток данных:

Внутри потока данных мы можем предоставить инструкции для преобразования исходных данных в желаемую форму для целевой таблицы.

Мы увидим объект ниже –

• Объект для источника.
• Объект для целевой таблицы.
• Объект для преобразования запроса. (Преобразование запроса сопоставляет столбцы из источника в целевой объект.) Щелкните в потоке данных DF_Customer. Появится пустое рабочее пространство, как показано ниже:

  

1. Указать объект из источника – Перейдите в хранилище данных «ds_ecc», выберите таблицу KNA1 и перетащите ее на пустой экран потока данных, как показано ниже.
2. Укажите объект для Target- Выберите хранилище данных «DS_BODS_HANA» из репозитория и выберите таблицу KNA1.
3. Перетащите в рабочую область и выберите «Сделать Target «опция. Будет две таблицы для источника и цели. Здесь мы определим таблицу как источник и цель.

4. Преобразование запроса – Это инструмент, используемый для получения данных на основе входной схемы для конкретных условий пользователя и для транспортировки данных из источника в цель.
   1. Выберите значок «Преобразование запроса» на палитре инструментов и перетащите его между исходным и целевым объектом в рабочей области, как показано ниже:
   2. Свяжите объект запроса с источником.
   3. Связать объект запроса с Target таблице.

   

   4. Double Нажмите на значок запроса. Тем самым мы сопоставляем столбец из входной схемы с выходной схемой.

Когда мы нажмем значок «Запрос», появится следующее окно для сопоставления, в котором мы выполняем следующие шаги:

1. Выбрана исходная таблица KNA1.
2. Выберите все столбцы из исходной таблицы, щелкните правой кнопкой мыши и выберите карту для вывода.
3. Target Выход выбран как «Запрос», и столбец будет сопоставлен.

5. Сохраните и подтвердите проект.

1. Нажмите значок подтверждения.

2. Появится всплывающее окно об успешной проверке.

Шаг 11) Выполнить задание – Чтобы выполнить задание, следуйте следующему пути:

1. Выберите значок «Область проекта», чтобы открыть проект, и выберите созданный проект.
2. Выберите «Задание» и щелкните правой кнопкой мыши.
3. Выберите опцию «Выполнить», чтобы выполнить задание.

   

   1. После выполнения задания отображается окно журнала заданий, в котором отображаются все сообщения, касающиеся задания.
   2. Последним сообщением будет «Задание <> успешно завершено».

   

   Шаг 12) – Проверка/проверка данных в SAP База данных Хана.

   1. Войти, чтобы SAP База данных HANA через SAP HANA Studioи выберите схему HANAUSER.
   2. Выберите таблицу KNA1 в узле Таблица.
   3. Щелкните правой кнопкой мыши таблицу KNA1 и выберите «Предварительный просмотр открытых данных».
   4. Таблица (KNA1) Данные, загруженные процессами BODS, как указано выше, будут отображаться на экране предварительного просмотра данных.