SAP DS (services de données) dans HANA

Qu’est ce qu' SAP Services de données ?

SAP Data Services est un outil ETL qui offre une solution unique au niveau de l'entreprise pour l'intégration des données, la transformation, la qualité des données, le profilage des données et le traitement des données textuelles à partir d'une source hétérogène vers une base de données cible ou un entrepôt de données.

Nous pouvons créer des applications (tâches) dans lesquelles le mappage et la transformation des données peuvent être effectués à l'aide du Designer. (Dernière version de SAP BODS est 4.2).

Caractéristiques des services de données

• Il fournit des transformations parallèles hautes performances.
• Il dispose d’outils administratifs complets et d’un outil de reporting.
• Il prend en charge plusieurs utilisateurs.
• SAP CORPS est très flexible avec une application basée sur un service Web.
• Il permet un langage de script avec de riches ensembles de fonctions.
• Les services de données peuvent s'intégrer à SAP LT Replication Server (SLT), avec la technologie basée sur les déclencheurs. SLT ajoute des capacités delta à chaque SAP ou nonSAP table source, qui permet d'utiliser la capture de données pour modifier et transférer les données delta de la table source.
• Validation des données avec tableaux de bord et audit des processus.
• Outil d'administration avec capacités de planification et surveillance/tableaux de bord.
• Débogage, profilage intégré et visualisation des données.
• SAP BODS prend en charge une source et une cible larges.
• Toutes les applications (par exemple SAP).
• Toutes les bases de données avec chargement en masse et capture de données modifiées
• Fichiers : largeur fixe, délimités par des virgules, COBOL, XML, Excel.

Composant des services de données

SAP Les services DATA ont le composant ci-dessous –

1. Concepteur - Il s'agit d'un outil de développement grâce auquel nous pouvons créer, tester et exécuter un travail qui alimente un entrepôt de données. Il permet au développeur de créer des objets et de les configurer en sélectionnant une icône dans un diagramme de flux source-cible. Il peut être utilisé pour créer une application en spécifiant des workflows et des flux de données. Pour ouvrir Data Service Designer, accédez à Menu Démarrer -> Tous les programmes -> SAP Services de données (4.2 ici) -> Concepteur de services de données.

2. Serveur de travaux- Il s'agit d'une application qui lance le moteur de traitement des services de données et sert d'interface avec le moteur et la suite Data Services.
3. Moteur- Le moteur Data Service exécute des tâches individuelles définies dans l'application.
4. Dépôt- Le référentiel est une base de données qui stocke les objets prédéfinis par le concepteur et les objets définis par l'utilisateur (métadonnées source et cible, règles de transformation). Les référentiels sont de deux types :

• Dépôt local (Utilisé par Designer et Job Server).
• Dépôt central (Utilisé pour le partage d'objets et le contrôle de version)

5. Serveur d'accès- Le serveur d'accès transmet les messages entre les applications Web, le serveur de travaux de services de données et les moteurs.
6. Administrateur- L'administrateur Web fournit une administration basée sur un navigateur des ressources des services de données. Les détails sont les suivants :

• Configuration, démarrage et arrêt des services temps réel.
• Planification, surveillance et exécution de tâches par lots.
• Configuration de l'utilisation du Job Server, du serveur d'accès et du référentiel.
• Gestion des utilisateurs.
• Publication de tâches par lots et de services en temps réel via des services Web
• Configuration et gestion des adaptateurs.

Services de données Architecture –

L'architecture des services de données comporte les composants suivants :

• Référentiel central : il est utilisé pour la configuration des référentiels sur les serveurs de tâches, la gestion de la sécurité, le contrôle de version et le partage d'objets.
• Concepteur – Utilisé pour créer un projet, un travail, un flux de travail, un flux de données et l'exécuter.
• Dépôt local (ici, vous pouvez créer des modifications et démarrer des tâches, un workflow, un flux de données).
• Serveur de tâches et moteur – Il gère les tâches.
• Serveur d'accès – Il est utilisé pour exécuter les tâches en temps réel créées par les développeurs dans les référentiels.

Dans l'image ci-dessous, les services de données et la relation entre leurs composants sont affichés.

SAP CORPS Architecture

Détail de la fenêtre Designer : Examinons d’abord la première composante de SAP service de données - Concepteur

Le détail de chaque section du concepteur de services de données est le suivant :

1. Barre d'outils (Utilisé pour Ouvrir, Enregistrer, Précédent, Valider, Exécuter, etc.).
2. Etendue du projet (Contient le projet actuel, qui inclut Job, Workflow et Dataflow. Dans Data Services, toutes les entités sont des objets.
3. Espace de travail (La zone de la fenêtre d'application dans laquelle nous définissons, affichons et modifions les objets).
4. Bibliothèque d'objets locale (Il contient des objets du référentiel local, tels que des transformations, des tâches, des workflows, des flux de données, etc.).
5. Palette d'outils (Les boutons de la palette d'outils vous permettent d'ajouter de nouveaux objets à l'espace de travail).

Hiérarchie des objets

Le diagramme ci-dessous montre les relations hiérarchiques pour les types d'objets clés au sein de Data Services.

>

Remarque:

Les flux de travail et les conditions* sont facultatifs

Objets utilisés dans SAP Les détails des services de données sont les suivants :

Objets	Description
Projet	Un projet est un objet de plus haut niveau dans la fenêtre Designer. Les projets vous permettent d'organiser les autres objets que vous créez dans Data Services. Un seul projet est ouvert à la fois (où « ouvert » signifie « visible dans la zone du projet »).
Emploi	Un « travail » est la plus petite unité de travail que vous pouvez planifier indépendamment pour son exécution.
Scripts	Un sous-ensemble de lignes dans une procédure.
Workflow	Un « flux de travail » est l'incorporation de plusieurs flux de données dans un flux de travail cohérent pour l'ensemble d'un travail. Le flux de travail est facultatif. Le workflow est une procédure. Flux de données d'appel Appeler un autre flux de travail Définir l'ordre des étapes à exécuter dans votre travail Transmettez les paramètres vers et depuis les flux de données. Spécifiez comment gérer les erreurs qui se produisent lors de l'exécution. Définir les conditions d’exécution des sections du projet.
Flux de données	Un « flux de données » est le processus par lequel les données sources sont transformées en données cibles. Un flux de données est un objet réutilisable. Il est toujours appelé depuis un flux de travail ou un travail. Identifiez les données sources que vous souhaitez lire. Définissez les transformations que vous souhaitez effectuer sur les données. Identifiez la table cible dans laquelle vous souhaitez charger des données.
Datastore	Canal logique qui connecte Data Services aux bases de données source et cible Datastore. Doit être spécifié pour chaque base de données source et cible. Sont utilisés pour importer des métadonnées pour les bases de données source et cible dans le référentiel Sont utilisés par Data Services pour lire les données des tables sources et charger les données dans les tables cibles.
Target	Table ou fichier dans lequel Data Services charge les données à partir de la source.

Exemple de services de données en chargeant des données depuis SAP Tableau des sources

Tout dans les services de données est un objet. Nous devons séparer le magasin de données pour chaque base de données source et cible.

Étapes de chargement des données depuis SAP tableau source – SAP Les BODS comportent de nombreuses étapes, au cours desquelles nous devons créer un magasin de données pour la source et la cible et les mapper.

• Créer un magasin de données entre la source et BODS
• Importez les métadonnées (Structures) dans BODS.
• Configurer le serveur d'importation
• Importez les métadonnées dans le système HANA.
• Créez un magasin de données entre BODS et HANA.
• Créer un projet.
• Créer un travail (par lots/temps réel)
• Créer un flux de travail
• Créer un flux de données
• Ajouter un objet dans Dataflow
• Exécuter le travail
• Vérifier l'aperçu des données dans HANA

Étape 1) Créer un magasin de données entre SAP Source et DBO

1. Pour charger des données depuis SAP Source vers SAP HANA via SAP BODS, nous avons besoin d'un magasin de données. Nous créons donc d'abord un magasin de données comme indiqué ci-dessous – Projet -> Nouveau -> Magasin de données

   

2. Une fenêtre contextuelle pour Créer un nouveau magasin de données apparaîtra, entrez les détails comme ci-dessous :
   1. Entrez le nom du magasin de données « ds_ecc ».
   2. Sélectionnez le nom du type de magasin de données comme «SAP Applications".
   3. Entrez le nom du serveur de base de données
   4. Nom d'utilisateur et mot de passe.
   5. Cliquez sur le bouton « Appliquer ».
   6. Cliquez sur le bouton « OK ».

   

3. La banque de données sera créée et affichera la banque de données créée comme ci-dessous :

1. Accédez à la bibliothèque d'objets locale
2. Sélectionnez l'onglet Banque de données.
3. Le magasin de données « ds_ecc » sera affiché.

Étape 2) Importez des métadonnées (structure) sur le serveur BODS.

Nous avons créé un magasin de données pour ECC vers BODS ; maintenant, nous importons les métadonnées d'ECC dans BODS. Pour importer, suivez les étapes ci-dessous –

1. Sélectionnez la banque de données « ds_ecc » et faites un clic droit.
2. Sélectionnez l’option Importer par nom.

   

   Une fenêtre contextuelle pour Importer par nom s'affichera. Entrez les détails comme ci-dessous –

   1. Sélectionnez Type sous forme de tableau.
   2. Entrez le nom de la table que nous souhaitons importer. Ici, nous importons la table KNA1.
   3. Cliquez sur le bouton « Importer ». La table KNA1 apparaîtra sous le nœud de table de la source de données « ds_ecc ».

   

Les métadonnées de la table seront importées dans la banque de données ds_ecc comme ci-dessous :

Étape 3) Configurer le serveur d'importation

Jusqu'à présent, nous avons importé la table dans les données stockées « ds_ecc » créées pour ECC afin de SAP Connexion BODS. Pour importer des données dans SAP HANA, nous devons configurer le serveur d'importation,

1. Pour ce faire, passez à Aperçu rapide-> Configurer le serveur d'importation comme ci-dessous –

   

2. Une fenêtre contextuelle pour Sélectionner le système apparaîtra, Sélectionnez SAP HANA (HDB ici) Système comme ci-dessous-

3. Cliquez sur le bouton « Suivant ». Une autre fenêtre contextuelle pour les informations d'identification du service de données apparaîtra, entrez les détails suivants

1. SAP Adresse du serveur BODS (ici BODS:6400 )
2. Entrer SAP Nom du référentiel BODS (Nom du référentiel HANAUSER)
3. Entrez la source de données ODBC (ZTDS_DS).
4. Entrez le port par défaut pour SAP Serveur BODS (8080).

Cliquez sur le bouton « Terminer ».

Étape 4) Importer les métadonnées dans le système HANA

1. Jusqu'à présent, nous avons configuré le serveur d'importation, nous allons maintenant importer les métadonnées de SAP Serveur BODS.

1. Cliquez sur l’option Importer dans Quick View.
2. Une fenêtre contextuelle pour l'option Importer s'affichera. Sélectionnez l’option « Importation sélective des métadonnées ».

Cliquez sur le bouton « Suivant ».

2. Une fenêtre contextuelle pour « Importation sélective des métadonnées » s'affichera, dans laquelle nous sélectionnons le système cible.

1. Pour plus d'information SAP Système HANA (HDB ici).

Cliquez sur le bouton « Suivant ».

Étape 5) Créer un magasin de données entre BODS et HANA

Comme nous le savons, dans BODS, nous devons créer une banque de données distincte pour la source et la cible. Nous avons déjà créé un magasin de données pour la source, nous devons maintenant créer un magasin de données pour la cible (entre BODS et HANA). Nous créons donc un nouveau magasin de données avec le nom « DS_BODS_HANA ».

1. Accédez à Projet -> Nouveau -> Banque de données.

2. Un écran pour Créer une nouvelle banque de données apparaîtra comme ci-dessous.
   1. Saisissez le nom de la banque de données (DS_BODS_HANA).
   2. Entrez le type de banque de données comme Base de données.
   3. Entrez le type de base de données comme SAP HANA.
   4. Sélectionnez Version de la base de données.
   5. Entrer SAP Nom du serveur de base de données HANA.
   6. Entrez le nom du port pour SAP Base de données HANA.
   7. Entrez le nom d'utilisateur et le mot de passe.
   8. Cochez « Activer le transfert automatique des données ».

Cliquez sur « Appliquer » puis sur le bouton « OK ».

La banque de données « DS_BODS_HANA » sera affichée sous l'onglet Banque de données de la bibliothèque d'objets locale comme

Sous-

3. Maintenant, nous importons la table dans le magasin de données « DS_BODS_HANA ».
   1. Sélectionnez le magasin de données « DS_BODS_HANA » et faites un clic droit.
   2. Sélectionnez Importer par nom.

4. Une fenêtre contextuelle pour l'importation par nom apparaîtra comme ci-dessous :
   1. Sélectionnez Type comme tableau.
   2. Entrez le nom KNA1.
   3. Le propriétaire sera affiché comme Hanauser.
   4. Cliquez sur le bouton Importer.

Le tableau sera importé dans la banque de données « DS_BOD_HANA », pour afficher les données dans le tableau, suivez les étapes ci-dessous :

1. Cliquez sur la table « KNA1 » dans le magasin de données « DS_BODS_HANA ».
2. Les données seront affichées au format TABULAIRE.

Étape 6) Définir le projet : Groupe de projet et organisation objets associés. Le projet peut contenir n'importe quel nombre de tâches, de flux de travail et de flux de données.

1. Accédez au menu Projet Designer.
2. Sélectionnez une nouvelle option.
3. Sélectionnez l’option Projet.

Une POP-UP pour la création d'un nouveau projet apparaît comme ci-dessous. Entrez le nom du projet et cliquez sur le bouton Créer. Cela créera un dossier de projet dans notre cas BODS_DHK.

Étape 7) Définir le travail : Un Job est un objet réutilisable. Il contient des workflows et des flux de données. Les tâches peuvent être exécutées manuellement ou selon un calendrier. Pour exécuter le processus BODS, nous devons définir le travail.

Nous créons un Job en tant que JOB_Customer.

1. Sélectionnez le projet (BODS_DHK) créé à l'étape 1, faites un clic droit et sélectionnez « Nouveau travail par lots ».

   

2. Renommez-le en « JOB_Customer ».

Étape 8) Définir le flux de travail :

1. Sélectionnez le travail « JOB_Customer » dans la zone de projet,
2. Cliquez sur le bouton de flux de travail dans la palette d'outils. Cliquez sur la zone Black Workspace. Une icône de workflow apparaîtra dans l'espace de travail.
3. Changez le nom du workflow en « WF_Customer ».

Cliquez sur le nom du workflow, une vue vide du workflow apparaît dans l'espace de travail.

Étape 9) Définir le flux de données :

1. Cliquez sur le workflow « WF_Customer ».
2. Cliquez sur le bouton Dataflow dans la palette d'outils. Cliquez sur la zone Black Workspace. Une icône Dataflow apparaîtra dans l'espace de travail.
3. Changez le nom du flux de données en « DF_Customer ».
4. Le Dataflow apparaît également dans la zone du projet à gauche sous le nom de la tâche.

Étape 10) Ajouter un objet dans Dataflow :

Dans le flux de données, nous pouvons fournir des instructions pour transformer les données sources sous la forme souhaitée pour la table cible.

Nous verrons ci-dessous l’objet –

• Un objet pour la source.
• Un objet pour la table cible.
• Un objet pour la transformation Query. (La transformation de requête mappe les colonnes de la source à la cible.) Cliquez sur sur le flux de données DF_Customer . Un espace de travail vide apparaîtra comme ci-dessous –

  

1. Spécifier l'objet de la source – Accédez au magasin de données «ds_ecc» et sélectionnez la table KNA1 et faites glisser et déposez vers l'écran vide du flux de données comme ci-dessous.
2. Spécifier l'objet pour Target- Sélectionnez Magasin de données « DS_BODS_HANA » dans le référentiel et sélectionnez la table KNA1.
3. Glissez-déposez sur l'espace de travail et sélectionnez « Créer Target « option. Il y aura deux tables pour la source et la cible. Ici, nous définirons la table comme source et cible.

4. Transformation de requête – Il s'agit d'un outil utilisé pour récupérer des données basées sur un schéma d'entrée pour une condition spécifique à l'utilisateur et pour transporter les données de la source à la cible.
   1. Sélectionnez l'icône de transformation de requête dans la palette d'outils, puis faites-la glisser et déposez-la entre l'objet source et l'objet cible dans l'espace de travail comme ci-dessous :
   2. Lier l’objet Requête à la Source.
   3. Lier l'objet de requête à Target tableau.

   

   4. Double Cliquez sur l'icône de requête. Ainsi, nous mappons une colonne du schéma d’entrée au schéma de sortie.

Lorsque nous cliquons sur l’icône Requête, une fenêtre suivante de mappage apparaîtra, dans laquelle nous effectuons les étapes suivantes –

1. La table source KNA1 est sélectionnée.
2. Sélectionnez toutes les colonnes de la table source, cliquez avec le bouton droit et sélectionnez une carte à afficher.
3. Target Sortie sélectionnée comme Requête et la colonne sera mappée.

5. Enregistrez et validez le projet.

1. Cliquez sur l'icône valider.

2. Une fenêtre contextuelle indiquant le succès de la validation apparaît.

Étape 11) Exécuter le travail – Pour exécuter le travail, suivez le chemin ci-dessous :

1. Sélectionnez l’icône de la zone de projet pour ouvrir le projet et sélectionnez le projet créé.
2. Sélectionnez Travail et cliquez avec le bouton droit.
3. Sélectionnez l'option Exécuter pour exécuter le travail.

   

   1. Après l'exécution du travail, une fenêtre Journal du travail s'affiche, dans laquelle tous les messages concernant le travail seront affichés.
   2. Le dernier message sera Le travail < > est terminé avec succès.

   

   Étape 12) – Valider / Vérifier les données SAP Base de données HANA.

   1. Connectez-vous à SAP Base de données HANA via SAP Studio Hana, puis sélectionnez le schéma HANAUSER.
   2. Sélectionnez la table KNA1 dans le nœud Table.
   3. Cliquez avec le bouton droit sur la table KNA1 et sélectionnez Open Data Preview.
   4. Tableau (KNA1) Les données chargées par les processus BODS comme ci-dessus seront affichées dans l'écran d'aperçu des données.