Transformation d'agrégateur dans Informatica avec exemple
⚡ Résumé intelligent
Dans Informatica, la transformation d'agrégation est l'objet actif qui effectue des calculs tels que la somme, la moyenne et le comptage sur un groupe de lignes, en conservant ces lignes dans un cache d'agrégation jusqu'à ce que chaque groupe soit terminé.

Qu’est-ce que la transformation agrégateur ?
La transformation d'agrégation est une transformation active qui effectue des calculs d'agrégation tels que la somme, la moyenne et le nombre.
Par exemple, si vous souhaitez calculer la somme des salaires de tous les employés par département, vous pouvez utiliser la transformation Agrégateur.
Les opérations d'agrégation sont effectuées sur un groupe de lignes, un espace réservé temporaire est donc requis pour stocker tous ces enregistrements et effectuer les calculs.
Pour cela, on utilise le cache de l'agrégateur. Il s'agit d'une zone de mémoire principale temporaire allouée à la transformation d'agrégation pour effectuer ces opérations, et elle est divisée en deux parties : le cache d'index stocke les valeurs des groupes tandis que le cache de données stocke les données des lignes en cours d'agrégation.
La transformation est active car elle modifie le nombre de lignes dans le pipeline. Plusieurs milliers d'enregistrements d'employés peuvent y entrer, et une seule ligne par service en sort.
Comment utiliser la transformation d'agrégateur dans Informatica
Dans cet exemple, nous calculerons la somme des salaires par département. Pour cela, nous avons besoin d’une nouvelle colonne pour stocker cette somme. Alors, tout d’abord, nous allons préparer une nouvelle chronique.
Étape 1) Créez une nouvelle table cible de base de données, par exemple « sum_sal_deptwise », à l'aide du script ci-dessous. La nouvelle table cible de base de données sera créée sous… TargetLe dossier s à l'étape suivante.
Téléchargez le fichier Create_table_sal_deptwise.txt ci-dessus
Étape 2) Créer un nouveau planping « m_sum_sal_deptwise ».
Afin de créer la nouvelle cartepingNous avons besoin de la table source (EMP) et de la table cible (sum_sal_deptwise) dans la Map.ping Designer, donc nous devons
- Importez la table cible « sum_sal_deptwise » dans la carteping.
- Importez la table source « emp ».
Les deux définitions apparaissent désormais sur le canevas, comme indiqué ci-dessous.
Étape 3) Sur la carteping,
- Extrait du Qualificatif de source, supprimez les colonnes empno, ename, job, mgr, hiredate et comm, en ne laissant que les colonnes deptno et sal.
- Créez une nouvelle transformation d'agrégation à l'aide du menu de la boîte à outils, comme indiqué dans la capture d'écran. Lorsque vous cliquez sur l'icône d'agrégation, une nouvelle transformation d'agrégation est créée.
Le nouvel objet AGGTRANS apparaît à côté du qualificateur de source tronqué.
Étape 4) Faites glisser les colonnes SAL et DEPTNO du qualificateur de source (SQ_EMP) vers la transformation Aggregator. Les deux ports sont désormais liés dans AGGTRANS.
Étape 5) Double-cliquez sur la transformation Agrégateur pour ouvrir ses propriétés, puis
- Ajouter un nouveau port dans la transformation
- Renommez le port en SUM_SAL
- Changez le type de données de ce nouveau port pour doubler
- Transformez ce port en port de sortie en cochant la case correspondante.
- Cliquez sur l'option d'expression
L'onglet Ports affiche désormais SAL, DEPTNO et le nouveau port de sortie SUM_SAL.
Étape 6) Dans la fenêtre de l'éditeur d'expressions
- Ajoutez l'expression sum(SAL) ; vous devez écrire cette expression vous-même.
- Sélectionnez le bouton OK pour faire réapparaître la fenêtre Modifier les transformations.
L'éditeur d'expressions affiche l'expression agrégée attribuée à SUM_SAL.
Étape 7) Dans la fenêtre « Modifier les transformations », cochez la case « Grouper par » en regard de la colonne « deptno », puis cliquez sur « OK ». En sélectionnant cette option, vous indiquez à Informatica de regrouper les salaires par numéro de département.
Étape 8) Liez les colonnes deptno et sum_sal de la transformation Aggregator à la table cible. La carteping L'opération est alors complète de la source à la cible.
Maintenant, sauvegardez la carte.ping et exécutez-le après avoir créé un nouveau Session pour cette cartepingLe tableau cible contiendrait la somme des salaires par département. Ainsi, nous pourrions utiliser la transformation Agrégateur pour calculer les résultats agrégés.
Regrouper par ports dans la transformation d'agrégateur
L'étape précédente a permis de définir un port unique comme groupe, ce qui a transformé un total global en un total par service. Tout port d'entrée, d'entrée/sortie, de sortie ou variable peut être défini de la même manière.
Trois règles régissent l'ensemble des résultats :
- Une rangée par groupe. Lorsque les valeurs sont regroupées, le service d'intégration produit une ligne pour chaque combinaison unique des ports de regroupement.
- Aucun groupe, une seule ligne. Si aucun port n'est marqué, l'ensemble des données d'entrée est traité comme un seul groupe et une seule ligne est renvoyée pour toutes les lignes d'entrée.
- La dernière rangée l'emporte. En plus du résultat agrégé, le service d'intégration transmet généralement la dernière ligne reçue dans le groupe, sauf si une fonction telle que FIRST désigne une ligne différente.
Lorsque plusieurs ports sont indiqués, l'ordre des ports détermine le groupe.ping L'ordre, et l'ordre peut changer le résultat. Groupeping par DEPTNO puis JOB n'est pas la même chose que grouping par JOB puis DEPTNO, car les valeurs de la deuxième colonne ne sont pas nécessairement uniques.
Propriétés de transformation de l'agrégateur
L'onglet Propriétés de la fenêtre Modifier les transformations contient les paramètres qui déterminent l'emplacement du cache et la quantité utilisée. Le tableau ci-dessous les répertorie.
| Paramètres | Ce qu'il contrôle |
|---|---|
| Répertoire du cache | Répertoire local dans lequel le service d'intégration crée les fichiers d'index et de cache de données. Par défaut, il s'agit de la variable de processus $PMCacheDir définie dans Workflow Manager. |
| TracNiveau d'apprentissage | Quantité de détails consignés dans le journal de session pour cette transformation. |
| Entrée triée | Indique que les données entrantes sont déjà triées par groupe et par ports. Sélectionnez-les uniquement lorsque la carteping fournit vraiment des données triées. |
| Taille du cache de données de l'agrégateur | Taille du cache de données. La valeur par défaut est de 2 000 000 octets, et l’option Auto permet au service d’intégration de la dimensionner. |
| Taille du cache de l'index de l'agrégateur | Taille du cache d'index. La valeur par défaut est de 1 000 000 octets, et l'option Auto permet au service d'intégration de la dimensionner. |
| Portée de la transformation | Applique la logique à chaque transaction ou à toutes les données entrantes. L'option « Toutes les entrées » supprime les limites des transactions entrantes. |
Lorsque l'agrégation incrémentielle est activée, le service d'intégration écrit une sauvegarde des fichiers de cache à chaque exécution, de sorte que le répertoire de cache doit contenir deux ensembles de fichiers au lieu d'un seul.
Règles d'expression agrégée et conseils de performance
Une expression agrégée peut combiner une fonction agrégée avec des clauses conditionnelles et des fonctions non agrégées, ce qui permet d'effectuer des sommes et des comptages conditionnels au sein d'un même port. Deux règles contraignent les expressions autorisées.
- Un seul niveau d'imbrication. Une seule fonction agrégée peut être imbriquée dans une autre, et l'expression interne est évaluée en premier.
- Pas de mélange. Une transformation peut contenir des fonctions à un seul niveau ou des fonctions imbriquées, jamais les deux. Si elle contient les deux, le concepteur marque la carte.ping invalide, il faut donc répartir la logique sur deux transformations d'agrégation.
Côté réglage, trois paramètres font l'essentiel du travail :
- Entrée triée. Lorsque les lignes arrivent triées par groupe de ports, chaque groupe peut être libéré dès que sa dernière ligne arrive, ce qui réduit considérablement la quantité de données mises en cache et accélère la session. Le tri des données d'entrée est incompatible avec l'agrégation incrémentale.
- Agrégation incrémentale. Les nouvelles lignes sources sont transmises via la carte.ping et combiné avec le cache historique au lieu de recalculer l'historique, ce qui convient à un chargement nocturne sur un total cumulé.
- Filtrer tôt. Les lignes qui ne contribueront jamais à un total doivent être supprimées avant l'agrégateur, soit dans la requête de qualification de source, soit dans un Transformation du filtreEn effet, chaque ligne qui parvient à l'agrégateur consomme de la mémoire cache. Il s'agit d'une des vérifications standard effectuées lors de ce processus. l'optimisation des performances.







