Tutoriel sur les transformations INFORMATICA et transformation de filtre

⚡ Résumé intelligent

Les transformations dans Informatica sont la carteping Les objets qui créent, modifient ou transmettent des données vers une cible, et la transformation Filter est l'objet actif qui supprime chaque ligne ne répondant pas à une seule condition de filtre.

  • 🔗 Connectivité: Les transformations connectées sont intégrées au pipeline, tandis que les transformations non connectées sont appelées depuis l'intérieur d'une autre transformation.
  • (I.e. Nombre de lignes : Les transformations actives modifient le nombre de lignes ; les transformations passives ne modifient que les valeurs à l'intérieur d'une ligne.
  • (I.e. Principes de base du filtrage : Une seule condition détermine quelles lignes continuent, et une ligne sur deux quitte le pipeline.
  • 🧪 Exemple concret : La condition deptno=10 charge uniquement les enregistrements du département dix dans EMP_TARGET.
  • 📄 Journal de session : Les lignes dont la valeur est FAUX sont ignorées et enregistrées dans le journal de session.
  • | Placement: Keeping Le filtre placé près de la source empêche les lignes rejetées d'être intégrées aux transformations ultérieures.

Transformations Informatica et transformation de filtre

Qu'est-ce que la métamorphose ?

Dans Informatica, les transformations sont les objets qui créent, modifient ou transmettent des données aux structures cibles définies (tables, fichiers ou toute autre cible).

L'objectif d'une transformation dans Informatica est de modifier les données sources afin de les adapter aux exigences du système cible. Elle garantit également la qualité des données chargées dans ce dernier.

Informatica propose diverses transformations pour exécuter des fonctionnalités spécifiques.

Par exemple, effectuer un calcul de taxe à partir des données sources, une opération de nettoyage des données, etc. Dans les transformations, nous connectons les ports pour leur transmettre des données, et la transformation renvoie la sortie via les ports de sortie.

Classification des transformations

Les transformations sont classées en deux catégories : l’une basée sur la connectivité et l’autre sur la modification du nombre de lignes. Nous examinerons d’abord les transformations basées sur la connectivité.

Types de transformation selon la connectivité

  • Transformations connectées
  • Transformations non connectées

Dans Informatica, pendant la cartographiepingLes transformations qui sont liées à d'autres transformations sont appelées transformations liées.

Par exemple, Transformation du qualificateur de source La table source EMP est connectée à une transformation Filter pour filtrer les employés d'un département.

Les transformations qui ne sont connectées à aucune autre transformation sont appelées transformations non connectées.

Leur fonctionnalité est utilisée en les appelant à l'intérieur d'autres transformations, comme la transformation Expression. Ces transformations ne font pas partie du pipeline.

Les transformations liées sont préférables lorsque, pour chaque ligne d'entrée, la transformation est appelée ou doit renvoyer une valeur. Par exemple, pour les codes postaux de chaque ligne, la transformation renvoyant le nom de la ville.

Les transformations non liées sont utiles lorsque leur fonctionnalité n'est requise que périodiquement ou sous certaines conditions. Par exemple, calculer les détails de la taxe si sa valeur n'est pas disponible.

Le diagramme ci-dessous place les deux paires de catégories côte à côte.

Transformations Informatica classées par connectivité et par variation du nombre de lignes

Types de transformation selon la modification du nombre de lignes

  • Transformations actives
  • Transformations passives

Les transformations actives modifient à la fois les lignes de données et le nombre de lignes d'entrée. Par exemple, une transformation qui reçoit dix lignes en entrée et en renvoie quinze en sortie est une transformation active. Les données de chaque ligne sont également modifiées lors d'une transformation active.

Les transformations passives sont celles qui ne modifient pas le nombre de lignes d'entrée. Dans ce cas, le nombre de lignes d'entrée et de sortie reste inchangé ; seules les données sont modifiées au niveau des lignes.

Lors d'une transformation passive, aucune nouvelle ligne n'est créée et aucune ligne existante n'est supprimée.

Voici la liste des transformations dans Informatica

Qu’est-ce que la transformation de filtre ?

La transformation de filtre est une transformation active car elle modifie le nombre d'enregistrements.

Grâce à la transformation Filter, nous pouvons filtrer les enregistrements en fonction de la condition de filtrage.

Par exemple, pour charger uniquement les enregistrements des employés dont le numéro de département est égal à 10, nous pouvons insérer une transformation de filtre dans la carte.ping avec la condition de filtre deptno=10. Ainsi, seuls les enregistrements dont deptno=10 seront pris en compte par la transformation de filtre, et les autres seront supprimés.

La condition de filtrage par défaut est VRAIE ; par conséquent, une transformation de filtrage nouvellement créée traite chaque ligne jusqu'à ce qu'une condition soit saisie. Chaque ligne renvoyant FAUX est ignorée et un message est consigné dans le journal de session.

Comment utiliser la transformation de filtre

Étape 1) Créer un planping ayant pour source « EMP » et pour cible « EMP_TARGET ».

Carteping avec la source EMP et la cible EMP_TARGET ouvertes dans la carteping Créateur

Étape 2) Ensuite, sur la carteping:

  1. Sélectionnez le menu Transformation
  2. Sélectionnez l'option Créer

Créez l'option choisie dans le menu Transformation de la carte.ping Créateur

Étape 3) Ensuite, dans la fenêtre Créer une transformation :

  1. Sélectionnez Filtrer la transformation dans la liste
  2. Saisissez le nom de la transformation « fltr_deptno_10 »
  3. Sélectionnez l'option Créer

Créer une fenêtre de transformation avec Filtre de transformation et le nom fltr_deptno_10

Étape 4) La transformation Filtre sera créée. Sélectionnez le bouton « Terminé » dans la fenêtre Créer une transformation.

Nouvelle transformation fltr_deptno_10 placée sur la carteping la toile

Étape 5) Sur la carteping:

  1. Faites glisser et déposez toutes les colonnes de qualificateur de source vers la transformation Filtre
  2. Liez les colonnes de la transformation Filter à la table cible

Les ports du qualificateur de source sont liés à la transformation du filtre et à EMP_TARGET.

Étape 6) Double-cliquez sur la transformation Filtre pour ouvrir ses propriétés, puis :

  1. Sélectionnez l'onglet Propriétés
  2. Cliquez sur l'éditeur de conditions de filtre

Onglet Propriétés de la transformation Filtre affichant la ligne Condition de filtre

Étape 7) Ensuite, dans l'éditeur d'expressions de condition de filtre :

  1. Saisissez la condition de filtrage – deptno=10
  2. Sélectionnez le bouton OK

Éditeur d'expressions avec la condition de filtre deptno=10 saisie et validée

Étape 8) Dans la fenêtre Modifier les transformations, sous l'onglet Propriétés, vous verrez la condition de filtre. Cliquez sur le bouton OK.

La condition de filtre deptno=10 est affichée en regard de la propriété Condition de filtre

Maintenant, sauvegardez la carte.ping et l'exécuter après avoir créé le Session et workflowDans la table cible, seuls les enregistrements ayant deptno=10 seront chargés.

Vous pouvez ainsi filtrer les enregistrements sources à l'aide de la transformation Filtre.

Filtre vs Routeur vs Filtre de qualification de source

Dans Informatica, trois objets permettent de supprimer les lignes indésirables, et choisir le mauvais a un coût en termes de performances ou de visibilité des données rejetées.

Sujet Comment les lignes sont supprimées Quand le choisir
Transformation du filtre Une seule condition par transformation. Les lignes renvoyant la valeur FALSE sont supprimées et consignées dans le journal de session. Une seule règle simple appliquée à l'intérieur de la carteping.
Transformation du routeur Plusieurs conditions de groupe en une seule passe. Les lignes ne correspondant à aucun groupe sont placées dans le groupe par défaut. Les lignes doivent être divisées en plusieurs flux, ou les lignes rejetées doivent être capturées.
Qualificatif de source une fonction filtre La condition devient partie intégrante de la clause WHERE de la requête SQL lue à partir d'une source relationnelle. La source est relationnelle et les lignes indésirables ne doivent jamais quitter la base de données.

Un seul routeur lit les données entrantes une seule fois, tandis que plusieurs transformations de filtre testant la même entrée obligent le service d'intégration à traiter à nouveau ces données pour chacune d'elles. Le filtre de qualification de source limite ce qui est extracLa transformation Filter, quant à elle, limite ce qui est envoyé à la cible, en éliminant les données de la source.

Conseils pour améliorer les performances de transformation des filtres

La condition de filtrage est évaluée pour chaque ligne atteignant la transformation, donc l'emplacement de l'objet sur la carte est déterminé.ping a un effet direct sur la durée de la session.

  • Placez la transformation Filter au plus près de la source, afin que les lignes indésirables ne passent jamais par les transformations ultérieures.
  • Intégrez la condition dans le qualificateur de source lorsque la source est relationnelle, car la base de données filtre les lignes plus rapidement que le service d'intégration.
  • Simplifiez la condition. Une expression complexe peut être déplacée vers une transformation d'expression et réduite à un seul port d'indicateur que le filtre teste.
  • Utilisez un seul routeur au lieu de plusieurs transformations de filtre qui testent la même entrée, afin que les données entrantes ne soient lues qu'une seule fois.
  • N'oubliez pas que la condition par défaut est VRAIE, donc un filtre non configuré laisse passer tout et masque l'erreur.

Comme chaque ligne supprimée est consignée dans le journal de session, une cible vide de manière inattendue s'explique généralement par la consultation de ce journal plutôt que par la réexécution de la fonction map.ping.

FAQ

Une seule. L'expression peut combiner plusieurs tests avec ET et OU, mais la transformation évalue une seule expression qui renvoie VRAI ou FAUX pour chaque ligne entrante.

Un résultat nul est traité comme FAUX, la ligne est donc supprimée.ping Le port dans ISNULL ou IIF explicite l'intention et empêche la disparition des lignes sans raison évidente.

Oui. La comparaison de chaînes de caractères tient compte de la casse ; par conséquent, une valeur comme « SALES » ne correspond pas à « Sales ». L’utilisation des opérateurs UPPER ou LOWER sur le port permet de garantir la fiabilité du test même en cas d’incohérences dans les données sources.

Les actifs. Normalizer Transforme un enregistrement unique comportant des colonnes répétées en plusieurs lignes, et une union fusionne les pipelines. Les objets passifs renvoient toujours le même nombre de lignes.

Aucun élément ne lui fournit de lignes, car il n'est lié à aucun élément du pipeline. Une autre transformation l'appelle par son nom avec des arguments, reçoit une seule valeur de retour, et l'objet ne s'exécute que pour ces appels.

Oui. Les objets réutilisables sont créés dans Transformation Developer et stockés dans le référentiel ; une seule définition peut donc être utilisée dans plusieurs contextes. planpings et édités en un seul endroit.

L'apprentissage automatique dans les outils d'intégration modernes profile la source, propose des règles de nettoyage et de correspondance et signale les colonnes dont les valeurs dérivent, de sorte que le concepteur part d'un pipeline suggéré plutôt que d'une page blanche.

Copilot génère la syntaxe des expressions telles que IIF, ISNULL et DECODE à partir d'une description simple, ce qui accélère la rédaction des conditions. Chaque expression générée doit néanmoins être testée sur des lignes réelles dans l'interface de conception.

Résumez cet article avec :