INFORMATICA-Transformations-Tutorial und Filtertransformation

⚡ Intelligente Zusammenfassung

Transformationen in Informatica sind die Karteping Objekte, die Daten erstellen, ändern oder an ein Ziel weiterleiten, wobei die Filtertransformation das aktive Objekt ist, das jede Zeile verwirft, die eine einzelne Filterbedingung nicht erfüllt.

  • 🔗 Konnektivität: Verbundene Transformationen befinden sich in der Pipeline, während nicht verbundene Transformationen aus einer anderen Transformation heraus aufgerufen werden.
  • 🔁 Reihenanzahl: Aktive Transformationen verändern die Anzahl der Zeilen; passive Transformationen verändern nur die Werte innerhalb einer Zeile.
  • 🎯 Grundlagen der Filterung: Eine Bedingung entscheidet darüber, welche Zeilen weiterverarbeitet werden, alle anderen Zeilen verlassen die Pipeline.
  • 🧪 Ausgearbeitetes Beispiel: Die Bedingung deptno=10 lädt nur Datensätze der Abteilung zehn in EMP_TARGET.
  • 📄 Sitzungsprotokoll: Zeilen, die den Wert FALSE ergeben, werden verworfen und im Sitzungsprotokoll gespeichert.
  • ⚡ Platzierung: Keeping Der Filter in der Nähe der Quelle verhindert, dass verworfene Zeilen in spätere Transformationen gelangen.

Informatica-Transformationen und Filtertransformation

Was ist Transformation?

Transformationen in Informatica sind Objekte, die Daten erstellen, ändern oder an die definierten Zielstrukturen (Tabellen, Dateien oder andere Ziele) weitergeben.

Der Zweck einer Transformation in Informatica besteht darin, die Quelldaten gemäß den Anforderungen des Zielsystems zu modifizieren. Sie gewährleistet außerdem die Qualität der in das Zielsystem geladenen Daten.

Informatica bietet verschiedene Transformationen zur Ausführung spezifischer Funktionalitäten.

Beispielsweise die Durchführung von Steuerberechnungen auf Basis von Quelldaten, Datenbereinigungsoperationen usw. Bei Transformationen verbinden wir die Ports, um Daten zu übergeben, und die Transformation gibt die Ausgabe über Ausgabeports zurück.

Klassifizierung der Transformation

Transformationen werden in zwei Kategorien eingeteilt: solche, die auf Konnektivität basieren, und solche, die auf der Änderung der Zeilenanzahl basieren. Zunächst betrachten wir die Transformationen, die auf Konnektivität basieren.

Arten der Transformation basierend auf Konnektivität

  • Vernetzte Transformationen
  • Unverbundene Transformationen

In Informatica, während der KartendarstellungpingTransformationen, die mit anderen Transformationen in Verbindung stehen, werden als verbundene Transformationen bezeichnet.

Zum Beispiel, Quellqualifizierer-Transformation Die Quelltabelle EMP ist mit einer Filtertransformation verbunden, um die Mitarbeiter einer Abteilung zu filtern.

Diejenigen Transformationen, die nicht mit anderen Transformationen verbunden sind, werden als unverbundene Transformationen bezeichnet.

Ihre Funktionalität wird genutzt, indem sie innerhalb anderer Transformationen wie der Expression-Transformation aufgerufen werden. Diese Transformationen sind nicht Teil der Pipeline.

Verknüpfte Transformationen sind dann vorzuziehen, wenn für jede Eingabezeile eine Transformation aufgerufen wird oder ein Wert erwartet wird. Beispielsweise könnte die Transformation für die Postleitzahlen in jeder Zeile den Stadtnamen zurückgeben.

Unverbundene Transformationen sind dann nützlich, wenn ihre Funktionalität nur periodisch oder unter bestimmten Bedingungen benötigt wird. Beispielsweise zur Berechnung der Steuerdetails, wenn der Steuerwert nicht verfügbar ist.

Das untenstehende Diagramm stellt beide Kategorienpaare nebeneinander dar.

Informatica-Transformationen, klassifiziert nach Konnektivität und Änderung der Zeilenanzahl

Transformationsarten basierend auf der Änderung der Zeilenanzahl

  • Aktive Transformationen
  • Passive Transformationen

Aktive Transformationen sind solche, die sowohl die Datenzeilen als auch die Anzahl der übergebenen Eingabezeilen verändern. Beispielsweise handelt es sich um eine aktive Transformation, wenn sie zehn Zeilen als Eingabe erhält und fünfzehn Zeilen als Ausgabe zurückgibt. Auch die Daten innerhalb der Zeile werden bei einer aktiven Transformation verändert.

Passive Transformationen sind solche, die die Anzahl der Eingabezeilen nicht verändern. Bei passiven Transformationen bleibt die Anzahl der Eingabe- und Ausgabezeilen gleich, und die Daten werden nur auf Zeilenebene modifiziert.

Bei einer passiven Transformation werden keine neuen Zeilen erstellt und keine vorhandenen Zeilen gelöscht.

Nachfolgend finden Sie die Liste der Transformationen in Informatica

Was ist Filtertransformation?

Die Filtertransformation ist eine aktive Transformation, da sie die Anzahl der Datensätze verändert.

Mithilfe der Filtertransformation können wir die Datensätze anhand der Filterbedingung filtern.

Um beispielsweise nur die Mitarbeiterdatensätze mit der Abteilungsnummer 10 zu laden, können wir eine Filtertransformation in die Map einfügen.ping mit der Filterbedingung deptno=10. Daher werden nur Datensätze mit deptno=10 von der Filtertransformation weitergeleitet, alle übrigen Datensätze werden verworfen.

Die Standardfilterbedingung ist WAHR. Daher durchläuft eine neu erstellte Filtertransformation jede Zeile, bis eine Bedingung erfüllt ist. Jede Zeile, die FALSCH zurückgibt, wird verworfen und eine entsprechende Meldung im Sitzungsprotokoll protokolliert.

So verwenden Sie die Filtertransformation

Schritt 1) Erstellen Sie Karteping mit der Quelle „EMP“ und dem Ziel „EMP_TARGET“.

Karteping mit der EMP-Quelle und dem EMP_TARGET-Ziel in der Karte geöffnetping Designerin

Schritt 2) Dann auf der Karteping:

  1. Wählen Sie das Menü „Transformation“ aus.
  2. Wählen Sie die Option „Erstellen“.

Die Option „Erstellen“ wurde im Transformationsmenü der Karte ausgewählt.ping Designerin

Schritt 3) Dann im Fenster „Transformation erstellen“:

  1. Wählen Sie Filtertransformation aus der Liste aus
  2. Geben Sie den Transformationsnamen „fltr_deptno_10“ ein.
  3. Wählen Sie die Option „Erstellen“.

Erstellen Sie ein Transformationsfenster mit der Filtertransformation und dem Namen fltr_deptno_10

Schritt 4) Die Filtertransformation wird erstellt. Wählen Sie im Fenster „Transformation erstellen“ die Schaltfläche „Fertig“.

Die neue Transformation fltr_deptno_10 wurde auf der Karte platziert.ping Leinwand

Schritt 5) Auf der Karteping:

  1. Ziehen Sie alle Quellqualifiziererspalten per Drag & Drop in die Filtertransformation.
  2. Verknüpfen Sie die Spalten aus der Filtertransformation mit der Zieltabelle

Die Source Qualifier-Ports sind mit der Filtertransformation und weiter mit EMP_TARGET verbunden.

Schritt 6) Double-Klicken Sie auf die Filtertransformation, um deren Eigenschaften zu öffnen, und dann:

  1. Wählen Sie die Registerkarte Eigenschaften aus.
  2. Klicken Sie auf den Filterbedingungseditor.

Registerkarte „Eigenschaften“ der Filtertransformation, die die Zeile „Filterbedingung“ anzeigt

Schritt 7) Dann im Editor für Filterbedingungsausdrücke:

  1. Geben Sie die Filterbedingung ein – deptno=10
  2. Wählen Sie die Schaltfläche „OK“ aus.

Ausdruckseditor mit der eingegebenen und validierten Filterbedingung deptno=10

Schritt 8) Im Fenster „Transformationen bearbeiten“ sehen Sie nun auf der Registerkarte „Eigenschaften“ die Filterbedingung. Klicken Sie auf „OK“.

Die Filterbedingung deptno=10 wird der Eigenschaft „Filterbedingung“ zugeordnet.

Speichere nun die Karteping und führen Sie es nach der Erstellung aus. Session und Arbeitsablauf.In der Zieltabelle werden nur die Datensätze mit deptno=10 geladen.

Auf diese Weise können Sie die Quelldatensätze mithilfe der Filtertransformation filtern.

Filter vs. Router vs. Source Qualifier Filter

In Informatica gibt es drei Objekte, mit denen unerwünschte Zeilen entfernt werden können. Die Auswahl des falschen Objekts beeinträchtigt entweder die Performance oder die Sichtbarkeit der verworfenen Daten.

Betreff Wie Zeilen entfernt werden Wann soll ich es wählen?
Filtertransformation Eine Bedingung pro Transformation. Zeilen, die FALSE zurückgeben, werden verworfen und im Sitzungsprotokoll vermerkt. Eine einzige, einfache Regel, die innerhalb der Karte angewendet wirdping.
Router-Transformation Mehrere Gruppierungsbedingungen in einem Durchlauf. Zeilen, die keiner Gruppe zugeordnet werden, werden der Standardgruppe zugewiesen. Die Zeilen müssen in mehrere Datenströme aufgeteilt oder die abgelehnten Zeilen erfasst werden.
Quellqualifikator Filter Die Bedingung wird Teil der WHERE-Klausel des aus einer relationalen Datenquelle gelesenen SQL-Codes. Die Datenquelle ist relational, und unerwünschte Zeilen sollten die Datenbank niemals verlassen.

Ein einzelner Router liest die eingehenden Daten einmal, während mehrere Filtertransformationen, die dieselbe Eingabe prüfen, den Integrationsdienst veranlassen, diese Daten für jede Transformation erneut zu verarbeiten. Der Quellqualifiziererfilter beschränkt die Ausgabe.tracDie Filtertransformation beschränkt die an das Ziel gesendeten Daten.

Tipps zur Verbesserung der Filtertransformationsleistung

Die Filterbedingung wird für jede Zeile ausgewertet, die die Transformation erreicht, also für die Position des Objekts in der Karte.ping hat einen direkten Einfluss auf die Sitzungsdauer.

  • Platzieren Sie die Filtertransformation so nah wie möglich an der Quelle, damit unerwünschte Zeilen niemals die nachfolgenden Transformationen durchlaufen.
  • Wenn die Quelle relational ist, sollte die Bedingung in den Source Qualifier eingefügt werden, da die Datenbank Zeilen schneller filtert als der Integrationsdienst.
  • Die Bedingung sollte einfach gehalten werden. Ein komplexer Ausdruck kann in eine Ausdruckstransformation verschoben und auf einen einzelnen Flag-Port reduziert werden, den der Filter prüft.
  • Verwenden Sie einen Router anstelle mehrerer Filtertransformationen, die dieselbe Eingabe testen, damit die eingehenden Daten nur einmal gelesen werden.
  • Denken Sie daran, dass die Standardbedingung WAHR ist. Ein nicht konfigurierter Filter lässt daher alles durch und verbirgt den Fehler.

Da jede gelöschte Zeile als Meldung im Sitzungsprotokoll geschrieben wird, lässt sich ein unerwartet leeres Ziel normalerweise durch Lesen dieses Protokolls erklären, anstatt die Zuordnung erneut auszuführen.ping.

Häufig gestellte Fragen

Nur einer. Der Ausdruck kann mehrere Tests mit UND und ODER kombinieren, aber die Transformation wertet einen einzelnen Ausdruck aus, der für jede eingehende Zeile WAHR oder FALSCH zurückgibt.

Ein Nullwert wird als FALSE behandelt, daher wird die Zeile verworfen.ping Der Port in ISNULL oder IIF macht die Absicht explizit und verhindert, dass Zeilen ohne ersichtlichen Grund verschwinden.

Ja. Zeichenkettenvergleiche berücksichtigen die Groß-/Kleinschreibung, daher entspricht ein Wert wie SALES nicht „Sales“. Die Anwendung von UPPER oder LOWER auf den Port gewährleistet die Zuverlässigkeit des Tests auch bei inkonsistenten Quelldaten.

Die aktiven. Die Normalizer Eine einzelne Spalte mit wiederholten Spalten wird in mehrere Zeilen aufgeteilt, und eine Union führt Pipelines zusammen. Passive Objekte geben immer die gleiche Zeilenanzahl zurück.

Es werden keine Zeilen zugeführt, da keine Verknüpfungen in der Pipeline vorhanden sind. Eine andere Transformation ruft es namentlich mit Argumenten auf, erhält einen Rückgabewert, und das Objekt wird nur für diese Aufrufe ausgeführt.

Ja. Wiederverwendbare Objekte werden im Transformation Developer erstellt und im Repository gespeichert, sodass eine Definition in viele Objekte eingefügt werden kann. Kartepings und an einem einzigen Ort bearbeitet.

Maschinelles Lernen in modernen Integrationswerkzeugen profiliert die Quelle, schlägt Bereinigungs- und Abgleichsregeln vor und kennzeichnet Spalten, deren Werte abweichen, sodass der Entwickler mit einer vorgeschlagenen Pipeline und nicht mit einer leeren Leinwand beginnt.

Copilot generiert Syntax für Ausdrücke wie IIF, ISNULL und DECODE anhand einer einfachen Beschreibung, was das Schreiben von Bedingungen beschleunigt. Jeder generierte Ausdruck muss jedoch noch im Designer anhand realer Zeilen getestet werden.

Fassen Sie diesen Beitrag mit folgenden Worten zusammen: