ETL-Test-Tutorial

Was ist ETL?

ETL steht für Extract-Transform-LoadEs beschreibt, wie Daten von einem Quellsystem in ein Data Warehouse gelangen. Daten werden extracDie Daten werden aus einer OLTP-Datenbank extrahiert, an das Data-Warehouse-Schema angepasst und in die Warehouse-Datenbank geladen. Viele Data Warehouses integrieren auch Daten aus Nicht-OLTP-Systemen wie Textdateien, älteren Anwendungen und Tabellenkalkulationen.

Ein Einzelhandelsgeschäft kann beispielsweise separate Abteilungen wie Vertrieb, Marketing und Logistik haben. Jede Abteilung verarbeitet Kundendaten unabhängig und speichert diese Daten auf unterschiedliche Weise. Die Vertriebsabteilung speichert Datensätze möglicherweise anhand des Kundennamens, während die Marketingabteilung die Kunden-ID verwendet.

Wenn Business-Teams die vollständige Kaufhistorie eines Kunden über verschiedene Marketingkampagnen hinweg überprüfen möchten, gestaltet sich dies aufgrund der unzusammenhängenden Daten sehr mühsam. Die Lösung besteht in der Verwendung von Data-Warehouse Informationen aus verschiedenen Quellen werden mithilfe von ETL in einer einheitlichen Struktur gespeichert. ETL kann unterschiedliche Datensätze in eine einheitliche Struktur transformieren, sodass BI-Tools später aussagekräftige Erkenntnisse und Berichte ableiten können.

Das folgende Diagramm zeigt den Ablauf des ETL-Testprozesses und die Kernkonzepte, die Sie in diesem Leitfaden verwenden werden:

1) Beispieltract

• Extract relevante Daten aus einem oder mehreren Quellsystemen.

2) Transform

• Daten in das DW-Format (Data Warehouse) transformieren.
• Schlüssel erstellen: Ein Schlüssel besteht aus einem oder mehreren Datenattributen, die eine Entität eindeutig identifizieren. Verschiedene Arten von Schlüsseln Es gibt Primärschlüssel, Alternativschlüssel, Fremdschlüssel, zusammengesetzte Schlüssel und künstliche Schlüssel. Diese Schlüssel werden vom Data Warehouse verwaltet und dürfen niemals von anderen Entitäten zugewiesen werden.
• Datenbereinigung: nachdem die Daten extracAnschließend geht es in die nächste Phase der Bereinigung und Konformitätsprüfung über. Die Bereinigung behebt Lücken und identifiziert Fehler. Die Konformitätsprüfung löst Konflikte zwischen inkompatiblen Datensätzen, sodass diese in einem Enterprise Data Warehouse verwendet werden können. Das System erstellt außerdem Metadaten, die bei der Diagnose von Problemen im Quellsystem und der Verbesserung der Datenqualität helfen.

3) Laden

• Daten in das DW (Data Warehouse) laden.
• Aggregate erstellen: Ein Aggregat fasst Daten zusammen und speichert sie aus einem Faktentabelle um die Leistung von Endbenutzerabfragen zu verbessern.

Was ist ETL-Test?

ETL-Tests werden durchgeführt, um sicherzustellen, dass die nach der Geschäftsprozesstransformation von einer Quelle zu einem Ziel geladenen Daten korrekt sind. Sie umfassen auch die Überprüfung der Daten in den verschiedenen Zwischenschritten zwischen Quelle und Ziel. Da ETL für Excursion steht, …tract-Transform-Load, ETL Testing umfasst jede dieser drei Phasen und die Punkte, an denen Daten zwischen ihnen ausgetauscht werden.

Warum ist ETL-Testen wichtig?

Sobald man verstanden hat, was ETL-Testing ist, stellt sich die Frage, warum Unternehmen so viel Aufwand darin investieren. Geschäftsentscheidungen basieren auf korrekten, vollständigen und vertrauenswürdigen Daten, sodass ein einziger Transformationsfehler weitreichende Folgen für Finanzberichte, Kundenanalysen und regulatorische Offenlegungen haben kann.

Die folgenden Punkte verdeutlichen den praktischen Nutzen eines gründlichen ETL-Testings:

• Datengenauigkeit: Es bestätigt, dass die durch Geschäftsregeln transformierten Werte mit der dokumentierten Zuordnung übereinstimmen.ping Spezifikationen, um stille Korruption zu verhindern.
• Zuverlässige Berichterstattung: Dashboards und BI-Tools sind vom Data Warehouse abhängig, daher schützen verifizierte ETL-Pipelines jeden nachgelagerten Bericht und KPI.
• Einhaltung gesetzlicher Vorschriften: Branchen wie das Bankwesen, das Gesundheitswesen und das Versicherungswesen müssen nachweisen, dass die Datenherkunft und -integrität durchgängig gewahrt bleiben.
• Reduzierte Nacharbeit: Durch das Erkennen von Fehlern in Testumgebungen lassen sich kostspielige Produktionsnachrüstungen, manuelle Abgleiche und Fehler, die den Kunden direkt betreffen, vermeiden.
• Leistungssicherung: ETL-Tests messen Ladefenster, Durchsatz und Engpässe, damit das Data Warehouse auch bei wachsendem Datenvolumen skalierbar bleibt.

Nachdem diese Motivationen erläutert wurden, beschreibt der nächste Abschnitt den strukturierten Prozess, den ETL-Tester bei realen Projekten befolgen.

ETL-Testprozess

Ähnlich wie andere Testverfahren durchläuft auch ETL verschiedene Phasen. Die verschiedenen Phasen des ETL-Testprozesses sind wie folgt:

ETL-Tests werden in fünf Phasen durchgeführt:

1. Identifizieren von Datenquellen und Anforderungen
2. Datenerfassung
3. Geschäftslogik und dimensionale Modellierung implementieren
4. Erstellen und füllen Sie Daten
5. Berichte erstellen

Mit Blick auf den übergeordneten Prozess wollen wir uns nun die spezifischen Testarten ansehen, die in diesen Lebenszyklus passen.

Arten von ETL-Tests

1. Produktionsvalidierungstests
   Testprozess: Diese Art von ETL-Test, auch „Tabellenabgleich“ oder „Produktionsabgleich“ genannt, wird an Daten durchgeführt, die in die Produktionssysteme gelangen. Um fundierte Geschäftsentscheidungen zu ermöglichen, müssen die Produktionsdaten in der richtigen Reihenfolge vorliegen. Informatik Die Option zur Datenvalidierung bietet Automatisierungs- und Managementfunktionen für ETL-Tests, sodass Produktionssysteme nicht durch fehlerhafte Daten beeinträchtigt werden.
2. Quelle zu Target Testen (Validierungstests)
   Testprozess: Diese Art von Test überprüft, ob die transformierten Datenwerte mit den erwarteten Zielwerten übereinstimmen.
3. Anwendung Upgrades
   Testprozess: Diese Art von ETL-Test kann automatisch generiert werden, wodurch die Testentwicklungszeit erheblich verkürzt wird. Dabei wird geprüft, ob die Daten exponentiell ...tracDie aus einer älteren Anwendung oder einem älteren Repository stammenden Daten werden mit den Daten in einer neuen Anwendung oder einem neuen Repository abgeglichen.
4. Metadatentests
   Testprozess: Metadatentests umfassen Datentypprüfungen, Datenlängenprüfungen und Index- bzw. Einschränkungsprüfungen.
5. Prüfung der Datenvollständigkeit
   Testprozess: Die Prüfung der Datenvollständigkeit verifiziert, dass alle erwarteten Daten von der Quelle in das Zielsystem geladen werden. Gängige Tests umfassen den Vergleich und die Validierung von Datensatzanzahlen, Aggregatwerten und tatsächlichen Daten zwischen Quell- und Zielspalten, wenn die Transformation einfach ist oder fehlt.
6. Prüfung der Datengenauigkeit
   Testprozess: Diese Tests gewährleisten, dass die Daten korrekt geladen und wie erwartet transformiert werden.
7. Testen der Datentransformation
   Testprozess: Die Prüfung der Datentransformation kann oft nicht mit einer einzigen Datenquelle durchgeführt werden. SQL Abfrage und Ergebnisvergleich. Zur Überprüfung der Transformationsregeln können mehrere SQL-Abfragen pro Zeile erforderlich sein.
8. Prüfung der Datenqualität
   Testprozess:

   Zu den Datenqualitätstests gehören Syntax- und Referenztests. Sie verhindern Geschäftsprozessfehler, die durch falsche Datumsangaben oder Bestellnummern verursacht werden.

   Syntaxprüfungen melden fehlerhafte Daten aufgrund ungültiger Zeichen, Zeichenmuster und falscher Groß- oder Kleinschreibung.

   Referenztests prüfen die Daten anhand des Datenmodells. Zum Beispiel: Kundennummer.

   Die Datenqualitätsprüfung umfasst auch Zahlenprüfungen, Datumsprüfungen, Genauigkeitsprüfungen, Datenprüfungen und Nullwertprüfungen.

9. Inkrementeller ETL-Test
   Testprozess: Diese Tests überprüfen die Datenintegrität alter und neuer Daten nach dem Hinzufügen neuer Daten. Inkrementelle Tests verifizieren, dass Einfügungen und Aktualisierungen während des inkrementellen ETL-Prozesses wie erwartet verarbeitet werden.
10. GUI-/Navigationstests
    Testprozess: Bei diesem Test werden die Navigation und die GUI-Aspekte der Frontend-Berichte überprüft.

So erstellen Sie einen ETL-Testfall

ETL-Testing ist ein Konzept, das auf verschiedene Tools und Datenbanken in der Informationsmanagementbranche angewendet werden kann. Ziel des ETL-Tests ist es, sicherzustellen, dass die nach der Geschäftstransformation von einer Quelle zu einem Ziel geladenen Daten korrekt sind. Dazu gehört auch die Überprüfung der Daten in den verschiedenen Zwischenschritten zwischen Quelle und Ziel.

Beim ETL-Testing werden vom ETL-Tester stets zwei Dokumente verwendet:

1. ETL-Karteping Blätter: Eine ETL-Karteping Das Tabellenblatt enthält alle Informationen der Quell- und Zieltabelle, einschließlich jeder Spalte und ihrer Zuordnung zu Referenztabellen. ETL-Tester müssen mit SQL-Abfragen vertraut sein, da ETL-Tests das Schreiben umfangreicher Abfragen mit mehreren Joins zur Datenvalidierung in jeder Phase umfassen können. ETL-Zuordnungping Tabellen bieten eine wertvolle Hilfe beim Verfassen von Abfragen zur Datenverifizierung.
2. Datenbankschema von Quelle und Ziel: Man sollte sie griffbereit halten, um jedes Detail auf der Karte überprüfen zu können.ping Blätter.

ETL-Testszenarien und Testfälle

1. Karteping Dokumentenvalidierung
   Testfälle: Überprüfen Sie, ob die entsprechenden ETL-Informationen in der Karte enthalten sind.ping Dokument. In jeder Karte sollte ein Änderungsprotokoll geführt werden.ping doc.
2. Validierung
   Testfälle:

   1) Überprüfen Sie die Quell- und Zieltabellenstruktur anhand der entsprechenden Zuordnung.ping doc.
   2) Quelldatentyp und Zieldatentyp müssen übereinstimmen.
   3) Die Länge der Datentypen in Quelle und Ziel sollte gleich sein.
   4) Überprüfen Sie, ob die Datenfeldtypen und -formate angegeben sind.
   5) Die Länge des Quelldatentyps darf nicht kleiner sein als die Länge des Zieldatentyps.
   6) Überprüfen Sie die Spaltennamen in der Tabelle anhand der Zuordnung.ping doc.

3. Einschränkungsvalidierung
   Testfälle: Stellen Sie sicher, dass die Einschränkungen für die jeweilige Tabelle wie erwartet definiert sind.
4. Probleme mit der Datenkonsistenz
   Testfälle:

   1) Der Datentyp und die Länge eines bestimmten Attributs können in verschiedenen Dateien oder Tabellen variieren, selbst wenn die semantische Definition gleich ist.
   2) Missbrauch von Integritätsbedingungen.

5. Probleme mit der Vollständigkeit
   Testfälle:

   1) Stellen Sie sicher, dass alle erwarteten Daten in die Zieltabelle geladen werden.
   2) Vergleichen Sie die Datensatzanzahl zwischen Quelle und Ziel.
   3) Prüfen Sie, ob Datensätze abgelehnt wurden.
   4) Prüfen Sie, ob in den Spalten der Zieltabelle keine Daten abgeschnitten wurden.
   5) Überprüfung der Grenzwertanalyse.
   6) Vergleichen Sie die eindeutigen Werte der Schlüsselfelder zwischen den in das Data Warehouse geladenen Daten und den Quelldaten.

6. Korrektheitsprobleme
   Testfälle:

   1) Daten, die falsch geschrieben oder ungenau erfasst wurden.
   2) Nullwerte, nicht eindeutige oder außerhalb des zulässigen Bereichs liegende Daten.

7. Transformation
   Testfälle: Überprüfen Sie, ob jede Geschäftsregel und Transformationslogik in der Karte vorhanden ist.ping Das Dokument wird korrekt auf die Quelldaten angewendet, bevor es im Zielsystem landet.
8. Datenqualität
   Testfälle:

   1) Zahlenprüfung: Überprüfung der numerischen Formate und Werte.
   2) Datumsprüfung: Die Datumsangaben müssen einem einheitlichen Format folgen und in allen Datensätzen konsistent sein.
   3) Präzisionsprüfung.
   4) Datenprüfung.
   5) Nullprüfung.

9. Nullvalidierung
   Testfälle: Überprüfen Sie die Nullwerte, für die in einer bestimmten Spalte „Nicht Null“ angegeben ist.
10. Duplikatsprüfung
    Testfälle:

    1) Überprüfen Sie den eindeutigen Schlüssel, den Primärschlüssel und alle anderen Spalten, die gemäß den Geschäftsanforderungen eindeutig sein sollten, um sicherzustellen, dass keine doppelten Zeilen vorhanden sind.
    2) Prüfen Sie, ob in irgendeiner Spalte doppelte Werte vorhanden sind (z. B. in der Spalte „example.com“).tracDie Daten stammen aus mehreren Quellspalten und wurden in einer Spalte zusammengeführt.
    3) Gemäß den Kundenanforderungen ist sicherzustellen, dass in der Zieltabelle keine Duplikate in Kombination mehrerer Spalten vorhanden sind.

11. Datumsüberprüfung
    Testfälle: Datumswerte werden in vielen Bereichen der ETL-Entwicklung verwendet:

    1) Um das Erstellungsdatum der Zeile zu erfahren.
    2) Aktive Datensätze aus der Perspektive der ETL-Entwicklung identifizieren.
    3) Aktive Datensätze aus der Perspektive der Geschäftsanforderungen identifizieren.
    4) Manchmal werden basierend auf den Datumswerten Aktualisierungen und Einfügungen generiert.

12. Vollständige Datenvalidierung
    Testfälle:

    1) Validieren Sie den kompletten Datensatz in den Quell- und Zieltabelle, indem Sie eine Minusabfrage als beste Lösung verwenden.
    2) Sie müssen Quelle minus Ziel und Ziel minus Quelle berechnen.
    3) Wenn die Minusabfrage einen Wert zurückgibt, sollten diese Zeilen als nicht übereinstimmend betrachtet werden.
    4) Ordnen Sie die Zeilen zwischen Quelle und Ziel mithilfe einer Schnittmengenanweisung einander zu.
    5) Die von intersect zurückgegebene Anzahl sollte mit den einzelnen Anzahlen der Quell- und Zieltabelle übereinstimmen.
    6) Wenn eine Minusabfrage Zeilen zurückgibt und die Schnittmenge kleiner ist als die Anzahl der Quell- oder Zielzeilen, existieren doppelte Zeilen.

13. Datensauberkeit
    Testfälle: Unnötige Spalten sollten vor dem Laden in den Staging-Bereich gelöscht werden.

Arten von ETL-Fehlern

Selbst bei sorgfältigen Testfällen können ETL-Pipelines auf unterschiedliche Weise fehlschlagen. Die folgende Abbildung fasst die Fehlerkategorien zusammen, auf die Sie achten sollten, und die nachfolgende Tabelle beschreibt jede einzelne.

Art der Fehler	Beschreibung
Fehler in der Benutzeroberfläche/kosmetische Fehler	• Bezogen auf die GUI der Anwendung • Schriftart, Schriftgröße, Farben, Ausrichtung, Rechtschreibfehler, Navigation usw.
Fehler im Zusammenhang mit der Grenzwertanalyse (BVA).	• Minimal- und Maximalwerte
Fehler im Zusammenhang mit der Äquivalenzklassenpartitionierung (ECP).	• Gültiger und ungültiger Typ
Eingabe-/Ausgabefehler	• Gültige Werte werden nicht akzeptiert • Ungültige Werte akzeptiert
Berechnungsfehler	• Rechenfehler • Die endgültige Ausgabe ist falsch
Ladebedingungsfehler	• Lässt keine mehreren Benutzer zu • Lässt die vom Kunden erwartete Last nicht zu
Race-Condition-Fehler	• Systemabsturz und -hänger • Das System kann keine Client-Plattformen ausführen
Fehler in der Versionskontrolle	• Keine Logoübereinstimmung • Keine Versionsinformationen verfügbar • Tritt üblicherweise auf in Regressionstests
H/W-Fehler	• Das Gerät reagiert nicht auf die Anwendung
Helfen Sie, Fehler zu beheben	• Fehler in Hilfedokumenten

Data Warehouse-Tests

Data Warehouse-Tests Data-Warehouse-Tests sind eine Testmethode, bei der die Daten in einem Data Warehouse auf Integrität, Zuverlässigkeit, Genauigkeit und Konsistenz geprüft werden, um die Einhaltung des Datenframeworks des Unternehmens sicherzustellen. Hauptziel der Data-Warehouse-Tests ist es, die Zuverlässigkeit der integrierten Daten im Warehouse zu gewährleisten, damit das Unternehmen fundierte Entscheidungen treffen kann. Während sich ETL-Tests auf die Datenübertragung konzentrieren, decken Data-Warehouse-Tests die umfassendere Speicher- und Berichtsebene ab, die letztendlich von ETL gespeist wird.

Unterschied zwischen Datenbanktests und ETL-Tests

Obwohl beide Disziplinen mit strukturierten Daten arbeiten, beantworten sie unterschiedliche Fragestellungen. Die folgende Tabelle verdeutlicht den praktischen Unterschied:

ETL-Tests	Datenbanktests
Prüft, ob die Daten wie erwartet verschoben wurden.	Das Hauptziel ist die Überprüfung, ob die Daten den im Datenmodell definierten Regeln und Standards entsprechen.
Überprüft, ob die Zählwerte in Quelle und Ziel übereinstimmen und ob die transformierten Daten den Erwartungen entsprechen.	Überprüft, ob keine verwaisten Datensätze vorhanden sind und ob die Fremdschlüsselbeziehungen aufrechterhalten werden.
Überprüft, ob die Beziehungen der Fremdschlüssel während des ETL erhalten bleiben.	Prüft, ob keine redundanten Tabellen vorhanden sind und die Datenbank optimal normalisiert ist.
Prüft auf Duplikate in den geladenen Daten.	Prüft, ob in den entsprechenden Spalten Daten fehlen.

Leistungstests in ETL

Leistungstests in ETL ist eine Testmethode, die sicherstellt, dass ein ETL-System die Last mehrerer Benutzer und Transaktionen bewältigen kann. Das Hauptziel von ETL ist… Performance Testing Ziel ist es, die Sitzungsleistung durch die Identifizierung und Beseitigung von Leistungsengpässen zu optimieren und zu verbessern. Die Quell- und Zieldatenbanken werden zugeordnet.pings, Sitzungen und das System selbst können alle Engpässe aufweisen.

Informatica ist eines der besten Tools für Performance-Tests und -Optimierung.

Aufgaben eines ETL-Testers

Die Hauptaufgaben eines ETL-Testers lassen sich in drei Kategorien unterteilen:

• Bühnentisch / SFS oder MFS
• Angewandte Geschäftstransformationslogik
• Target Tabellenladen aus einer Staging-Datei oder Tabelle nach Anwendung einer Transformation

Zu den täglichen Aufgaben eines ETL-Testers gehören unter anderem:

• Testen Sie die ETL-Software
• Testen Sie die Komponenten des ETL-Data-Warehouse.
• Führe datengesteuerte Backend-Tests aus
• Erstellen, entwerfen und ausführen Testfälle, Testpläne und Testvorrichtungen
• Probleme erkennen und Lösungen für potenzielle Probleme anbieten
• Genehmigen Sie Anforderungen und Designspezifikationen
• Datentransfers validieren und Flatfiles testen
• Schreiben Sie SQL-Abfragen für verschiedene Szenarien, wie z. B. Zähltests.

Automatisierung von ETL-Tests

Die gängige Methodik beim ETL-Testing besteht darin, SQL-Skripte zu verwenden oder Daten visuell zu prüfen. Diese Ansätze sind zeitaufwändig, fehleranfällig und liefern selten vollständige Ergebnisse. TestabdeckungUm die Umsetzung zu beschleunigen, die Abdeckung zu verbessern, die Kosten zu senken und die Leistung zu steigern. Defekt Die Erkennung von Fehlern in Produktions- und Entwicklungsumgebungen erfordert heutzutage Automatisierung. Ein solches Werkzeug ist Informatica.

Moderne Teams kombinieren außerdem traditionelle Automatisierung mit KI-gestützten Helfern, die Transformationstests vorschlagen, synthetische Quelldaten generieren und Schemaabweichungen kennzeichnen. Dadurch werden die Tester entlastet und können sich auf komplexe Geschäftslogik konzentrieren, anstatt sich mit der sich wiederholenden Skriptwartung zu befassen.

Best Practices für ETL-Tests

1. Stellen Sie sicher, dass die Daten korrekt transformiert werden.
2. Die prognostizierten Daten sollten ohne Datenverlust oder -kürzung in das Data Warehouse geladen werden.
3. Stellen Sie sicher, dass die ETL-Anwendung ungültige Daten ordnungsgemäß zurückweist, sie gegebenenfalls durch Standardwerte ersetzt und dies meldet.
4. Um Skalierbarkeit und Leistungsfähigkeit zu validieren, muss sichergestellt werden, dass die Daten innerhalb der vorgegebenen und erwarteten Zeiträume in das Data Warehouse geladen werden.
5. Alle Methoden sollten unabhängig von ihrer Sichtbarkeit über geeignete Unit-Tests verfügen.
6. Um ihre Effektivität zu messen, sollten alle Unit-Tests geeignete Testabdeckungstechniken verwenden.
7. Streben Sie eine Assertion pro Testfall an.
8. Erschaffung Komponententests die auf Ausnahmen abzielen.

Auschecken - Fragen und Antworten zum ETL-Testinterview

Häufig gestellte Fragen