Business Intelligence (BI)-Tests mit Testfällen

⚡ Intelligente Zusammenfassung

Business-Intelligence-Tests überprüfen die Staging-Daten, den ETL-Prozess und die BI-Berichte, auf denen Entscheidungen basieren. Sie bestätigen, dass die Daten korrekt von der Quelle zum Ziel übertragen werden und dass jede in einem Bericht angezeigte Zahl verlässlich ist.

🧪 Drei Schichten: Die Bereitstellung der Staging-Daten, die ETL-Transformation und der Abschlussbericht benötigen jeweils ihre eigenen Testszenarien.
🔄 ETL-Fokus: Karte überprüfenping, Datentypen, Schlüsselerzeugung, Transformationsregeln und das Fehlen von Kürzungen oder Duplikaten.
📊 Schwerpunkt des Berichts: Überprüfen Sie Formatierung, Dezimalgenauigkeit, Umgang mit leeren Werten und Suchverhalten.
🔢 Versöhnung: Die Zeilenanzahlen zwischen Quelle, Staging und Ziel müssen übereinstimmen, sobald die Filterregeln angewendet wurden.
⚠️ Ordnung ist wichtig: Ein Fehler in der Stufenplanung führt zu Fehlern in jeder späteren Stufe. Testen Sie daher die Pipeline der Reihe nach.
🎯 Ultimatives Ziel: Datenglaubwürdigkeit, damit eine Geschäftsentscheidung auf Grundlage eines Berichts auf Basis genauer Zahlen getroffen wird.

Was sind BI-Tests?

Business Intelligence (BI) Business Intelligence (BI) ist der Prozess des Sammelns, Bereinigens, Analysierens, Integrierens und Teilens von Daten, um daraus handlungsrelevante Erkenntnisse für das Unternehmenswachstum zu gewinnen. BI-Tests überprüfen die Staging-Daten, den ETL-Prozess und die BI-Berichte und stellen die korrekte Implementierung sicher. Sie gewährleisten die Glaubwürdigkeit der Daten und die Genauigkeit der aus dem BI-Prozess gewonnenen Erkenntnisse.

Hier erfahren Sie mehr über ETL/Business Intelligence Lernprogramm

Der BI-Testprozess

BI-Tests orientieren sich an der Struktur der Datenpipeline. Jede Stufe muss erfolgreich durchlaufen werden, bevor die nächste getestet werden kann, da ein Fehler in einer vorgelagerten Stufe in einer nachgelagerten Stufe fälschlicherweise als Fehler angezeigt wird.

Anforderungsanalyse: Legen Sie fest, welche geschäftlichen Fragen die Berichte beantworten müssen und welche Quellsysteme die Daten enthalten. Unklarheiten an dieser Stelle führen später zu einem nicht überprüfbaren Bericht.
Validierung der Quelldaten: Analysieren Sie die Datenquelle: Zeilenanzahl, Datentypen, Nullwerte und Duplikate. Eine Transformation kann nicht anhand einer nicht analysierten Datenquelle validiert werden.
Validierung der Staging-Phase: Bestätige den Extract landete vollständig, wobei die Abgleichszählungen nach Anwendung der Filterregeln mit der Quelle übereinstimmten.
ETL- und Transformationstests: Überprüfen Sie jede Karteping und Geschäftsregeln, einschließlich abgeleiteter Spalten, Aggregationen und der Generierung von Ersatzschlüsseln.
Data Warehouse und Würfeltests. Überprüfen Sie die Integrität der Dimensions- und Faktentabellen, die Behandlung langsam veränderlicher Dimensionen und die Genauigkeit der Aggregation auf jeder Ebene der Hierarchie.
Berichts- und Dashboard-Tests: Vergleichen Sie die Berichtszahlen mit den Daten im Data Warehouse, dann mit den Daten aus der Quelle und überprüfen Sie Filter, Drilldowns und Sicherheitsrollen.
Leistungs- und Regressionstests: Messen Sie die Dauer des Ladefensters und melden Sie die Antwortzeit. Führen Sie die Testsuite anschließend nach jeder Pipeline-Änderung erneut aus.

Versöhnung ist das Rückgrat des gesamten Prozesses: In jeder Phase müssen die Anzahl und die Summe der Kennzahlen ermittelt werden. tracDie Rückverfolgung zur Quelle ist möglich. Ein Bericht, der korrekt erscheint, aber nicht abgeglichen werden kann, wird nicht geprüft, sondern nur inspiziert.

Arten von BI-Tests

Die Szenarien in diesem Tutorial lassen sich in sechs anerkannte Kategorien einteilen. Durch die Benennung dieser Kategorien wird sichergestellt, dass der Testplan das gesamte Spektrum abdeckt und nicht nur die leicht überprüfbaren Aspekte.

Typ	Was es bestätigt	Typische Technik
Vollständigkeit der Daten	Alle erwarteten Rekorde wurden erreicht	Zeilenanzahlabgleich zwischen Quelle und Ziel
Datentransformation	Geschäftsregeln korrekt angewendet	Vergleiche die transformierte Ausgabe mit den manuell berechneten Erwartungswerten.
Datenqualität	Die Werte sind gültig, eindeutig und im zulässigen Bereich.	Null-, Duplikat-, Format- und referenzielle Integritätsprüfungen
Metadatenprüfung	Datentypen, Längen und Einschränkungen entsprechen der Spezifikation	Schemavergleich zwischen Quelle und Ziel
Testbericht melden	Abbildungen, Formatierung und Drilldowns sind korrekt.	Überprüfen Sie die Berichtsausgabe anhand der Warehouse-Abfrage.
Sicherheitstests	Benutzer sehen nur die Daten, die ihre Rolle zulässt.	Führen Sie identische Berichte mit unterschiedlichen Benutzerberechtigungen aus.

Die Wahl des BI-Tool Es beeinflusst die Ausführung der einzelnen Datentypen, aber nicht, welche Datentypen benötigt werden. Sicherheitstests werden am häufigsten vernachlässigt und verursachen die höchsten Kosten, wenn sie versäumt werden, da ein Sicherheitsdefekt auf Zeilenebene Daten geschäftsbereichsübergreifend offenlegt, ohne dass ein sichtbarer Fehler auftritt.

BI-Test: Testfälle und Szenarien

Die folgenden Szenarien treffen auf nahezu jedes BI-Projekt zu. Gruppieren Sie sie nach der jeweiligen Phase der Pipeline, die sie validieren, und führen Sie sie in dieser Reihenfolge aus, da ein Fehler in der Staging-Umgebung zu Fehlern in jeder späteren Phase führt.

ETL-Verifizierungstestszenarien

Überprüfen Sie, ob die Daten vom Quell- zum Zielsystem korrekt zugeordnet sind
Stellen Sie sicher, dass alle Tabellen und ihre Felder von der Quelle zum Ziel kopiert werden
Stellen Sie sicher, dass die für die automatische Generierung konfigurierten Schlüssel ordnungsgemäß im Zielsystem erstellt werden
Stellen Sie sicher, dass Nullfelder nicht ausgefüllt sind
Stellen Sie sicher, dass die Daten weder verstümmelt noch abgeschnitten sind
Überprüfen Sie, ob Datentyp und -format im Zielsystem den Erwartungen entsprechen
Stellen Sie sicher, dass im Zielsystem keine Duplizität der Daten vorliegt
Überprüfen Sie, ob die Transformationen korrekt angewendet werden
Stellen Sie sicher, dass die Genauigkeit der Daten in numerischen Feldern korrekt ist
Stellen Sie sicher, dass die Ausnahmebehandlung robust ist

Test-Szenarien für Staging-Daten

Abstimmungsprüfung – die Datensatzanzahl zwischen den STG-Tabellen (Staging) und den Zieltabellen ist nach Anwendung der Filterregeln gleich
Fügen Sie einen Datensatz ein, der für die angegebene Tastenkombination nicht in die Zieltabelle geladen wird
Senden Sie die bereits in den Zieltabelle vorhandenen Datensätze erneut und stellen Sie sicher, dass sie nicht doppelt geladen werden.
Aktualisieren Sie einen Datensatz für einen Schlüssel, wenn sich die Wertspalten am Tag_02 beim Laden geändert haben
Löschen Sie die Datensätze logisch in den Zieltabellen
Von Prozesstabellen geladene Werte
Von Referenztabellen geladene Werte

Datenladetestszenarien

Überprüfen Sie, ob die Ziel- und Quelldatenbank gut miteinander verbunden sind und keine Zugriffsprobleme vorliegen.
Aktivieren Sie für eine vollständige Ladung die Option zum Abschneiden und stellen Sie sicher, dass sie ordnungsgemäß funktioniert.
Überprüfen Sie beim Laden der Daten die Leistung der Sitzung
Suchen Sie nach nicht schwerwiegenden Fehlern.
Stellen Sie sicher, dass Sie die aufrufende übergeordnete Aufgabe fehlschlagen können, wenn die untergeordnete Aufgabe fehlschlägt.
Stellen Sie sicher, dass die Protokolle aktualisiert sind
Karte überprüfenping und Arbeitsablauf. Parameter sind genau konfiguriert
Stellen Sie sicher, dass die Anzahl der Tabellen im Quell- und Zielsystem gleich ist
Vergleichen Sie die Attribute der Staging-Tabellen mit denen der Zieltabellen. Sie sollten übereinstimmen.

BI-Berichtstestszenarien

Datum und Uhrzeit anzeigen
Dezimale Genauigkeit für Kennzahlen
Zeigen Sie auf einer bestimmten Seite die Anzahl der Zeilen und Spalten an
Freie Merkmale im Bericht
Wie leere Werte sowohl für Merkmale als auch für Kennzahlen angezeigt werden
Ob die Merkmalssuche auf Basis von Schlüsseln, Text oder beidem funktioniert, wie angegeben
Ob die Textsuche zwischen Groß- und Kleinschreibung unterscheidet und ob dies den Anforderungen entspricht

Herausforderungen beim BI-Testing

Datenvolumen. In den Lagern befinden sich Hunderte Millionen Datensätze, daher ist ein vollständiger Vergleich unmöglich. Die Tests basieren auf den Abgleichsummen sowie gezielten Stichproben von Grenz- und Risikodatensätzen.
Heterogene Quellen. Ein einzelnes Data Warehouse kann auf relationale Datenbanken, Flatfiles, APIs und Legacy-Systeme zugreifen, die jeweils ihre eigene Kodierung, ihr eigenes Datumsformat und ihre eigene Null-Konvention haben.
Kein sichtbarer Defekt. Eine falsche Zahl in einem Bericht stellt keinen Fehler dar. Sie deutet lediglich auf eine Fehlentscheidung hin, weshalb der Abgleich die einzig zuverlässige Methode zur Fehlererkennung ist.
Ständig wechselnde Quellen. Eine Schemaänderung in einem vorgelagerten System führt stillschweigend zu einem Fehler in der Zuordnung.pingMetadatentests müssen regelmäßig durchgeführt werden, nicht nur zum Zeitpunkt der Veröffentlichung.
Sich langsam verändernde Dimensionen. Für historische Genauigkeit ist es erforderlich, dass ein im Vorjahr gültiger Datensatz auch weiterhin den Wert des Vorjahres angibt, was schwer zu überprüfen und leicht zu Fehlern führen kann.
Umweltparität. Testumgebungen enthalten selten Daten im Produktionsmaßstab, daher treten Probleme mit dem Ladefenster und der Abfrageleistung erst nach der Produktivsetzung auf.

Gemeinsamer Nenner ist, dass BI-Fehler unbemerkt bleiben. Jede der oben genannten Maßnahmen erzeugt ein Signal, wo das System selbst keines erzeugt.

Häufig gestellte Fragen

ETL-Tests stellen sicher, dass Daten korrekt von der Quelle zum Ziel übertragen und transformiert werden. BI-Tests sind umfassender: Sie beinhalten die ETL-Validierung sowie das Data Warehouse, die Cubes und die Berichte, die im Unternehmen tatsächlich verwendet werden.

Durch Abgleich statt zeilenweisem Vergleich. Zählungen und Kontrollsummen zwischen den Stufen abgleichen, dann Grenzwerte, Nullwerte, Duplikate und die risikoreichsten Geschäftsregeln stichprobenartig ermitteln.

Weil sie keinen Fehler erzeugen. Eine falsche Zahl wird genauso dargestellt wie eine richtige, daher tritt der Fehler erst zutage, wenn jemand die Zahl in Frage stellt, oft lange nachdem eine Entscheidung darüber getroffen wurde.

KI-Tools analysieren Quell- und Zieldaten, um Anomalien, Abweichungen und Schemaänderungen automatisch zu erkennen und Datensätze zu kennzeichnen, deren Werte außerhalb der gelernten Verteilungen liegen, bevor ein Bericht veröffentlicht wird.

Ja. KI kann Vollständigkeits-, Eindeutigkeits- und Referenzprüfungen aus einem Schema ableiten und Transformationstests aus der Map vorschlagen.ping Dokumente. Jede Regel muss vor ihrer Ausführung anhand der Geschäftsspezifikation validiert werden.