Testování business intelligence (BI) s testovacími případy
Thomas Hamilton
⚡ Chytré shrnutí
Testování business intelligence (Business Intelligence Testing) ověřuje data pro přípravu, proces ETL a BI reporty, na kterých jsou rozhodnutí založena. Potvrzuje, že se data správně přesouvají ze zdroje do cíle a že každému číslu zobrazenému v reportu lze důvěřovat.
Co je BI testování?
Business Intelligence (BI) je proces shromažďování, čištění, analýzy, integrace a sdílení dat za účelem získání praktických poznatků, které pohánějí růst podnikání. Business Intelligence Testování neboli BI testování ověřuje data o stagingových procesech, ETL procesech, BI reportech a zajišťuje správnou implementaci. BI testování zajišťuje důvěryhodnost dat a přesnost poznatků odvozených z BI procesu.
Zde se můžete dozvědět více o ETL/ Business Intelligence konzultace
Proces testování BI
Testování BI sleduje tvar samotného datového kanálu. Každá fáze musí projít, než se vyplatí testovat další, protože defekt v předcházející fázi se znovu objeví jako falešné selhání v následné fázi.
- Analýza požadavků: Stanovte, na které obchodní otázky musí zprávy odpovídat a které zdrojové systémy data uchovávají. Nejednoznačnost se v tomto případě později stává netestovatelnou zprávou.
- Ověření zdrojových dat: Profilujte zdroj: počet řádků, datové typy, míra výskytu hodnot null a duplikáty. Transformaci nelze ověřit vůči zdroji, který jste nezměřili.
- Ověření fáze: Potvrďte extract se po aplikaci pravidel filtrování zcela přistálo, přičemž počty odsouhlasení odpovídaly zdroji.
- Testování ETL a transformací: Ověřte každou mapuping a obchodní pravidla, včetně odvozených sloupců, agregací a generování náhradních klíčů.
- Datový sklad a testování krychle. Zkontrolujte integritu dimenzí a tabulek faktů, zpracování pomalu se měnících dimenzí a přesnost agregace na všech úrovních hierarchie.
- Testování reportů a dashboardů: Porovnejte údaje z reportu se skladem, poté se zdrojem a zkontrolujte filtry, podrobnosti o detailech a bezpečnostní role.
- Výkonnostní a regresní testování: Změřte dobu trvání okna zátěže a zaznamenejte dobu odezvy a poté po každé změně kanálu znovu spusťte sadu.
Smíření je páteří celého procesu: V každé fázi musí být stanoven počet a součet klíčových ukazatelů traclze vrátit zpět ke zdroji. Zpráva, která vypadá správně, ale nelze ji odsouhlasit, se netestuje, pouze prověřuje.
Typy testování BI
Scénáře v tomto tutoriálu spadají do šesti rozpoznatelných kategorií. Jejich pojmenování pomáhá testovacímu plánu pokrýt celou plochu, a ne pouze ty části, které lze snadno kontrolovat.
| Typ | Co to ověřuje | Typická technika |
|---|---|---|
| Úplnost dat | Všechny očekávané nahrávky dorazily | Odsouhlasení počtu řádků mezi zdrojem a cílem |
| Transformace dat | Správně aplikovaná obchodní pravidla | Porovnejte transformovaný výstup s ručně vypočítanými očekávanými hodnotami |
| Kvalita dat | Hodnoty jsou platné, jedinečné a v rozsahu. | Kontroly integrity null, duplikátů, formátu a referenční integrity |
| Testování metadat | Datové typy, délky a omezení odpovídají specifikaci | Porovnání schémat mezi zdrojem a cílem |
| Report testování | Obrázky, formátování a podrobné informace jsou správné. | Porovnat výstup sestavy s dotazem ve skladu |
| Testování zabezpečení | Uživatelé vidí pouze data, která jim jejich role dovoluje | Spouštět identické reporty pod různými přihlašovacími údaji rolí |
Volba BI nástroj ovlivňuje, jak se jednotlivé typy provádějí, ale ne to, které typy jsou potřeba. Bezpečnostní testování se nejčastěji vynechává a je i nejnákladnější, protože bezpečnostní chyba na úrovni řádků zpřístupňuje data napříč obchodními jednotkami, aniž by způsobila jakoukoli viditelnou chybu.
Testovací případy a scénáře pro BI testování
Níže uvedené scénáře platí pro téměř jakýkoli projekt BI. Seskupte je podle fáze kanálu, který ověřují, a spusťte je v tomto pořadí, protože chyba ve stagingovém procesu způsobí selhání v každé další fázi.
Scénáře ověřovacích testů ETL
- Ověřte, zda jsou data správně mapována ze zdrojového do cílového systému
- Ověřte, zda jsou všechny tabulky a jejich pole zkopírovány ze zdroje do cíle
- Ověřte, zda jsou klíče nakonfigurované pro automatické generování správně vytvořeny v cílovém systému
- Ověřte, že nejsou vyplněna nulová pole
- Ověřte, že data nejsou zkomolená ani zkrácená
- Ověřte, zda datový typ a formát v cílovém systému odpovídá očekávání
- Ověřte, že v cílovém systému nejsou duplicitní data
- Ověřte, zda jsou transformace správně aplikovány
- Ověřte, že přesnost dat v číselných polích je přesná
- Ověřte, zda je zpracování výjimek robustní
Scénáře testování dat pro přípravu
- Kontrola odsouhlasení – počet záznamů mezi tabulkami STG (předběžnými) a cílovými tabulkami je po použití pravidel filtru stejný
- Vložte záznam, který není načten do cílové tabulky pro danou kombinaci kláves
- Znovu odeslat záznamy, které se již nacházejí v cílových tabulkách, a ověřit, zda nebyly načteny dvakrát.
- Aktualizujte záznam pro klíč při změně sloupců hodnot při načtení day_02
- Logicky odstraňte záznamy v cílových tabulkách
- Hodnoty načtené tabulkami procesů
- Hodnoty načtené referenčními tabulkami
Scénáře testů načítání dat
- Zkontrolujte, zda jsou cílová a zdrojová databáze dobře propojena a zda nedochází k problémům s přístupem.
- Pro plné zatížení zaškrtněte volbu zkrátit a ujistěte se, že funguje správně.
- Při načítání dat zkontrolujte výkon relace
- Zkontrolujte nezávažné chyby.
- Ověřte, že můžete selhat volající nadřazený úkol, pokud selže podřízený úkol.
- Ověřte, zda jsou protokoly aktualizovány
- Ověřit mapuping a workflow parametry jsou nastaveny přesně
- Ověřte, zda je počet tabulek ve zdrojovém a cílovém systému stejný
- Porovnejte atributy z tabulek fáze s atributy cílových tabulek. Měly by být sladěny.
Testovací scénáře sestav BI
- Zobrazení data a času
- Desetinná přesnost pro klíčová čísla
- Na dané stránce zobrazí počet řádků a sloupců
- Volné charakteristiky ve zprávě
- Jak se zobrazují prázdné hodnoty pro charakteristiky i klíčové ukazatele
- Zda charakteristické vyhledávání funguje na klíči, na textu nebo na obou, jak je zadáno
- Zda textové vyhledávání rozlišuje velká a malá písmena a zda to splňuje požadavek
Problémy v testování BI
- Objem dat. Sklady obsahují stovky milionů řádků, takže vyčerpávající srovnání je nemožné. Testování se opírá o celkové odsouhlasené hodnoty a cílený výběr vzorků hraničních a vysoce rizikových záznamů.
- Heterogenní zdroje. Jeden datový sklad může čerpat z relačních databází, plochých souborů, API a starších systémů, z nichž každý má své vlastní kódování, formát data a konvenci null.
- Žádná viditelná porucha. Chybný údaj ve zprávě neznamená chybu. Pouze informuje o špatném rozhodnutí, což z odsouhlasení dělá jedinou spolehlivou metodu detekce.
- Neustále se měnící zdroje. Změna schématu v nadřazeném systému tiše naruší mapu.pingTestování metadat musí probíhat podle plánu, nejen v době vydání.
- Pomalu se měnící rozměry. Historická přesnost vyžaduje, aby záznam platný v loňském roce stále uváděl hodnotu z loňského roku, což je obtížné ověřovat a snadno se lze mýlit.
- Parita prostředí. Testovací prostředí zřídka uchovávají data v produkčním měřítku, takže problémy s oknem načítání a výkonem dotazů se objeví až po spuštění.
Společným rysem je, že vady BI jsou tiché. Každá výše uvedená mitigace funguje tak, že vytváří signál tam, kde samotný systém žádný neprodukuje.
