Testowanie Business Intelligence (BI) za pomocą przypadków testowych
Tomasza Hamiltona
⚡ Inteligentne podsumowanie
Testowanie Business Intelligence weryfikuje dane przejściowe, proces ETL oraz raporty BI, na których opierają się decyzje. Potwierdza, że dane są prawidłowo przesyłane ze źródła do celu i że każda wartość wyświetlana w raporcie jest wiarygodna.
Co to jest testowanie BI?
Business Intelligence (BI) to proces gromadzenia, oczyszczania, analizowania, integrowania i udostępniania danych w celu uzyskania użytecznych wniosków, które napędzają rozwój firmy. Testowanie Business Intelligence, czyli testowanie BI, weryfikuje dane etapowe, proces ETL, raporty BI i zapewnia poprawność wdrożenia. Testowanie BI gwarantuje wiarygodność danych i dokładność wniosków uzyskanych w procesie BI.
Możesz dowiedzieć się więcej o ETL/Business Intelligence w tym Tutorial
Proces testowania BI
Testowanie BI przebiega zgodnie z przebiegiem samego procesu przetwarzania danych. Każdy etap musi zostać zakończony, zanim kolejny będzie wart testowania, ponieważ defekt w górnym biegu strumienia danych pojawia się ponownie jako fałszywa awaria w dolnym biegu strumienia.
- Analiza wymagań: Określ, na jakie pytania biznesowe muszą odpowiadać raporty i które systemy źródłowe przechowują dane. Niejednoznaczność w tym przypadku sprawi, że raport będzie niemożliwy do późniejszego przetestowania.
- Walidacja danych źródłowych: Profiluj źródło: liczbę wierszy, typy danych, wskaźniki wartości null i duplikaty. Nie można zweryfikować transformacji względem źródła, którego nie zmierzono.
- Walidacja etapowa: Potwierdź byłegotracwylądowało całkowicie, a liczba uzgodnień odpowiadała źródłu po zastosowaniu reguł filtrowania.
- Testowanie ETL i transformacji: Zweryfikuj każdą mapęping i reguł biznesowych, w tym kolumn pochodnych, agregacji i generowania kluczy zastępczych.
- Hurtownia danych i testowanie kostek. Sprawdzaj integralność tabeli wymiarów i faktów, obsługę powoli zmieniających się wymiarów i dokładność agregacji na każdym poziomie hierarchii.
- Testowanie raportów i pulpitów nawigacyjnych: Porównaj dane z raportu z danymi w magazynie, a następnie ze źródłem, a także sprawdź filtry, funkcje przechodzenia do szczegółów i role zabezpieczeń.
- Testowanie wydajności i regresji: Zmierz czas trwania okna obciążenia i zgłoś czas reakcji, a następnie uruchom ponownie pakiet po każdej zmianie potoku.
Pojednanie jest podstawą całego procesu: Na każdym etapie należy dokonać liczenia i sumowania kluczowych wskaźników. tracmożna wrócić do źródła. Raport, który wygląda na poprawny, ale nie można go uzgodnić, nie jest testowany, a jedynie sprawdzany.
Rodzaje testów BI
Scenariusze w tym samouczku dzielą się na sześć uznanych kategorii. Nadanie im nazw pomaga w planowaniu testów obejmującym cały obszar, a nie tylko te części, które są łatwe do sprawdzenia.
| Typ | Co to potwierdza | Typowa technika |
|---|---|---|
| Kompletność danych | Otrzymano wszystkie oczekiwane rekordy | Uzgadnianie liczby wierszy między źródłem a celem |
| Transformacja danych | Poprawnie zastosowane reguły biznesowe | Porównaj przekształcone dane wyjściowe z ręcznie obliczonymi oczekiwanymi wartościami |
| Jakość danych | Wartości są prawidłowe, unikalne i mieszczą się w zakresie | Sprawdzanie wartości null, duplikatów, formatu i integralności referencyjnej |
| Testowanie metadanych | Typy danych, długości i ograniczenia są zgodne ze specyfikacją | Porównanie schematów między źródłem a celem |
| Zgłoś testowanie | Rysunki, formatowanie i analizy szczegółowe są poprawne | Porównaj wyniki raportu z zapytaniem magazynowym |
| Testy bezpieczeństwa | Użytkownicy widzą tylko te dane, na które pozwala ich rola | Uruchamiaj identyczne raporty przy użyciu różnych uprawnień ról |
Wybór Narzędzie BI Wpływa na sposób wykonywania każdego typu, ale nie na to, które typy są potrzebne. Testowanie bezpieczeństwa jest najczęściej pomijane i najbardziej kosztowne, ponieważ defekt bezpieczeństwa na poziomie wiersza ujawnia dane w różnych jednostkach biznesowych, nie powodując żadnych widocznych błędów.
Testowanie BI – przypadki testowe i scenariusze
Poniższe scenariusze dotyczą niemal każdego projektu BI. Pogrupuj je według etapu procesu, który walidują, i uruchom w tej kolejności, ponieważ błąd w procesie przygotowawczym spowoduje awarie na każdym kolejnym etapie.
Scenariusze testów weryfikacji ETL
- Sprawdź, czy dane są poprawnie mapowane z systemu źródłowego do docelowego
- Sprawdź, czy wszystkie tabele i ich pola zostały skopiowane ze źródła do celu
- Sprawdź, czy klucze skonfigurowane do automatycznego generowania są prawidłowo utworzone w systemie docelowym
- Sprawdź, czy pola zerowe nie są wypełnione
- Sprawdź, czy dane nie są zniekształcone ani obcięte
- Sprawdź, czy typ i format danych w systemie docelowym są zgodne z oczekiwaniami
- Sprawdź, czy w systemie docelowym nie ma duplikatów danych
- Sprawdź, czy transformacje zostały zastosowane poprawnie
- Sprawdź, czy precyzja danych w polach numerycznych jest dokładna
- Sprawdź, czy obsługa wyjątków jest niezawodna
Scenariusze testowe danych przejściowych
- Liczba rekordów kontroli uzgadniania pomiędzy tabelami STG (pomostowymi) i tabelami docelowymi jest taka sama po zastosowaniu reguł filtrowania
- Wstaw rekord, który nie jest załadowany do tabeli docelowej dla danej kombinacji klawiszy
- Wyślij ponownie rekordy, które już znajdują się w tabelach docelowych i potwierdź, że nie zostały załadowane dwukrotnie
- Zaktualizuj rekord klucza, gdy kolumny wartości uległy zmianie podczas ładowania dnia_02
- Usuń logicznie rekordy z tabel docelowych
- Wartości ładowane przez tabele procesów
- Wartości ładowane przez tabele referencyjne
Scenariusze testowe ładowania danych
- Sprawdź, czy docelowa i źródłowa baza danych są dobrze połączone i czy nie ma problemów z dostępem.
- Aby uzyskać pełne obciążenie, zaznacz opcję obcięcia i upewnij się, że działa poprawnie.
- Podczas ładowania danych sprawdź wydajność sesji
- Sprawdź, czy nie występują błędy niekrytyczne.
- Sprawdź, czy możesz zakończyć niepowodzeniem wywołującego zadania nadrzędnego, jeśli zadanie podrzędne zakończy się niepowodzeniem.
- Sprawdź, czy dzienniki są zaktualizowane
- Zweryfikuj mapęping oraz workflow parametry są skonfigurowane dokładnie
- Sprawdź, czy liczba tabel w systemie źródłowym i docelowym jest taka sama
- Porównaj atrybuty z tabel etapowych z atrybutami tabel docelowych. Powinny być dopasowane.
Scenariusze testowe raportów BI
- Wyświetl datę i godzinę
- Dokładność dziesiętna kluczowych cyfr
- Na danej stronie wyświetl liczbę wierszy i kolumn
- Bezpłatne charakterystyki w raporcie
- Jak wyświetlane są wartości puste dla charakterystyk i wskaźników kluczowych
- Czy wyszukiwanie charakterystyczne działa na kluczu, tekście czy na obu, zgodnie ze specyfikacją
- Czy wyszukiwanie tekstowe uwzględnia wielkość liter i czy jest to zgodne z wymaganiami
Wyzwania w testowaniu BI
- Objętość danych. Magazyny przechowują setki milionów wierszy, więc wyczerpujące porównanie jest niemożliwe. Testowanie opiera się na sumach uzgadniania oraz ukierunkowanym próbkowaniu rekordów granicznych i wysokiego ryzyka.
- Źródła heterogeniczne. Pojedynczy magazyn może korzystać z relacyjnych baz danych, plików płaskich, interfejsów API i starszych systemów, z których każdy ma własne kodowanie, format daty i konwencję wartości null.
- Brak widocznych uszkodzeń. Błędna wartość w raporcie nie powoduje błędu. Po prostu prowadzi do podjęcia złej decyzji, co sprawia, że uzgadnianie jest jedyną wiarygodną metodą wykrywania.
- Ciągle zmieniające się źródła. Zmiana schematu w systemie nadrzędnym powoduje ciche przerwanie mapypingTestowanie metadanych musi odbywać się według harmonogramu, a nie tylko w momencie wydania.
- Powoli zmieniające się wymiary. Dokładność historyczna wymaga, aby zapis ważny w ubiegłym roku nadal podawał wartość z ubiegłego roku, co jest trudne do sprawdzenia i łatwo o pomyłkę.
- Parytet środowiskowy. Środowiska testowe rzadko przechowują dane na skalę produkcyjną, więc problemy z oknem ładowania i wydajnością zapytań ujawniają się dopiero po uruchomieniu.
Wspólnym mianownikiem jest to, że defekty BI są ukryte. Każde z powyższych działań łagodzących działa poprzez generowanie sygnału, którego sam system nie generuje.
