Czym jest testowanie oparte na danych?

Testowanie oparte na danych

Testowanie oparte na danych to metoda testowania oprogramowania, w której dane testowe są przechowywane w formie tabeli lub arkusza kalkulacyjnego. Testowanie oparte na danych umożliwia testerom wprowadzenie pojedynczego skryptu testowego, który może wykonać testy dla wszystkich danych testowych z tabeli i oczekiwać wyników testu w tej samej tabeli. Nazywa się to również testowaniem opartym na tabeli lub testowaniem sparametryzowanym.

Struktura oparta na danych

Struktura oparta na danych to platforma do automatyzacji testów, w której wartości wejściowe są odczytywane z plików danych i zapisywane w zmiennych w skryptach testowych. Umożliwia testerom tworzenie zarówno pozytywnych, jak i negatywnych przypadków testowych w jednym teście. Dane wejściowe w platformie opartej na danych mogą być przechowywane w jednym lub wielu źródłach danych, takich jak pliki .xls, .xml, .csv i bazy danych. Poniższy diagram przedstawia przepływ wartości wejściowych z pliku danych do skryptu testowego.

Dlaczego testowanie oparte na danych?

Testowanie oparte na danych Jest to istotne, ponieważ testerzy często dysponują wieloma zestawami danych dla jednego testu, a tworzenie osobnych testów dla każdego z nich może być czasochłonne. Testowanie oparte na danych pomaga oddzielić dane od skryptów testowych, a te same skrypty testowe można uruchamiać dla różnych kombinacji danych wejściowych, jednocześnie generując efektywnie wyniki testów.

Przykład:

Załóżmy, że chcemy przetestować system logowania z wieloma polami wejściowymi na 1000 różnych zestawach danych.

Aby to sprawdzić, możesz podjąć następujące różne podejścia:

Podejście 1) Utwórz 1000 skryptów, po jednym dla każdego zestawu danych, i uruchom każdy test oddzielnie, jeden po drugim.

Podejście 2) Ręcznie zmień wartość w skrypcie testowym i uruchom go kilka razy.

Podejście 3) Zaimportuj dane z arkusza Excel. Pobierz dane testowe z wierszy Excela pojedynczo i uruchom skrypt.

Spośród trzech podanych scenariuszy, pierwsze dwa są pracochłonne i czasochłonne. Dlatego najlepiej zastosować trzecie podejście.

Zatem trzecie podejście to nic innego jak framework oparty na danych.

Rodzaje danych testowych w testowaniu sterowanym danymi

Wartość testowania opartego na danych zależy bezpośrednio od jakości zestawów danych wprowadzanych do skryptów testowych. Dobrze zaprojektowany plik danych łączy kilka kategorii danych testowych, dzięki czemu jeden skrypt może zweryfikować prawidłowe zachowanie, obsługę błędów i limity w jednym przebiegu:

• Dane pozytywne (ważne): Prawidłowe dane wejściowe, takie jak prawidłowa nazwa użytkownika i hasło, służą do potwierdzenia, że ​​aplikacja akceptuje to, co powinna akceptować.
• Dane negatywne (nieprawidłowe): Nieprawidłowe lub błędnie sformatowane dane wejściowe, które należy odrzucić, np. nieprawidłowe hasło lub znaki specjalne w polu liczbowym.
• Dane graniczne: Wartości na granicach dozwolonych zakresów, takie jak nazwa użytkownika składająca się z 1 lub 255 znaków, często ujawniają ukryte wady.
• Dane puste lub zerowe: Puste pola weryfikujące poprawność pól obowiązkowych i komunikaty o błędach.
• Dane o dużej objętości: Rekordy zbiorcze lub generowane losowo służą do sprawdzania wydajności i stabilności przy realistycznym obciążeniu.

Po przygotowaniu odpowiednich danych kolejnym krokiem jest zbudowanie samych ram.

Jak stworzyć strukturę automatyzacji opartej na danych

Załóżmy, że chcesz przetestować funkcjonalność logowania w aplikacji. Powyższy schemat blokowy przedstawia pełny cykl: zidentyfikuj przypadki testowe, napisz wspólny skrypt testowy, przenieś dane do pliku zewnętrznego i wykonaj pętlę skryptu dla każdego wiersza danych.

Krok 1) Zidentyfikuj przypadki testowe

• Wprowadź poprawną nazwę użytkownika i hasło – Logowanie powiodło się
• Wprowadź niepoprawną nazwę użytkownika i prawidłowe hasło – Błąd logowania
• Wprowadź poprawną nazwę użytkownika i nieprawidłowe hasło – Błąd logowania

Krok 2) Utwórz szczegółowe kroki testowe dla powyższych 3 przypadków testowych

Przypadek testowy#	OPIS	Kroki testowe	Dane testowe	oczekiwane rezultaty
1	Sprawdź opcję Zaloguj się, aby uzyskać prawidłowe dane uwierzytelniające	Uruchom aplikację Wprowadź hasło nazwy użytkownika Kliknij OK Sprawdź wyniki	Nazwa użytkownika: ważne hasło: ważne	Sukces logowania
2	Sprawdź opcję Logowanie pod kątem nieprawidłowych danych uwierzytelniających	Uruchom aplikację Wprowadź hasło nazwy użytkownika Kliknij OK Sprawdź wyniki	Nazwa użytkownika: nieprawidłowe hasło: ważne	Błąd logowania
3	Sprawdź opcję Logowanie pod kątem nieprawidłowych danych uwierzytelniających	Uruchom aplikację Wprowadź hasło nazwy użytkownika Kliknij OK Sprawdź wyniki	Nazwa użytkownika: prawidłowe hasło: nieprawidłowe	Błąd logowania

Krok 3) Utwórz skrypt testowy

Jak widać, kroki testowe są wspólne dla wszystkich 3 przypadków testowych. Aby wykonać te kroki, należy utworzyć skrypt testowy:

// This is Pseudo Code

// Test Step 1: Launch Application
driver.get("URL of the Application");

// Test Step 2: Enter Username
txtbox_username.sendKeys("valid");

// Test Step 3: Enter Password
txtbox_password.sendKeys("invalid");

// Test Step 4: Check Results
If (Next Screen) print success else Fail

Krok 4) Utwórz plik Excel/CSV z danymi testowymi, jak pokazano na poniższym arkuszu przykładowym

Krok 5) Zmodyfikuj skrypt tak, aby pętla przechodziła przez dane wejściowe. Polecenia wejściowe również powinny być sparametryzowane.

// This is Pseudo Code
// Loop 3 Times
for (i = 0; i & lt; = 3; i++) {
    // Read data from Excel and store into variables
    int input_1 = ReadExcel(i, 0);
    int input_2 = ReadExcel(i, 1);

    // Test Step 1: Launch Application
    driver.get("URL of the Application");

    // Test Step 2: Enter Username
    txtbox_username.sendKeys(input_1);
    // Test Step 3: Enter Password

    txtbox_password.sendKeys(input_2);
    // Test Step 4: Check Results
    If(Next Screen) print success
    else Fail
}

Powyżej przedstawiono tylko 3 przypadki testowe. Skrypt testowy można wykorzystać do pętli następujących przypadków testowych, po prostu dodając wartości danych testowych do przewyższać

• Wprowadź nieprawidłową nazwę użytkownika i nieprawidłowe hasło – Logowanie nie powiodło się
• Wprowadź poprawną nazwę użytkownika i hasło puste – Logowanie nie powiodło się
• Wprowadź pustą nazwę użytkownika i puste hasło – logowanie nie powiodło się

I tak dalej

Gdy Twoja struktura będzie gotowa, odpowiednie narzędzie ułatwi zarządzanie danymi, ich wykonywanie i raportowanie.

Najlepsze narzędzie do testowania opartego na danych

1) Test sigma

Test sigma to oparta na chmurze platforma do testowania opartego na danych, która okazała się nieoceniona w maksymalizacji pokrycia testami poprzez oddzielenie logiki testowej od danych testowych. Została zaprojektowana specjalnie dla zespołów, które muszą walidować aplikacje w oparciu o zróżnicowane zestawy danych, przypadki brzegowe i scenariusze biznesowe bez tworzenia zbędnych skryptów testowych, usprawniając tym samym cały proces testowania opartego na danych.

Podczas moich projektów testowania opartego na danych, wykorzystałem możliwości parametryzacji Testsigmy do wykonania identycznych scenariuszy testowych dla wielu kombinacji danych z zewnętrznych źródeł, takich jak pliki Excel i CSV. Możliwość iteracyjnego przeglądania wierszy danych przez platformę automatycznie znacznie rozszerzyła zakres moich testów, a szczegółowe raportowanie wyników na poziomie danych pomogło mi szybko zidentyfikować, które konkretne kombinacje danych wejściowych wywołały awarie w warstwie webowej, mobilnej i API.

Cechy:

• Integracja zewnętrznych źródeł danych: Ta funkcja umożliwia bezpośrednie połączenia z arkuszami kalkulacyjnymi Excel, plikami CSV i tabelami bazy danych w celu scentralizowanego zarządzania danymi testowymi. Eliminuje ona wartości zakodowane na stałe i pozwala na zarządzanie danymi testowymi niezależnie od logiki testowej. Można aktualizować zestawy danych bez modyfikowania skryptów testowych, co zapewnia elastyczność i łatwość konserwacji. Używam tej funkcji do efektywnego zarządzania setkami wariantów danych, zachowując jednocześnie…ping scenariusze testowe są czyste i nadają się do ponownego wykorzystania.
• Zautomatyzowana iteracja danych wielowierszowych: Testsigma automatycznie uruchamia scenariusze testowe dla wielu wierszy danych w jednym przebiegu testu, co znacząco zwiększa zakres pokrycia. Można walidować liczne kombinacje danych wejściowych, warunki brzegowe i warianty reguł biznesowych bez duplikowania przypadków testowych. Ta funkcja obsługuje sekwencjonowanie danych i logikę iteracji w sposób transparentny. Stwierdziłem, że jest to szczególnie skuteczne w przypadku kompleksowych testów regresyjnych z minimalnym nakładem pracy na obsługę skryptów.
• Parametryzacja dynamicznego kroku testu: Umożliwia zastąpienie wartości statycznych parametrami dynamicznymi, które pobierają dane ze źródeł zewnętrznych podczas wykonywania testu. Można skonfigurować kroki testu, aby dostosować je do zmieniających się danych wejściowych, warunków i oczekiwanych wyników w oparciu o wartości zbioru danych. Funkcja ta obsługuje złożone transformacje danych i logikę warunkową. Wykorzystuję ją do tworzenia elastycznych scenariuszy testowych, które uwzględniają zróżnicowane wymagania biznesowe i przepływy pracy użytkowników.
• Raportowanie wykonania na poziomie danych: Platforma generuje szczegółowe raporty, które rozbijają wyniki testów na pojedyncze kombinacje danych, pokazując dokładnie, które dane wejściowe zostały zaliczone, a które nie. Możesz analizować wzorce, identyfikować problematyczne zakresy danych i… tracawarie w określonych wierszach zestawu danych. Ta funkcja udostępnia wizualne pulpity nawigacyjne i eksportowalne analizy do komunikacji z interesariuszami. Zalecam wykorzystanie tych spostrzeżeń do nadawania priorytetów poprawom jakości danych i udoskonalania strategii testowania danych.
• Wsparcie wieloplatformowe oparte na danych: Testsigma rozszerza możliwości oparte na danych na testy webowe, mobilne i API w ramach ujednoliconych przepływów pracy. Możesz zastosować te same zestawy danych, aby zweryfikować spójność różnych warstw aplikacji i technologii. Ta funkcja zapewnia kompleksową, kompleksową walidację z wykorzystaniem sparametryzowanych przepływów danych. Użyłem jej do weryfikacji, czy przetwarzanie danych w zapleczu poprawnie odzwierciedla się w interfejsach front-end na wielu platformach jednocześnie.

Cennik:

• Cena: Indywidualne ceny z możliwością testowania opartego na danych w ramach kompleksowego planu subskrypcji
• Darmowa wersja próbna: 14-dniowy bezpłatny okres próbny

Odwiedź Testsigma >>

14-dniowy bezpłatny okres próbny

---

2) Testiny

Testiny to nowoczesna platforma do zarządzania przypadkami testowymi oparta na chmurze, której używałem do efektywnego organizowania przypadków testowych opartych na danych, jednocześnie zachowującping Wyraźne rozdzielenie logiki testowej od sparametryzowanych zestawów danych. Został stworzony dla zespołów, które muszą zarządzać różnymi kombinacjami danych w wielu przebiegach testowych bez utraty traczdolność.

Podczas realizacji projektów opartych na danych TestinyDoceniłem to, jak funkcje edycji zbiorczej i szablonów ułatwiły skalowanie wariantów testów obejmujących setki wierszy danych. Platforma integruje się z Jira, GitHub i GitLab, dzięki czemu nieudane kombinacje danych łączą się z problemem. trackers automatycznie.

Cechy:

• Masowa edycja przypadków testowych: Testiny Umożliwia edycję, duplikację i parametryzację wielu przypadków testowych jednocześnie, co przyspiesza tworzenie wariantów opartych na danych. Można wprowadzać zmiany w folderach w ciągu kilku sekund, bez konieczności modyfikowania każdego przypadku z osobna. Korzystam z tego, rozszerzając zakres o nowe zestawy danych bez konieczności przepisywania skryptów.
• Pola niestandardowe do wprowadzania danych: Umożliwia definiowanie pól niestandardowych dla każdego projektu, dzięki czemu można modyfikować atrybuty zestawu danych. tracObok każdego przebiegu testu. Możesz rejestrować wartości wejściowe, oczekiwane wyniki i warunki w jednym miejscu. Używam tych pól, aby ułatwić późniejszą weryfikację złożonych, sparametryzowanych scenariuszy.
• Test w czasie rzeczywistym Tracking: Platforma pokazuje aktualny stan wykonania dla wszystkich członków zespołu, dzięki czemu testy oparte na danych pozostają transparentne. Możesz przypisywać przypadki, monitorować odsetek zaliczonych/niezaliczonych testów i identyfikować zablokowane kombinacje danych w momencie ich wystąpienia. Uważam to za przydatne dla…ping Kierownicy ds. zapewnienia jakości są informowani bez konieczności ciągłych spotkań dotyczących statusu.
• Raportowanie w formacie PDF i możliwość udostępniania: Testiny Generuje przejrzyste raporty PDF z wykresami i podsumowaniami realizacji, którymi można się podzielić z interesariuszami nietechnicznymi. Można je filtrować według zestawu danych, kamienia milowego lub wydania. Wysyłam je na koniec każdego sprintu, aby zakomunikować, że dbam o jakość.
• Problem rodzimy TracIntegracje ker: Łączy się z Jira, GitHub, GitLab, Azure DevOps, Liniowy, Asana, Confluence, Trello i monday.com, dzięki czemu błędne wiersze danych szybko zamieniają się w zgłoszenia. Pozwala to na utrzymanie spójności między wykonywaniem testów a przepływami pracy inżynierów. Zauważyłem, że to drastycznie zmniejsza tarcia związane z przekazywaniem zadań między zespołami QA i programistów.

Cennik:

• Cena: Bezpłatny plan dla maksymalnie 3 użytkowników; płatne plany skalują się w zależności od liczby stanowisk i obejmują dodatkowe wsparcie premium
• Darmowa wersja próbna: 21-dniowy bezpłatny okres próbny

Odwiedź Testiny >>

21-dniowy bezpłatny okres próbny

---

3) Testpad

Testpad to lekkie narzędzie do zarządzania testami oparte na listach kontrolnych, z którego korzystam, gdy scenariusze oparte na danych wymagają szybkiego przechwycenia bez zbędnych ceregieli. Zostało zbudowane w oparciu o hierarchiczne listy kontrolne, dzięki czemu testerzy mogą grupować warianty danych w ramach przypadków nadrzędnych i szybko je wykonywać.

Podczas moich sesji opartych na danych z TestpadUżyłem interfejsu opartego na klawiaturze, aby za jednym razem uruchomić dziesiątki wariantów wprowadzania danych. Wsparcie dla testerów gościnnych pozwoliło mi zaprosić ekspertów dziedzinowych do weryfikacji skrajnych kombinacji danych bez konieczności płacenia za dodatkowe miejsca.

Cechy:

• Hierarchiczne listy kontrolne testów: Testpad Organizuje sparametryzowane testy w zagnieżdżonych listach kontrolnych, umożliwiając grupowanie powiązanych wariantów danych w ramach jednego przypadku nadrzędnego. Można rozwijać i zwijać gałęzie, aby skupić się na konkretnych zestawach danych. Używam tego do wizualnego uporządkowania złożonych macierzy danych.
• Edycja sterowana klawiaturą: Umożliwia tworzenie, wcinanie i zmienianie kolejności elementów testowych za pomocą skrótów klawiaturowych, dzięki czemu tworzenie dużych planów opartych na danych jest szybkie. Można pozostać w ruchu bez sięgania po myszkę. Uważam, że to znacznie skraca czas przechwytywania nowych wierszy zestawu danych.
• Dostęp dla testerów gościnnych: Testpad Obsługuje nieograniczoną liczbę testerów gościnnych bez opłat za stanowisko, dzięki czemu możesz zaangażować ekspertów dziedzinowych do konkretnych kombinacji danych. Możesz zaprosić interesariuszy do weryfikacji przypadków brzegowych bez dodatkowych kosztów licencyjnych. Korzystam z tego podczas akceptacji użytkownika w scenariuszach sparametryzowanych.
• Raporty z możliwością natychmiastowego udostępniania: Platforma generuje lekkie raporty, którymi można się dzielić za pośrednictwem linku, dzięki czemu postępy są widoczne bez konieczności otwierania narzędzia. Można je filtrować według testera, statusu lub gałęzi testowej. Wysyłam je menedżerom produktu po zakończeniu każdego testu opartego na danych.
• Kwestia Tracker Linkowanie: Łączy nieudane testy z zgłoszeniami w Jira lub GitHub za pomocą prostych linków, dzięki czemu błędy w wierszach danych szybko trafiają do działu inżynierii. Można dołączyć kontekst bezpośrednio z nieudanego elementu listy kontrolnej. Pozwalam testerom skupić się na wykonaniu, a narzędziom zająć się routingiem.

Cennik:

• Cena: Plany zaczynają się od 59 USD miesięcznie, a dla większych zespołów dostępne są niestandardowe plany korporacyjne
• Darmowa wersja próbna: 30-dniowy bezpłatny okres próbny

Odwiedź Testpad >>

30-dniowy bezpłatny okres próbny

Najlepsze praktyki testowania opartego na danych

Poniżej przedstawiono najlepsze praktyki testowania w zakresie testowania opartego na danych:

• Idealnym rozwiązaniem jest wykorzystanie realistycznych informacji podczas procesu testowania opartego na danych
• Nawigacja po przepływie testowym powinna być zakodowana w skrypcie testowym
• Korzystaj z wirtualnych interfejsów API za pomocą znaczących danych
• Używaj danych do generowania dynamicznych asercji
• Testuj wyniki pozytywne i negatywne
• Zmień przeznaczenie testów funkcjonalnych opartych na danych w celu zapewnienia bezpieczeństwa i wydajności

Zalety testowania opartego na danych

Testowanie oparte na danych oferuje wiele korzyści. Oto niektóre z nich:

1. Umożliwia testowanie aplikacji z wieloma zestawami wartości danych podczas Testy regresji
2. Dane testowe i dane weryfikacyjne można zorganizować w jednym pliku, niezależnym od logiki przypadku testowego.
3. Dzięki temu narzędziu możliwe jest przechowywanie skryptów testowych w jednym repozytorium. Dzięki temu testy są łatwe do zrozumienia, utrzymania i zarządzania.
4. Akcje i funkcje można ponownie wykorzystać w różnych testach.
5. Niektóre narzędzia generują dane testowe automatycznie. Jest to przydatne, gdy potrzebne są duże ilości losowych danych testowych, co pozwala zaoszczędzić czas.
6. Testowanie oparte na danych można przeprowadzić na dowolnym etapie rozwoju. Przypadki testowe oparte na danych są zazwyczaj scalane w jeden proces. Można je jednak wykorzystać w wielu przypadkach testowych.
7. Umożliwia programistom i testerom wyraźne oddzielenie logiki ich przypadków testowych/skryptów od danych testowych.
8. Te same przypadki testowe można wykonać wielokrotnie, co pozwala ograniczyć liczbę przypadków testowych i skryptów.
9. Wszelkie zmiany w skrypcie testowym nie mają wpływu na dane testowe

Wady testowania opartego na danych

Niektóre wady metody testowania automatycznego opartego na danych to:

1. Jakość testu zależy od umiejętności automatyzacji zespołu wdrażającego
2. Walidacja danych jest zadaniem czasochłonnym w przypadku testowania dużej ilości danych.
3. Utrzymanie jest istotną kwestią, ponieważ do testowania opartego na danych potrzebna jest duża ilość kodu.
4. Wymagane są umiejętności techniczne na wysokim poziomie. Tester może być zmuszony nauczyć się zupełnie nowego języka skryptowego.
5. Będzie więcej dokumentacji, związanej głównie z zarządzaniem skryptami, infrastrukturą testową i wynikami testów.
6. Do tworzenia i utrzymywania plików danych wymagany jest edytor tekstu, taki jak Notatnik.

Testowanie oparte na danych a testowanie oparte na słowach kluczowych

Początkujący często mylą testowanie oparte na danych z testowaniem opartym na słowach kluczowych, ponieważ oba te podejścia oddzielają projektowanie testów od skryptów testowych. Różnica polega na tym, co jest eksternalizowane: testowanie oparte na danych eksternalizuje wartości wejściowe, podczas gdy testowanie oparte na słowach kluczowych eksternalizuje same akcje jako słowa kluczowe wielokrotnego użytku. Poniższa tabela porównuje oba podejścia:

Parametr	Testowanie oparte na danych	Testowanie oparte na słowach kluczowych
Co jest eksternalizowane	Dane testowe (dane wejściowe i oczekiwane wyniki)	Akcje testowe (słowa kluczowe takie jak Zaloguj się, Kliknij, Zweryfikuj)
Źródło danych	Tabele Excel, CSV, XML lub bazy danych	Tabele słów kluczowych i opcjonalne tabele danych
Wymagane umiejętności	Umiarkowana znajomość skryptów	Większy początkowy nakład pracy przy projektowaniu; mniej kodowania potrzebnego do tworzenia nowych testów
Najlepiej nadaje się do	Powtarzanie jednego scenariusza z wieloma kombinacjami wejściowymi	Tworzenie wielu scenariuszy z bloków akcji wielokrotnego użytku
Konserwacja	Aktualizuj pliki danych bez dotykania skryptów	Aktualizuj bibliotekę słów kluczowych, gdy zmieni się zachowanie aplikacji

Wiele zespołów łączy oba podejścia w ramach hybrydowego środowiska, w którym słowa kluczowe definiują działania nadające się do ponownego wykorzystania, a zewnętrzne pliki danych dostarczają wartości dla każdego przebiegu testu.

FAQ