Što je testiranje temeljeno na podacima?

Testiranje temeljeno na podacima

Testiranje temeljeno na podacima je metoda testiranja softvera u kojoj se testni podaci pohranjuju u obliku tablice ili proračunske tablice. Testiranje vođeno podacima omogućuje testerima da unesu jednu testnu skriptu koja može izvršiti testove za sve testne podatke iz tablice i očekivati ​​izlaz testa u istoj tablici. Naziva se i testiranjem upravljanim tablicom ili parametriziranim testiranjem.

Okvir vođen podacima

Okvir vođen podacima je okvir za automatizirano testiranje u kojem se ulazne vrijednosti čitaju iz podatkovnih datoteka i pohranjuju u varijable u testnim skriptama. Omogućuje testerima da ugrade i pozitivne i negativne testne slučajeve u jedan test. Ulazni podaci u okviru vođenom podacima mogu se pohraniti u jednom ili više izvora podataka poput .xls, .xml, .csv i baza podataka. Dijagram u nastavku prikazuje kako ulazne vrijednosti teku iz podatkovne datoteke u testnu skriptu.

Zašto testiranje temeljeno na podacima?

Testiranje temeljeno na podacima je važno jer testeri često imaju više skupova podataka za jedan test, a stvaranje pojedinačnih testova za svaki skup podataka može oduzeti puno vremena. Testiranje vođeno podacima pomaže u odvajanju podataka od testnih skripti, a iste testne skripte mogu se izvršavati za različite kombinacije ulaznih testnih podataka dok se rezultati testiranja generiraju učinkovito.

Primjer:

Pretpostavimo da želimo testirati sustav prijave s više polja za unos na 1000 različitih skupova podataka.

Da biste to testirali, možete primijeniti sljedeće različite pristupe:

pristup 1) Napravite 1000 skripti, jednu za svaki skup podataka, i pokrenite svaki test zasebno jedan po jedan.

pristup 2) Ručno promijenite vrijednost u testnoj skripti i pokrenite je nekoliko puta.

pristup 3) Uvezite podatke iz Excel tablice. Dohvatite testne podatke iz Excel redaka jedan po jedan i izvršite skriptu.

Među navedena tri scenarija, prva dva su mukotrpna i dugotrajna. Stoga je idealno slijediti treći pristup.

Prema tome, treći pristup nije ništa drugo nego okvir vođen podacima.

Vrste testnih podataka u testiranju vođenom podacima

Vrijednost testiranja temeljenog na podacima izravno ovisi o kvaliteti skupova podataka koje unosite u svoje testne skripte. Dobro osmišljena datoteka kombinira nekoliko kategorija testnih podataka tako da jedna skripta može u jednom pokretanju validirati normalno ponašanje, rukovanje pogreškama i ograničenja:

• Pozitivni (validni) podaci: Ispravni unosi, poput valjanog korisničkog imena i lozinke, koji se koriste za potvrdu da aplikacija prihvaća ono što bi trebala prihvatiti.
• Negativni (nevažeći) podaci: Pogrešni ili oštećeni unosi koji bi trebali biti odbijeni, kao što su netočna lozinka ili posebni znakovi u numeričkom polju.
• Granični podaci: Vrijednosti na rubovima dopuštenih raspona, poput korisničkog imena od 1 ili 255 znakova, koje često otkrivaju skrivene nedostatke.
• Prazni ili nulti podaci: Prazna polja koja provjeravaju validaciju obaveznih polja i poruke o pogreškama.
• Podaci velikog volumena: Skupni ili nasumično generirani zapisi koji se koriste za provjeru performansi i stabilnosti pod realnim opterećenjem.

Nakon što su pripremljeni ispravni podaci, sljedeći korak je izgradnja samog okvira.

Kako stvoriti okvir za automatizaciju vođen podacima

Zamislite da želite testirati funkcionalnost prijave u aplikaciju. Gornji dijagram toka prikazuje cijeli ciklus: identificirajte testne slučajeve, napišite uobičajeni testni skript, premjestite podatke u vanjsku datoteku i izvedite skriptu u petlji preko svakog retka podataka.

Korak 1) Identificirajte testne slučajeve

• Unesite ispravno korisničko ime i lozinku – prijava je uspjela
• Unesite netočno korisničko ime i ispravnu lozinku – Prijava nije uspjela
• Unesite ispravno korisničko ime i netočnu lozinku – prijava nije uspjela

Korak 2) Napravite detaljne testne korake za gornja 3 testna slučaja

Testni slučaj #	Description	Ispitni koraci	Podaci o ispitivanju	Očekivani rezultati
1	Provjerite prijavu za važeće vjerodajnice	Pokrenite program Unesite lozinku korisničkog imena Pritisnite U redu Provjerite rezultate	Korisničko ime: važeća lozinka: važeća	Uspješna prijava
2	Provjerite prijavu za nevažeće vjerodajnice	Pokrenite program Unesite lozinku korisničkog imena Pritisnite U redu Provjerite rezultate	Korisničko ime: nevažeća lozinka: važeća	Neuspješna prijava
3	Provjerite prijavu za nevažeće vjerodajnice	Pokrenite program Unesite lozinku korisničkog imena Pritisnite U redu Provjerite rezultate	Korisničko ime: važeća lozinka: nevažeća	Neuspješna prijava

Korak 3) Stvorite testnu skriptu

Ako primijetite, koraci testiranja ostaju zajednički u sva 3 testna slučaja. Morate stvoriti testni skript za izvršavanje ovih koraka:

// This is Pseudo Code

// Test Step 1: Launch Application
driver.get("URL of the Application");

// Test Step 2: Enter Username
txtbox_username.sendKeys("valid");

// Test Step 3: Enter Password
txtbox_password.sendKeys("invalid");

// Test Step 4: Check Results
If (Next Screen) print success else Fail

Korak 4) Izradite Excel/CSV datoteku s ulaznim testnim podacima, kao što je prikazano u donjem primjeru tablice

Korak 5) Izmijenite skriptu da petlja prolazi kroz ulazne testne podatke. Ulazne naredbe također trebaju biti parametrizirane.

// This is Pseudo Code
// Loop 3 Times
for (i = 0; i & lt; = 3; i++) {
    // Read data from Excel and store into variables
    int input_1 = ReadExcel(i, 0);
    int input_2 = ReadExcel(i, 1);

    // Test Step 1: Launch Application
    driver.get("URL of the Application");

    // Test Step 2: Enter Username
    txtbox_username.sendKeys(input_1);
    // Test Step 3: Enter Password

    txtbox_password.sendKeys(input_2);
    // Test Step 4: Check Results
    If(Next Screen) print success
    else Fail
}

Gore su samo 3 testna slučaja. Testna skripta može se koristiti za prelazak preko sljedećih testnih slučajeva samo dodavanjem vrijednosti testnih podataka nadmašiti

• Unesite netočno korisničko ime i netočnu lozinku – prijava nije uspjela
• Unesite ispravno korisničko ime i lozinku u prazno – Prijava nije uspjela
• Unesite prazno korisničko ime i praznu lozinku– Prijava nije uspjela

I tako dalje

Nakon što je vaš okvir spreman, pravi alat pojednostavljuje upravljanje podacima, izvršavanje i izvještavanje.

Najbolji alat za testiranje temeljeno na podacima

1) Test sigma

Test sigma je platforma za testiranje temeljena na podacima u oblaku koju sam smatrao neprocjenjivom za maksimiziranje pokrivenosti testiranjem odvajanjem logike testiranja od testnih podataka. Posebno je dizajnirana za timove koji trebaju validirati aplikacije u odnosu na različite skupove podataka, rubne slučajeve i poslovne scenarije bez stvaranja redundantnih testnih skripti, pojednostavljujući cijeli tijek rada testiranja temeljenog na podacima.

Tijekom mojih projekata testiranja temeljenih na podacima, iskoristio sam Testsigmine mogućnosti parametrizacije za izvršavanje identičnih testnih scenarija na više kombinacija podataka iz vanjskih izvora poput Excel i CSV datoteka. Sposobnost platforme da iterira kroz retke podataka automatski je značajno proširila pokrivenost mojim testiranjem, dok mi je detaljno izvještavanje o rezultatima na razini podataka pomoglo da brzo identificiram koje su specifične kombinacije ulaza izazvale kvarove na web, mobilnim i API slojevima.

Značajke:

• Integracija vanjskih izvora podataka: Ova značajka omogućuje izravne veze s Excel proračunskim tablicama, CSV datotekama i tablicama baze podataka za centralizirano upravljanje testnim podacima. Uklanja fiksno kodirane vrijednosti i omogućuje vam održavanje testnih podataka neovisno o testnoj logici. Možete ažurirati skupove podataka bez mijenjanja testnih skripti, osiguravajući fleksibilnost i održivost. Koristim ovo za učinkovito upravljanje stotinama varijacija podataka uz održavanje...ping testni scenariji čisti i ponovno upotrebljivi.
• Automatizirana iteracija višerednih podataka: Testsigma automatski izvršava testne scenarije na više redaka podataka u jednom testiranju, dramatično proširujući pokrivenost. Možete validirati brojne kombinacije ulaza, granične uvjete i varijacije poslovnih pravila bez dupliciranja testnih slučajeva. Ova značajka transparentno obrađuje sekvenciranje podataka i logiku iteracije. Ovo sam otkrio posebno učinkovitim za sveobuhvatno regresijsko testiranje s minimalnim troškovima održavanja skripte.
• Parametrizacija koraka dinamičkog testiranja: Omogućuje vam zamjenu statičkih vrijednosti dinamičkim parametrima koji povlače podatke iz vanjskih izvora tijekom izvršavanja. Možete konfigurirati korake testiranja kako biste se prilagodili različitim ulazima, uvjetima i očekivanim rezultatima na temelju vrijednosti skupa podataka. Ova značajka podržava složene transformacije podataka i uvjetnu logiku. Oslanjam se na nju za izradu fleksibilnih scenarija testiranja koji odgovaraju različitim poslovnim zahtjevima i korisničkim tijekovima rada.
• Izvješćivanje o izvršenju na razini podataka: Platforma generira detaljna izvješća koja raščlanjuju rezultate testiranja prema pojedinačnim kombinacijama podataka, pokazujući točno koji su unosi prošli, a koji nisu. Možete analizirati obrasce, identificirati problematične raspone podataka i trace kvarova određenih redaka skupa podataka. Ova značajka pruža vizualne nadzorne ploče i analitiku koju je moguće izvesti za komunikaciju s dionicima. Preporučujem korištenje ovih uvida za određivanje prioriteta poboljšanja kvalitete podataka i poboljšanje strategija testiranja podataka.
• Podrška za više platformi temeljena na podacima: Testsigma proširuje mogućnosti upravljanja podacima na web, mobilno i API testiranje unutar objedinjenih tijekova rada. Možete primijeniti iste skupove podataka za validaciju konzistentnosti na različitim slojevima aplikacije i tehnologijama. Ova značajka osigurava sveobuhvatnu validaciju od početka do kraja s parametriziranim tokovima podataka. Koristio sam je za provjeru ispravno li se obrada podataka u pozadini odražava na frontend sučeljima na više platformi istovremeno.

Cijene:

• Cijena: Prilagođeno određivanje cijena s mogućnostima testiranja temeljenim na podacima uključeno je kao dio sveobuhvatnog plana pretplate
• Besplatna probna verzija: 14-dnevno besplatno probno razdoblje

Posjetite Testsigmu >>

14-dnevno besplatno probno razdoblje

---

2) Testiny

Testiny je moderna platforma za upravljanje testnim slučajevima u oblaku koju koristim za učinkovito organiziranje testnih slučajeva temeljenih na podacima, a istovremenoping jasno razdvajanje testne logike i parametriziranih skupova podataka. Izrađen je za timove koji trebaju upravljati različitim kombinacijama podataka tijekom mnogih testnih izvođenja bez gubitka traclakoća.

Tijekom provođenja projekata vođenih podacima s TestinyCijenim kako su značajke skupnog uređivanja i predložaka olakšale skaliranje varijacija testova na stotine redaka podataka. Platforma se integrira s Jirom, GitHubom i GitLabom pa neuspješne kombinacije podataka povezuju na problem. tracautomatski.

Značajke:

• Uređivanje skupnog testnog slučaja: Testiny Omogućuje vam uređivanje, dupliciranje i parametrizaciju više testnih slučajeva odjednom, što ubrzava stvaranje varijacija temeljenih na podacima. Promjene možete primijeniti u mapama u sekundama bez diranja svakog slučaja pojedinačno. Oslanjam se na ovo kada proširujem pokrivenost na nove skupove podataka bez prepisivanja skripti.
• Prilagođena polja za unos podataka: Omogućuje vam definiranje prilagođenih polja po projektu tako da se atributi skupa podataka mogu tracpohranjeno uz svako testiranje. Ulazne vrijednosti, očekivane ishode i uvjete možete jasno zabilježiti na jednom mjestu. Koristim ova polja kako bih kasnije olakšao reviziju složenih parametriziranih scenarija.
• Probno izvođenje u stvarnom vremenu Tracking: Platforma prikazuje status izvršenja uživo među članovima tima tako da testovi temeljeni na podacima ostaju transparentni. Možete dodijeliti slučajeve, pratiti postotke prolaznosti/neuspjeha i identificirati blokirane kombinacije podataka čim se dogode. Smatram da je ovo korisno za keeping Voditelji osiguranja kvalitete informirani su bez stalnih sastanaka o statusu.
• PDF i izvješća za dijeljenje: Testiny generira čista PDF izvješća s grafikonima i sažecima izvršenja koje možete podijeliti s netehničkim dionicima. Možete filtrirati prema skupu podataka, prekretnici ili izdanju. Šaljem ih na kraju svakog sprinta kako bih prenio kvalitetu.
• Izvorno izdanje Tracker integracije: Povezuje se s Jirom, GitHubom, GitLabom, Azure DevOps, linearni, Asana, Confluence, Trello i monday.com tako da se neuspjeli retci podataka brzo pretvaraju u tikete. Možete uskladiti izvršavanje testova i inženjerske tijekove rada. Primijetio sam da to dramatično smanjuje trenje u primopredaji zadataka između QA i razvojnih timova.

Cijene:

• Cijena: Besplatni plan za do 3 korisnika; plaćeni planovi skaliraju se po broju sjedala i dodaju premium podršku
• Besplatna probna verzija: 21-dnevno besplatno probno razdoblje

Posjetiti Testiny >>

21-dnevno besplatno probno razdoblje

---

3) Testpad

Testpad je lagani alat za upravljanje testiranjem temeljen na kontrolnim listama na koji sam se oslanjao kada je potrebno brzo snimanje scenarija temeljenih na podacima bez previše ceremonija. Izgrađen je oko hijerarhijskih kontrolnih lista tako da testeri mogu grupirati varijacije podataka pod nadređenim slučajevima i brzo ih izvršavati.

Tijekom mojih sesija temeljenih na podacima s Testpad, Koristio sam njegovo sučelje koje prvo koristi tipkovnicu kako bih odjednom pokrenuo desetke varijacija unosa. Podrška gostujućih testera omogućila mi je da dovedem stručnjake iz domene kako bih provjerio kombinacije podataka na rubu slučaja bez plaćanja dodatnih mjesta.

Značajke:

• Hijerarhijske kontrolne liste za testiranje: Testpad organizira parametrizirane testove u ugniježđene kontrolne liste tako da možete grupirati povezane varijacije podataka pod jednim roditeljskim slučajem. Možete proširivati ​​i sažimati grane kako biste se usredotočili na određene skupove podataka. Koristim ovo za vizualno uredan izgled složenih matrica podataka.
• Uređivanje pomoću tipkovnice: Omogućuje vam stvaranje, uvlačenje i promjenu redoslijeda testnih stavki pomoću tipkovničkih prečaca, tako da je izrada velikih planova temeljenih na podacima brza. Možete ostati u tijeku bez posezanja za mišem. Smatram da to dramatično smanjuje vrijeme potrebno za snimanje novih redaka skupa podataka.
• Pristup gostujućih testera: Testpad Podržava neograničen broj gostujućih testera bez naknada po radnom mjestu tako da možete uključiti stručnjake za određene kombinacije podataka. Možete pozvati dionike da provjere rubne slučajeve bez dodatnih troškova licenciranja. Oslanjam se na to tijekom prihvaćanja od strane korisnika s parametriziranim scenarijima.
• Izvješća za trenutno dijeljenje: Platforma generira jednostavna izvješća koja možete dijeliti putem poveznice tako da je napredak vidljiv bez otvaranja alata. Možete filtrirati prema testeru, statusu ili testnoj grani. Šaljem ih voditeljima proizvoda na kraju svakog testnog pokretanja temeljenog na podacima.
• Izdanje Tracker Povezivanje: Povezuje neuspješne testove s Jira ili GitHub tiketima putem jednostavnih veza tako da se neuspjeli redovi podataka brzo usmjeravaju do inženjeringa. Možete izravno priložiti kontekst iz stavke neuspješne kontrolne liste. Omogućujem testerima da se usredotoče na izvršenje, dok alati rješavaju usmjeravanje.

Cijene:

• Cijena: Planovi počinju od 59 USD mjesečno, a dostupni su i prilagođeni poslovni planovi za veće timove.
• Besplatna probna verzija: 30-dnevno besplatno probno razdoblje

Posjetiti Testpad >>

30-dnevno besplatno probno razdoblje

Najbolji primjeri iz prakse testiranja temeljenog na podacima

U nastavku su navedene najbolje prakse testiranja za testiranje temeljeno na podacima:

• Idealno je koristiti realne informacije tijekom procesa testiranja temeljenog na podacima
• Navigacija testnog tijeka trebala bi biti kodirana unutar testne skripte
• Pokrenite virtualne API-je sa značajnim podacima
• Koristite podatke za poticanje dinamičkih tvrdnji
• Testovi pozitivni kao i negativni rezultati
• Prenamijenite funkcionalne testove vođene podacima za sigurnost i izvedbu

Prednosti testiranja vođenog podacima

Testiranje temeljeno na podacima nudi mnoge prednosti. Neke od njih su:

1. Omogućuje testiranje aplikacije s više skupova vrijednosti podataka tijekom Regresijsko ispitivanje
2. Testni podaci i podaci o provjeri mogu se organizirati u samo jednoj datoteci i odvojeni su od logike testnog slučaja.
3. Zahvaljujući alatu, moguće je imati testne skripte u jednom repozitoriju. To testove čini jednostavnim za razumijevanje, održavanje i upravljanje.
4. Akcije i funkcije mogu se ponovno koristiti u različitim testovima.
5. Neki alati automatski generiraju testne podatke. To je korisno kada su potrebne velike količine nasumičnih testnih podataka, što pomaže uštedjeti vrijeme.
6. Testiranje vođeno podacima može se provoditi u bilo kojoj fazi razvoja. Testni slučajevi vođeni podacima obično se spajaju u jedan proces. Međutim, mogu se koristiti u više testnih slučajeva.
7. Omogućuje programerima i testerima jasno odvajanje logike njihovih testnih slučajeva/skripti od testnih podataka.
8. Isti testni slučajevi mogu se izvršiti nekoliko puta, što pomaže u smanjenju broja testnih slučajeva i skripti.
9. Bilo kakve promjene u testnom skriptu ne utječu na testne podatke

Nedostaci testiranja vođenog podacima

Neki nedostaci metode testiranja automatizacije vođene podacima su:

1. Kvaliteta testa ovisi o vještinama automatizacije implementacijskog tima.
2. Validacija podataka je dugotrajan zadatak pri testiranju velike količine podataka.
3. Održavanje je veliki problem, jer je za testiranje temeljeno na podacima potrebna velika količina kodiranja.
4. Potrebne su visoke tehničke vještine. Tester će možda morati naučiti potpuno novi skriptni jezik.
5. Bit će više dokumentacije, uglavnom vezane uz upravljanje skriptama, testnu infrastrukturu i rezultate testiranja.
6. Uređivač teksta poput Notepada potreban je za stvaranje i održavanje podatkovnih datoteka.

Testiranje vođeno podacima u odnosu na testiranje vođeno ključnim riječima

Početnici često brkaju testiranje vođeno podacima s testiranjem vođenim ključnim riječima jer oboje odvaja dizajn testa od testnih skripti. Razlika leži u onome što se eksternalizira: testiranje vođeno podacima eksternalizira ulazne vrijednosti, dok testiranje vođeno ključnim riječima eksternalizira same radnje kao ključne riječi za višekratnu upotrebu. Tablica u nastavku uspoređuje ta dva pristupa:

Parametar	Testiranje temeljeno na podacima	Testiranje temeljeno na ključnim riječima
Što je eksternalizirano	Podaci o testiranju (ulazi i očekivani rezultati)	Testne radnje (ključne riječi kao što su Prijava, Klik, Provjera)
Izvor podataka	Excel, CSV, XML ili tablice baze podataka	Tablice ključnih riječi plus opcionalne tablice podataka
Potrebne vještine	Umjereno znanje skriptiranja	Veći početni napor u dizajniranju; manje kodiranja za izradu novih testova
Najprikladniji za	Ponavljanje jednog scenarija s mnogo kombinacija ulaznih podataka	Izgradnja mnogih scenarija od blokova akcija za višekratnu upotrebu
održavanje	Ažuriranje podatkovnih datoteka bez dodirivanja skripti	Ažuriraj biblioteku ključnih riječi kada se promijeni ponašanje aplikacije

Mnogi timovi kombiniraju oba pristupa u hibridni okvir, gdje ključne riječi definiraju akcije koje se mogu ponovno koristiti, a vanjske datoteke s podacima daju vrijednosti za svako pokretanje testa.

Pitanja i odgovori