Mjerni podaci za testiranje softvera: što je, vrste i primjer
Thomas Hamilton
⚡ Pametni sažetak
Metrike testiranja softvera su kvantitativne mjere napretka, kvalitete i produktivnosti procesa testiranja. Ovaj vodič pokriva tri vrste metrika, osnovnu i izračunatu razliku, životni ciklus metrika i glosar formula koje možete izravno primijeniti.
Što su metrike testiranja softvera?
Mjerne vrijednosti testiranja softvera su kvantitativne mjere koje se koriste za procjenu napretka, kvalitete, produktivnosti i zdravlja procesa testiranja softvera. Cilj metrike testiranja softvera je poboljšati učinkovitost i djelotvornost u procesu testiranja softvera i pomoći u donošenju boljih odluka za daljnji proces testiranja pružanjem pouzdanih podataka o procesu testiranja.
Metrika kvantitativno izražava stupanj u kojem sustav, komponenta ili proces posjeduje određeni atribut. Jednostavna analogija je stvarna tjedna potrošnja goriva automobila u usporedbi s brojkom koju navodi proizvođač.
Mjerni podaci testiranja softvera – poboljšavaju učinkovitost i djelotvornost procesa testiranja softvera.
Mjerni podaci testiranja softvera ili mjerenje testiranja softvera je kvantitativna indikacija opsega, kapaciteta, dimenzije, količine ili veličine nekog atributa procesa ili proizvoda.
Primjer mjerenja testa softvera: Ukupan broj nedostataka
Zašto su metrike testiranja važne?
„Ne možemo poboljšati ono što ne možemo izmjeriti.“ Testne metrike postoje kako bi proces testiranja bio mjerljiv.
- Odlučite koja bi trebala biti sljedeća faza aktivnosti
- Navedite dokaze za tvrdnju ili predviđanje o kvaliteti
- Utvrdite koja vrsta poboljšanja je potrebna
- Opravdajte promjenu procesa ili tehnologije
Pročitajte više o tome Važnost metrike testa
Vrste testnih metrika
- Mjerni podaci procesa: Može se koristiti za poboljšanje učinkovitosti procesa SDLC-a (Životni ciklus razvoja softvera)
- Mjerni podaci proizvoda: Bavi se kvalitetom softverskog proizvoda
-
Mjerne vrijednosti projekta: Može se koristiti za mjerenje učinkovitosti projektnog tima ili bilo kojeg drugog alati za ispitivanje koriste članovi tima
Odabir pravih metrika važniji je od prikupljanja mnogih njih. Prije nego što se odlučite za određeni skup, razmislite o sljedećem:
- Odredite ciljanu publiku za pripremu metrike
- Definirajte cilj za metriku
- Uvedite sve relevantne metrike na temelju potreba projekta
- Odvažite troškove i koristi svake metrike i fazu životnog ciklusa projekta u kojoj ona pruža najveću vrijednost
Metrike ručnog testiranja
In Programsko inženjerstvo, Mjere ručnog testiranja razvrstane su u dvije klase
- Osnovne metrike
- Izračunate metrike
Osnovna metrika su neobrađeni podaci koje je prikupio Test Analyst tijekom razvoja i izvođenja testnog slučaja (# izvršenih testnih slučajeva, # testnih slučajeva). Dok se izračunate metrike izvode iz podataka prikupljenih u osnovnim metrikama. Izračunate metrike obično prati voditelj testiranja u svrhu izvješćivanja o testu (% dovršeno, % pokrivenost testom).
Ovisno o projektu ili poslovnom modelu, najvažnije metrike su obično:
- Mjerila produktivnosti izvršenja testnog slučaja
- Mjerila produktivnosti pripreme testnog slučaja
- Mjerila kvarova
- Nedostaci po prioritetu
- Nedostaci prema težini
- Omjer klizanja defekta
Ručni vs. automatizirani testni pokazatelji
Gore opisane metrike pretpostavljaju ručno izvršen paket. Automatizirani paket mjeri se drugačije, jer napor izvršenja više nije ograničenje.
| Kriteriji | Ručno testiranje metrika | Metrike automatizacijskog testiranja |
|---|---|---|
| Primarni fokus | Napor i napredak u izvršenju | Pokrivenost, stabilnost i vrijeme rada |
| Tipična mjera | Testni slučajevi izvršeni dnevno | Postotak pokrivenosti automatizacije |
| Kvalitetan signal | Pronađeni nedostaci po satu testiranja | Nestabilna stopa testiranja, udio nestabilnih testova |
| Mjera troškova | Radno vrijeme testera | Sati održavanja skripte po izdanju |
| Mjera brzine | Trajanje ciklusa u danima | Vrijeme izvršenja paketa u minutama |
Automation Coverage = (Test cases automated / Total test cases) x 100 Flaky Test Rate = (Tests with inconsistent results / Total automated tests) x 100
Nestabilna stopa testiranja zaslužuje posebnu pozornost. Nakon što prijeđe otprilike 5 posto, timovi počinju ignorirati crvene verzije, a u tom trenutku paket prestaje pružati informacije bez obzira na to koliko je visoka njegova pokrivenost.
Životni ciklus metrike testa u softverskom inženjerstvu
| Različite faze životnog ciklusa metrike | Koraci tijekom svake faze |
|---|---|
| Analiza |
|
| Komunicirati |
|
| Procjena |
|
| izvješće |
|
Kako izračunati metriku testa
| Sr# | Koraci za testiranje metrike | Primjer |
|---|---|---|
| 1 | Prepoznajte ključ testiranje softvera procesa koji se mjere | Napredak testiranja trackraljev proces |
| 2 | U ovom koraku ispitivač koristi podatke kao osnovu za definiranje metrike | Broj testnih slučajeva planiranih za izvršenje po danu |
| 3 | Određivanje informacija koje treba slijediti, učestalost trackralj i odgovorna osoba | Stvarno izvršenje testa po danu bit će snimljeno od strane voditelja testiranja na kraju dana |
| 4 | Učinkovito izračunavanje, upravljanje i tumačenje definiranih metrika | Stvarni testni slučajevi izvršeni po danu |
| 5 | Identificirajte područja poboljšanja ovisno o tumačenju definiranih metrika | If testni slučaj izvršenje padne ispod dogovorenog cilja, istražiti uzrok i predložiti korektivne mjere |
Primjer izračuna testne metrike
Uzmite postotak izvršenih testnih slučajeva kao rađeni primjer. Za izražavanje statusa izvršenja kao postotka, upotrijebite formulu:
Percentage test cases executed= (No of test cases executed/ Total no of test cases written) X 100
Ako je napisano 250 testnih slučajeva, a izvršeno 175, rezultat je (175 / 250) x 100 = 70 posto.
Isti obrazac primjenjuje se na svaki drugi parametar izvršenja: testni slučajevi koji nisu izvršeni, uspjeli, nisu uspjeli i blokirani. Svaki je jednostavno drugačiji brojnik nad istim nazivnikom.
Najvažnije metrike testiranja za Track
Glosar na kraju ovog vodiča navodi sve formule koje se uobičajeno koriste. U praksi, paketu za izvještavanje rijetko treba više od osam. To su one koje dosljedno utječu na donošenje odluka.
| metrički | Na što odgovara | Pripazi na |
|---|---|---|
| Postotak izvršenja testnog slučaja | Koliko smo daleko od planiranog trčanja? | Ne govori ništa o kvaliteti, samo o napretku |
| Gustoća defekata | Nedostaci po jedinici veličine, dakle koji je modul najslabiji? | Ovisi o dosljednoj mjeri veličine |
| Učinkovitost uklanjanja nedostataka | Koliki smo udio nedostataka otkrili prije objavljivanja? | Može se finalizirati tek nakon što pristignu podaci o proizvodnji |
| Curenje zbog kvara | Koliko je nedostataka stiglo do kupca? | Najvažniji signal kvalitete |
| Pokrivenost testom | Koliki dio postavljenih zahtjeva se ispunjava? | Visoka pokrivenost sa slabim tvrdnjama ne dokazuje ništa |
| Indeks ozbiljnosti kvara | Jesu li otvoreni nedostaci ozbiljni ili kozmetički? | Brojanje nedostataka bez ponderiranja dovodi u zabludu |
| Prosječno vrijeme popravka | Koliko brzo tim rješava problem? | Iskrivljeno zbog nekoliko dugotrajnih nedostataka |
| Produktivnost izvođenja testova | Koliko slučajeva tester završi dnevno? | Potiče plitke testove ako se koristi kao meta |
Dvije formule koje vrijedi dodati u glosar jer su to one koje uprava traži:
Defect Removal Efficiency = (Defects found before release / Total defects found) x 100
Defect Leakage = (Defects found in production / Defects found before release) x 100
Zamka za mjerenje. Bilo koja metrika koja se koristi kao cilj prestaje biti dobra mjera. Postavite cilj produktivnosti od 30 testnih slučajeva dnevno i testeri će napisati 30 trivijalnih. Izvještavajte o metrikama kao skupu, nikada izolirano, i svaku brojku produktivnosti uparite s brojkom kvalitete.
Glosar formula za metrike testiranja softvera
- Omjer napora prerade = (Stvarni napori prerade utrošeni u toj fazi/ukupni stvarni napori utrošeni u toj fazi) X 100
- Puzanje zahtjeva = (Ukupan broj dodanih zahtjeva/broj početnih zahtjeva) X100
- Varijanca rasporeda = (Stvarni datum isporuke – planirani datum isporuke)
- Trošak pronalaženja greške u testiranju = (Ukupan trud uložen u testiranje/defekti pronađeni u testiranju)
- Proklizavanje rasporeda = (Stvarni datum završetka – Procijenjeni datum završetka) / (Planirani datum završetka – Planirani datum početka) X 100
- Postotak prošlih testnih slučajeva = (Broj položenih testova/ukupan broj izvršenih testova) X 100
- Postotak neuspjelih testnih slučajeva = (Broj neuspjelih testova/ukupan broj izvršenih testova) X 100
- Postotak blokiranih testnih slučajeva = (Broj blokiranih testova/ukupan broj izvršenih testova) X 100
- Postotak popravljenih nedostataka = (Popravljeni nedostaci/Prijavljeni nedostaci) X 100
- Postotak prihvaćenih nedostataka = (Defekti koje je razvojni tim prihvatio kao valjane/ukupni broj prijavljenih nedostataka) X 100
- Postotak odgođenih nedostataka = (Defekti odgođeni za buduća izdanja /Ukupni prijavljeni defekti) X 100
- Postotak kritičnih nedostataka = (Kritični nedostaci / Ukupni prijavljeni nedostaci) X 100
- Prosječno vrijeme potrebno razvojnom timu za popravak nedostataka = (Ukupno vrijeme potrebno za ispravke grešaka/Broj grešaka)
- Broj testova koji se izvode po vremenskom razdoblju = Broj izvođenja testova/ukupno vrijeme
- Testirajte učinkovitost dizajna = Broj dizajniranih testova / Ukupno vrijeme
- Učinkovitost pregleda testa = Broj pregledanih testova / Ukupno vrijeme
- Stopa pronalaska grešaka, ili nedostaci po satu ispitivanja = Ukupan broj nedostataka / Ukupan broj sati ispitivanja
