Metriky testování softwaru: Co je to, typy a příklad
Thomas Hamilton
⚡ Chytré shrnutí
Metriky testování softwaru jsou kvantitativní měřítka pokroku, kvality a produktivity testovacího procesu. Tato příručka se zabývá třemi typy metrik, rozlišením mezi základním a vypočítaným, životním cyklem metrik a glosářem vzorců, které můžete použít přímo.
Co jsou metriky testování softwaru?
Metriky testování softwaru jsou kvantitativní měřítka používaná k odhadu postupu, kvality, produktivity a zdraví procesu testování softwaru. Cílem metrik testování softwaru je zlepšit efektivitu a efektivitu procesu testování softwaru a pomoci při rozhodování o dalším procesu testování poskytováním spolehlivých dat o procesu testování.
Metrika kvantitativně vyjadřuje míru, do jaké systém, součást nebo proces vykazuje danou vlastnost. Jednoduchá analogie je skutečná týdenní spotřeba paliva automobilu v porovnání s hodnotou uváděnou výrobcem.
Metriky testování softwaru – Zlepšuje efektivitu a efektivitu procesu testování softwaru.
Metrika testování softwaru nebo měření testování softwaru je kvantitativní indikace rozsahu, kapacity, dimenze, množství nebo velikosti nějakého atributu procesu nebo produktu.
Příklad pro softwarové testovací měření: Celkový počet závad
Proč jsou testovací metriky důležité?
„Nemůžeme vylepšit, co nemůžeme změřit.“ Testovací metriky existují proto, aby byl proces testování měřitelný.
- Rozhodněte, jaká by měla být další fáze aktivit
- Poskytněte důkazy pro tvrzení nebo předpověď ohledně kvality
- Určete, jaký druh vylepšení je potřeba
- Zdůvodněte změnu procesu nebo technologie
Přečtěte si o něm více Význam testovacích metrik
Typy testovacích metrik
- Metriky procesu: Může být použit ke zlepšení efektivity procesu SDLC (Životní cyklus vývoje softwaru)
- Metriky produktu: Zabývá se kvalitou softwarového produktu
-
Metriky projektu: Může být použit k měření efektivity projektového týmu nebo jakéhokoli jiného testovací nástroje používají členové týmu
Výběr správných metrik je důležitější než jejich shromažďování. Než se rozhodnete pro sadu, zvažte následující:
- Stanovte cílové publikum pro přípravu metrik
- Definujte cíl pro metriky
- Zaveďte všechny relevantní metriky na základě potřeb projektu
- Zvažte náklady a přínosy každé metriky a fázi životního cyklu projektu, ve které přináší největší hodnotu.
Manuální testovací metriky
In Softwarové inženýrství, Metriky ručního testu jsou rozděleny do dvou tříd
- Základní metriky
- Vypočítané metriky
Základní metriky jsou nezpracovaná data shromážděná Test Analystem během vývoje a provádění testovacího případu (# provedených testovacích případů, # testovacích případů). Zatímco vypočítané metriky jsou odvozeny z dat shromážděných v základních metrikách. Vypočtené metriky obvykle následuje manažer testu pro účely reportování testů (% dokončeno, % pokrytí testu).
V závislosti na projektu nebo obchodním modelu jsou obvykle nejdůležitější metriky:
- Metriky produktivity provedení testovacího případu
- Metriky produktivity přípravy testovacího případu
- Metriky defektů
- Vady podle priority
- Vady podle závažnosti
- Poměr prokluzu defektu
Metriky manuálního vs. automatizovaného testování
Výše popsané metriky předpokládají ručně spuštěnou sadu. Automatizovaná sada se měří odlišně, protože úsilí potřebné k provedení již není omezením.
| Kritéria | Metriky manuálního testování | Metriky automatizovaného testování |
|---|---|---|
| Primární zaměření | Úsilí a postup provedení | Pokrytí, stabilita a doba běhu |
| Typické měření | Testovací případy provedené za den | Procento pokrytí automatizace |
| Kvalitní signál | Závady zjištěné za hodinu testu | Míra nestabilních testů, podíl nestabilních testů |
| Měření nákladů | Hodiny testerů | Hodiny údržby skriptů na vydání |
| Měření rychlosti | Délka cyklu ve dnech | Doba provedení sady v minutách |
Automation Coverage = (Test cases automated / Total test cases) x 100 Flaky Test Rate = (Tests with inconsistent results / Total automated tests) x 100
Zvláštní pozornost si zaslouží nestabilní míra testování. Jakmile překročí zhruba 5 procent, týmy začnou ignorovat červené sestavení a v tomto okamžiku sada přestane poskytovat informace bez ohledu na to, jak vysoké je její pokrytí.
Testování životního cyklu metrik v softwarovém inženýrství
| Různé fáze životního cyklu metrik | Kroky v každé fázi |
|---|---|
| Analýza |
|
| Komunikovat |
|
| Hodnocení |
|
| Zpráva |
|
Jak vypočítat testovací metriku
| sr# | Kroky k testování metrik | Příklad |
|---|---|---|
| 1 | Identifikujte klíč testování softwaru procesy, které mají být měřeny | Průběh testování trackrálovský proces |
| 2 | V tomto kroku tester používá data jako základ pro definování metrik | Počet testovacích případů, které mají být provedeny za den |
| 3 | Stanovení informací, které je třeba dodržovat, frekvence trackrál a osoba zodpovědná | Skutečné provádění testu za den zaznamená manažer testu na konci dne |
| 4 | Efektivní výpočet, správa a interpretace definovaných metrik | Skutečné testovací případy provedené za den |
| 5 | Identifikujte oblasti zlepšení v závislosti na interpretaci definovaných metrik | If modelový případ Pokud plnění nedosahuje dohodnutého cíle, prošetřete příčinu a navrhněte nápravná opatření |
Příklad výpočtu testovací metriky
Vezměte si jako příklad procento provedených testovacích případů. Pro vyjádření stavu provedení v procentech použijte vzorec:
Percentage test cases executed= (No of test cases executed/ Total no of test cases written) X 100
Pokud bylo napsáno 250 testovacích případů a 175 z nich bylo provedeno, výsledek je (175 / 250) x 100 = 70 procent.
Stejný vzorec platí pro všechny ostatní parametry provádění: testovací případy nespuštěné, úspěšné, neúspěšné a blokované. Každý z nich je jednoduše jiným čitatelem nad stejným jmenovatelem.
Nejdůležitější testovací metriky Track
Slovník pojmů na konci tohoto tutoriálu uvádí všechny běžně používané vzorce. V praxi je pro sadu pro tvorbu reportů zřídka potřeba více než osm vzorců. Jsou to ty, které důsledně ovlivňují rozhodování.
| metrický | Na co odpovídá | Dávej pozor na |
|---|---|---|
| Procento provedení testovacího případu | Jak daleko jsme od plánovaného běhu? | Neříká to nic o kvalitě, jen o pokroku |
| Hustota defektů | Vady na jednotku velikosti, takže který modul je nejslabší? | Záleží na konzistentní míře velikosti |
| Účinnost odstraňování vad | Jaký podíl vad jsme odhalili před vydáním? | Lze finalizovat až po doručení výrobních dat |
| Únik defektu | Kolik vad se dostalo k zákazníkovi? | Nejdůležitější signál kvality |
| Pokrytí testu | Jaká část stanovených požadavků je uplatňována? | Vysoké pokrytí se slabými tvrzeními nic nedokazuje |
| Index závažnosti vady | Jsou otevřené vady vážné nebo kosmetické? | Počítání vad bez vážení je zavádějící |
| Průměrná doba opravy | Jak rychle tým opraví problém? | Zkresleno několika dlouhodobými vadami |
| Produktivita provádění testů | Kolik případů tester dokončí za den? | Pokud se použije jako cíl, podporuje povrchní testy |
Dva vzorce, které stojí za to doplnit do glosáře, protože jsou to ty, které management požaduje:
Defect Removal Efficiency = (Defects found before release / Total defects found) x 100
Defect Leakage = (Defects found in production / Defects found before release) x 100
Měřicí past. Jakákoli metrika použitá jako cíl přestává být dobrým měřítkem. Stanovte si cíl produktivity na 30 testovacích případů denně a testeři napíší 30 triviálních případů. Metriky uvádějte jako sadu, nikdy ne izolovaně, a každý ukazatel produktivity spárujte s ukazatelem kvality.
Slovník vzorců pro metriky testování softwaru
- Poměr úsilí přepracovat = (Skutečné úsilí vynaložené na přepracování v této fázi / celkové skutečné úsilí vynaložené v této fázi) X 100
- Požadavek Creep = ( Celkový počet přidaných požadavků/počet počátečních požadavků)X100
- Rozptyl plánu = (Skutečné datum dodání – plánované datum dodání)
- Náklady na nalezení závady při testování = (Celkové úsilí vynaložené na testování / defekty nalezené při testování)
- Skluz plánu = (Skutečné datum ukončení – Odhadované datum ukončení) / (Plánované datum ukončení – Plánované datum zahájení) X 100
- Procento úspěšných testovacích případů = (počet úspěšně provedených testů/celkový počet provedených testů) X 100
- Procento neúspěšných testovacích případů = (počet neúspěšných testů/celkový počet provedených testů) X 100
- Procento blokovaných testovacích případů = (počet blokovaných testů/celkový počet provedených testů) X 100
- Procento opravených vad = (Závady opravené/Závady nahlášené) X 100
- Procento přijatých vad = (Závady přijaté jako platné vývojářským týmem / Celkový počet nahlášených závad) X 100
- Odložené procento vad = (Závady odložené pro budoucí vydání / Celkový počet hlášených závad) X 100
- Procento kritických vad = (kritické závady / celkový počet hlášených závad) X 100
- Průměrná doba, za kterou vývojový tým opraví defekty = (celkový čas potřebný k opravám chyb/počet chyb)
- Počet testů spuštěných za časové období = Počet provedených testů/celkový čas
- Test účinnosti návrhu = Počet navržených testů / celkový čas
- Účinnost testování = Počet zkontrolovaných testů / Celkový čas
- Míra nalezených chyb, nebo počet vad za hodinu testu = Celkový počet vad / Celkový počet hodin testu
