Szoftvertesztelési metrikák: mi, típusok és példák
Thomas Hamilton
⚡ Okos összefoglaló
A szoftvertesztelési metrikák a tesztelési folyamat előrehaladásának, minőségének és termelékenységének kvantitatív mérőszámai. Ez az útmutató a három metrikátípust, az alap és a számított megkülönböztetést, a metrikák életciklusát, valamint egy közvetlenül alkalmazható képletjegyzéket ismertet.
Mik azok a szoftvertesztelési metrikák?
Szoftvertesztelési metrikák a szoftvertesztelési folyamat előrehaladásának, minőségének, termelékenységének és állapotának becslésére használt mennyiségi mérőszámok. A szoftvertesztelési mérőszámok célja a szoftvertesztelési folyamat hatékonyságának és eredményességének javítása, valamint a tesztelési folyamat megbízható adatainak biztosításával a további tesztelési folyamat jobb döntéseinek elősegítése.
Egy mérőszám mennyiségileg kifejezi, hogy egy rendszer, egy alkatrész vagy egy folyamat milyen mértékben rendelkezik egy adott tulajdonsággal. Egy egyszerű analógia egy autó tényleges heti üzemanyag-fogyasztása a gyártó által megadott értékkel összehasonlítva.
Szoftvertesztelési mérőszámok – Javítja a szoftvertesztelési folyamatok hatékonyságát és eredményességét.
A szoftvertesztelési metrikák vagy szoftverteszt-mérés egy folyamat vagy termék valamely attribútuma kiterjedésének, kapacitásának, dimenziójának, mennyiségének vagy méretének mennyiségi jelzése.
Példa szoftverteszt mérésre: A hibák teljes száma
Miért fontosak a tesztmetrikák?
„Nem tudjuk fejleszteni azt, amit nem tudunk mérni.” A tesztmetrikák azért léteznek, hogy a tesztelési folyamat mérhetővé váljon.
- Döntsd el, hogy mi legyen a tevékenységek következő fázisa
- Bizonyítékot kell szolgáltatni a minőséggel kapcsolatos állítás vagy előrejelzés alátámasztására
- Határozza meg, hogy milyen típusú fejlesztésre van szükség
- Indokolja a folyamat vagy a technológia megváltoztatását
Olvass tovább róla A tesztmetrikák jelentősége
A tesztmetrikák típusai
- Folyamat mérőszámai: Használható az SDLC folyamathatékonyságának javítására (Szoftverfejlesztési életciklus)
- Termékmutatók: A szoftvertermék minőségével foglalkozik
-
Projekt mérőszámai: Használható egy projektcsapat hatékonyságának mérésére vagy bármilyen tesztelő eszközök használják a csapat tagjai
A megfelelő mérőszámok kiválasztása fontosabb, mint sok mérőszám gyűjtése. Mielőtt kiválasztanánk egy halmazt, vegyük figyelembe a következőket:
- Rögzítse a célközönséget a metrika előkészítéséhez
- Határozza meg a metrikák célját
- Vezessen be minden releváns mérőszámot a projekt igényei alapján
- Mérlegelje az egyes mutatók költségét és hasznát, valamint azt a projekt életciklus-fázist, amelyben a legtöbb értéket nyújtja.
Kézi tesztmetrikák
In Szoftverfejlesztés, A kézi tesztmérők két osztályba sorolhatók
- Alapmutatók
- Számított metrikák
Az alapmetrikák a Test Analyst által a teszteset fejlesztése és végrehajtása során gyűjtött nyers adatok (végrehajtott tesztesetek száma, tesztesetek száma). Míg a számított metrikák az alapmetrikákban gyűjtött adatokból származnak. A kiszámított mutatókat általában a tesztmenedzser követi tesztjelentés céljából (% kész, % teszt lefedettség).
A projekttől vagy az üzleti modelltől függően a legfontosabb mutatók általában a következők:
- Tesztesetek végrehajtásának termelékenységi mutatói
- Tesztesetek előkészítésének termelékenységi mutatói
- Hibamutatók
- Hibák prioritás szerint
- Hibák súlyosság szerint
- Hibacsúszási arány
Manuális vs. automatizált tesztelési mutatók
A fent leírt mérőszámok egy manuálisan végrehajtott csomagot feltételeznek. Egy automatizált csomagot másképp mérünk, mivel a végrehajtási erőfeszítés már nem a korlát.
| Kritériumai | Manuális tesztelési mutatók | Automatizált tesztelési metrikák |
|---|---|---|
| Elsődleges hangsúly | Erőfeszítés és végrehajtás előrehaladása | Lefedettség, stabilitás és futási idő |
| Tipikus mérték | Naponta végrehajtott tesztesetek | Automatizálási lefedettségi százalék |
| Minőségi jel | Tesztóránként talált hibák | Egyenetlen tesztráta, az instabil tesztek aránya |
| Költségmérés | Tesztelői órák | Szkriptkarbantartási órák száma kiadásonként |
| Sebességmérés | Ciklus időtartama napokban | Csomag végrehajtási ideje percben |
Automation Coverage = (Test cases automated / Total test cases) x 100 Flaky Test Rate = (Tests with inconsistent results / Total automated tests) x 100
Az egyenetlen tesztelési arány különös figyelmet érdemel. Amint átlépi az 5 százalékot, a csapatok elkezdik figyelmen kívül hagyni a piros buildeket, és ezen a ponton a csomag leállítja az információk szolgáltatását, függetlenül a lefedettség szintjétől.
Tesztmetrikák életciklusa a szoftverfejlesztésben
| A metrikák életciklusának különböző szakaszai | Lépések az egyes szakaszokban |
|---|---|
| Elemzés |
|
| Közöl |
|
| Értékelés |
|
| Jelentés |
|
Hogyan számítsunk ki egy tesztmetrikát?
| Sr# | A mutatók tesztelésének lépései | Példa |
|---|---|---|
| 1 | Azonosítsa a kulcsot szoftver tesztelés mérendő folyamatok | Tesztelési folyamat trackirályi folyamat |
| 2 | Ebben a lépésben a tesztelő az adatokat alapként használja a metrikák meghatározásához | A naponta végrehajtani tervezett tesztesetek száma |
| 3 | A követendő információk meghatározása, gyakoriságuk traca király és a felelős személy | A napi tényleges tesztvégrehajtást a nap végén rögzíti a tesztmenedzser |
| 4 | A meghatározott mérőszámok hatékony számítása, kezelése és értelmezése | A napi végrehajtott tényleges tesztesetek |
| 5 | Azonosítsa a fejlesztendő területeket a meghatározott mérőszámok értelmezésétől függően | If próbaper a végrehajtás a megállapodott cél alatt marad, kivizsgáljuk az okát, és javaslatot teszünk korrekciós intézkedésekre |
Példa egy tesztmetrika kiszámítására
Vegyük például a végrehajtott tesztesetek százalékos arányát. A végrehajtási állapot százalékos formában történő kifejezéséhez használja a következő képletet:
Percentage test cases executed= (No of test cases executed/ Total no of test cases written) X 100
Ha 250 tesztesetet írtak, és 175-öt hajtottak végre, az eredmény (175 / 250) x 100 = 70 százalék.
Ugyanez a minta vonatkozik minden más végrehajtási paraméterre is: nem végrehajtott, sikeres, sikertelen és blokkolt tesztesetek. Mindegyik egyszerűen egy másik számláló ugyanazon a nevezőn.
A legfontosabb tesztmetrikák Track
Az oktatóanyag végén található szószedet felsorolja az összes gyakran használt képletet. A gyakorlatban egy jelentéskészítő csomagnak ritkán van szüksége nyolcnál több képletre. Ezek azok, amelyek következetesen befolyásolják a döntéshozatalt.
| Metric | Mire válaszol | Vigyázz |
|---|---|---|
| Teszteset végrehajtási százalék | Meddig tartunk a tervezett futásban? | Semmit sem mond a minőségről, csak a fejlődésről |
| Hiba sűrűsége | Méretegységenkénti hibák, tehát melyik modul a leggyengébb? | Egy állandó méretméréstől függ |
| Hibaelhárítási hatékonyság | A hibák mekkora részét észleltük a kiadás előtt? | Csak a termelési adatok megérkezése után véglegesíthető |
| Hiba szivárgás | Hány hiba jutott el a vevőhöz? | A legfontosabb minőségi jel |
| Teszt lefedettség | A követelményrendszer mekkora részét gyakorolják? | A magas lefedettség gyenge állításokkal semmit sem bizonyít |
| Hiba súlyossági index | A nyílt hibák komolyak vagy esztétikai jellegűek? | A hibák súlyozás nélküli számlálása félrevezető |
| Átlagos javítási idő | Milyen gyorsan oldja meg a csapat a problémát? | Néhány régóta fennálló hiba torzítja |
| Tesztvégrehajtás termelékenysége | Hány esetet old meg egy tesztelő naponta? | Célpontként használva sekély teszteket ösztönöz |
Két képletet érdemes hozzáadni a szószedethez, mert ezeket kéri a vezetőség:
Defect Removal Efficiency = (Defects found before release / Total defects found) x 100
Defect Leakage = (Defects found in production / Defects found before release) x 100
A mérési csapda. Bármely, célként használt mérőszám már nem jó mérőszám. Tűzz ki napi 30 tesztesetet a termelékenységi célként, és a tesztelők 30 triviális tesztesetet fognak írni. A mérőszámokat halmazként, soha ne elszigetelten jelentsd, és minden termelékenységi adatot párosíts egy minőségi adattal.
Szoftvertesztelési metrikák képletének szószedete
- Átdolgozási erőfeszítés aránya = (Az adott fázisban elköltött tényleges átdolgozási erőfeszítések / az adott fázisban elköltött tényleges erőfeszítések teljes összege) X 100
- Követelmény Kúszás = (A hozzáadott követelmények teljes száma/kezdeti követelmények száma)X100
- Ütemezési eltérés = (Tényleges szállítási dátum – tervezett kézbesítési dátum)
- Hibakeresés költsége a vizsgálat során = (A tesztelésre fordított teljes erőfeszítés / a tesztelés során talált hibák)
- Ütemezési csúszás = (Tényleges befejezési dátum – becsült befejezési dátum) / (Tervezett befejezési dátum – Tervezett kezdési dátum) X 100
- Sikeres tesztesetek százalékos aránya = (A teljesített tesztek száma/a végrehajtott tesztek teljes száma) X 100
- Sikertelen tesztesetek százalékos aránya = (Sikertelen tesztek száma/A végrehajtott tesztek teljes száma) X 100
- Blokkolt tesztesetek százaléka = (Blokkolt tesztek száma/A végrehajtott tesztek teljes száma) X 100
- Javított hibák százaléka = (Javított hibák/Jelentett hibák) X 100
- Elfogadott hibák százaléka = (A fejlesztőcsapat által érvényesnek elfogadott hibák /Összes jelentett hiba) X 100
- Hibák késleltetett százaléka = (A jövőbeli kiadásokra elhalasztott hibák /Összes jelentett hiba) X 100
- Kritikus hibák százaléka = (kritikus hibák / összes jelentett hiba) X 100
- Átlagos idő a fejlesztőcsapat számára a hibák kijavítására = (A hibajavításokhoz szükséges teljes idő/A hibák száma)
- Időszakonként futtatott tesztek száma = Lefutott tesztek száma/Összes idő
- Teszt tervezési hatékonyság = Tervezett tesztek száma /Összes idő
- Teszt felülvizsgálati hatékonyság = Ellenőrzött tesztek száma /Összes idő
- Hibakeresési arány, vagy hibák tesztóránként = Hibák teljes száma / Tesztórák teljes száma
