Ohjelmistojen testausmittarit: mikä on, tyypit ja esimerkki
Toimituksellinen tiimi
⚡ Älykäs yhteenveto
Ohjelmistotestauksen mittarit ovat kvantitatiivisia mittareita testausprosessin edistymiselle, laadulle ja tuottavuudelle. Tämä opas käsittelee kolmea mittarityyppiä, perus- ja laskennallisen eron, mittarien elinkaaren ja kaavasanaston, jota voit soveltaa suoraan.
Mitä ovat ohjelmistotestauksen metriikat?
Ohjelmistojen testausmittarit ovat kvantitatiivisia mittareita, joita käytetään arvioimaan ohjelmistotestausprosessin edistymistä, laatua, tuottavuutta ja kuntoa. Ohjelmistojen testausmittareiden tavoitteena on parantaa ohjelmistotestausprosessin tehokkuutta ja vaikuttavuutta sekä auttaa tekemään parempia päätöksiä jatkotestausprosessia varten tarjoamalla luotettavaa tietoa testausprosessista.
Mittari ilmaisee määrällisesti, missä määrin järjestelmällä, komponentilla tai prosessilla on tietty ominaisuus. Yksinkertainen analogia on auton todellinen viikoittainen polttoaineenkulutus verrattuna valmistajan ilmoittamaan lukuun.
Ohjelmistojen testausmittarit – Parantaa ohjelmistojen testausprosessin tehokkuutta.
Ohjelmistojen testausmetriikka tai ohjelmistotestimittaus on kvantitatiivinen osoitus prosessin tai tuotteen jonkin ominaisuuden laajuudesta, kapasiteetista, ulottuvuudesta, määrästä tai koosta.
Esimerkki ohjelmistotestimittauksesta: Vikojen kokonaismäärä
Miksi testimetriikat ovat tärkeitä?
"Emme voi parantaa sitä, mitä emme voi mitata." Testausmittarit ovat olemassa testausprosessin mitattavaksi tekemiseksi.
- Päätä, mikä on seuraavan toiminnan vaihe
- Esitä todisteita väitteelle tai ennusteelle laadusta
- Tunnista, minkä tyyppistä parannusta tarvitaan
- Perustele prosessin tai teknologian muutos
Lue lisää siitä Testimetrien merkitys
Testimetriikan tyypit
- Prosessimittarit: Sitä voidaan käyttää parantamaan SDLC:n prosessitehokkuutta (Ohjelmistokehityksen elinkaari)
- Tuotetiedot: Se käsittelee ohjelmistotuotteen laatua
-
Projektimittarit: Sitä voidaan käyttää projektiryhmän tai minkä tahansa tehokkuuden mittaamiseen testaustyökalut joukkueen jäsenten käytössä
Oikeiden mittareiden valitseminen on tärkeämpää kuin useiden mittareiden kerääminen. Ota huomioon seuraavat asiat ennen joukon valitsemista:
- Korjaa mittarin valmistelun kohdeyleisö
- Määrittele mittareiden tavoite
- Esittele kaikki asiaankuuluvat mittarit projektin tarpeiden perusteella
- Punnitse kunkin mittarin kustannukset ja hyödyt sekä projektin elinkaaren vaihe, jossa se tuottaa eniten arvoa.
Manuaaliset testimetrit
In Ohjelmistotuotanto, Manuaaliset testimittarit luokitellaan kahteen luokkaan
- Perusmittarit
- Lasketut mittarit
Perusmittarit ovat Test Analystin keräämiä raakatietoja testitapauksen kehittämisen ja suorituksen aikana (# testitapauksia suoritettu, # testitapauksia). Lasketut mittarit johdetaan perusmittareihin kerätyistä tiedoista. Testauspäällikkö seuraa yleensä laskettuja mittareita testiraportointia varten (% valmis, % testin kattavuus).
Projektista tai liiketoimintamallista riippuen tärkeimmät mittarit ovat yleensä:
- Testitapauksen suorittamisen tuottavuusmittarit
- Testitapauksen valmistelun tuottavuusmittarit
- Vikamittarit
- Viat prioriteetin mukaan
- Vikoja vakavuuden mukaan
- Viallinen liukusuhde
Manuaalisen vs. automaattisen testauksen mittarit
Yllä kuvatut mittarit olettavat manuaalisesti suoritetun prosessin. Automatisoitua prosessia mitataan eri tavalla, koska suoritustyö ei ole enää rajoitteena.
| Kriteeri | Manuaalisen testauksen mittarit | Automaatiotestauksen mittarit |
|---|---|---|
| Ensisijainen painopiste | Työmäärän ja toteutuksen edistyminen | Kattavuus, vakaus ja suoritusaika |
| Tyypillinen mitta | Päivässä suoritetut testitapaukset | Automaation kattavuusprosentti |
| Laadukas signaali | Testituntia kohden löydetyt viat | Epävakaiden testien osuus, epävakaiden testien osuus |
| Kustannusmitta | Testaajan tunnit | Skriptien ylläpitotunnit julkaisua kohden |
| Nopeuden mittaus | Syklin kesto päivinä | Suiten suoritusaika minuutteina |
Automation Coverage = (Test cases automated / Total test cases) x 100 Flaky Test Rate = (Tests with inconsistent results / Total automated tests) x 100
Epävakaa testiprosentti ansaitsee erityistä huomiota. Kun se ylittää noin 5 prosenttia, tiimit alkavat jättää huomiotta punaiset koontiversiot, ja siinä vaiheessa ohjelmisto lakkaa tarjoamasta tietoa riippumatta siitä, kuinka laaja sen kattavuus on.
Testimetriikan elinkaari ohjelmistosuunnittelussa
| Metricsin elinkaaren eri vaiheet | Vaiheet jokaisen vaiheen aikana |
|---|---|
| analyysi |
|
| tiedottaa |
|
| Arviointi |
|
| raportti |
|
Testimetriikan laskeminen
| Sr# | Mittareiden testausvaiheet | esimerkki |
|---|---|---|
| 1 | Tunnista avain ohjelmistojen testaus mitattavat prosessit | Testauksen edistyminen trackuningas prosessi |
| 2 | Tässä vaiheessa testaaja käyttää tietoja perusviivana mittareiden määrittämiseen | Suunniteltujen suoritettavien testitapausten määrä päivässä |
| 3 | Seurattavien tietojen määrittäminen, niiden tiheys trackuningas ja vastuullinen henkilö | Testipäällikkö tallentaa todellisen testin suorituksen päivässä päivän päätteeksi |
| 4 | Määritettyjen mittareiden tehokas laskenta, hallinta ja tulkinta | Todelliset testitapaukset päivässä |
| 5 | Tunnista parannettavat alueet määritettyjen mittareiden tulkinnan mukaan | If testitapaus toteutus jää sovitun tavoitteen alapuolelle, tutkitaan syy ja ehdotetaan korjaavia toimenpiteitä |
Esimerkki testimetriikan laskennasta
Käytä esimerkkinä suoritettujen testitapausten prosenttiosuutta. Suoritustilan ilmaisemiseksi prosentteina käytä kaavaa:
Percentage test cases executed= (No of test cases executed/ Total no of test cases written) X 100
Jos kirjoitettiin 250 testitapausta ja suoritettiin 175, tulos on (175 / 250) x 100 = 70 prosenttia.
Sama kaava pätee kaikkiin muihin suoritusparametreihin: testitapaukset, joita ei suoritettu, läpäisty, epäonnistunut ja estetty. Jokainen on yksinkertaisesti eri osoittaja saman nimittäjän päällä.
Tärkeimmät testimittarit Track
Tämän opetusohjelman lopussa olevassa sanastossa luetellaan kaikki yleisesti käytetyt kaavat. Käytännössä raportointipaketti tarvitsee harvoin yli kahdeksan kaavaa. Nämä ovat niitä, jotka johdonmukaisesti ohjaavat päätöksentekoa.
| metrinen | Mitä se vastaa | Varo |
|---|---|---|
| Testitapauksen suoritusprosentti | Kuinka pitkällä suunnitellulla juoksulla olemme? | Ei kerro mitään laadusta, ainoastaan edistyksestä |
| Vika tiheys | Vikoja kokoyksikköä kohden, joten mikä moduuli on heikoin? | Riippuu johdonmukaisesta kokomitasta |
| Vianpoiston tehokkuus | Kuinka suuren osan vioista havaitsimme ennen julkaisua? | Voidaan viimeistellä vasta tuotantotietojen saapumisen jälkeen |
| Vika vuoto | Kuinka monta vikaa päätyi asiakkaalle? | Tärkein yksittäinen laatusignaali |
| Testin kattavuus | Kuinka paljon asetetusta vaatimuksesta noudatetaan? | Korkea kattavuus ja heikot väitteet todistavat mitään |
| Vian vakavuusindeksi | Ovatko avoimet viat vakavia vai kosmeettisia? | Vikojen laskeminen ilman painotusta johtaa harhaan |
| Keskimääräinen korjausaika | Kuinka nopeasti tiimi korjaa tilanteen? | Muutamat pitkään jatkuneet viat vääristävät |
| Testien suorituksen tuottavuus | Kuinka monta tapausta testaaja suorittaa päivässä? | Kannustaa mattapintaisiin testeihin, jos sitä käytetään kohteena |
Kaksi kaavaa, jotka kannattaa lisätä sanastoon, koska johto pyytää niitä:
Defect Removal Efficiency = (Defects found before release / Total defects found) x 100
Defect Leakage = (Defects found in production / Defects found before release) x 100
Mittausloukku. Mikään tavoitemittari ei enää ole hyvä mittari. Aseta tuottavuustavoitteeksi 30 testitapausta päivässä, niin testaajat kirjoittavat 30 triviaalia testitapausta. Raportoi mittarit joukkona, älä koskaan erillään muista, ja yhdistä jokainen tuottavuusluku laatumittariin.
Ohjelmistotestauksen metriikkakaavojen sanasto
- Rework Effort Ratio = (Tässä vaiheessa käytetyt todelliset uudelleentyöstötyöt / kyseisessä vaiheessa käytetyt todelliset työmäärät) X 100
- Vaatimus Creep = (Lisättyjen vaatimusten kokonaismäärä/alkuvaatimusten lukumäärä)X100
- Aikataulun varianssi = (Todellinen toimituspäivä – suunniteltu toimituspäivä)
- Vian löytämisen kustannukset testauksessa = (Testaukseen käytetty kokonaistyö/testauksessa löydetyt viat)
- Aikataulun lipsahdus = (Todellinen lopetuspäivä – arvioitu lopetuspäivä) / (Suunniteltu lopetuspäivä – suunniteltu alkamispäivä) X 100
- Läpäistyjen testitapausten prosenttiosuus = (Läpitettyjen testien määrä / suoritettujen testien kokonaismäärä) X 100
- Epäonnistuneiden testitapausten prosenttiosuus = (Epäonnistuneiden testien määrä / suoritettujen testien kokonaismäärä) X 100
- Estettyjen testitapausten prosenttiosuus = (Estettyjen testien määrä / suoritettujen testien kokonaismäärä) X 100
- Korjattujen vikojen prosenttiosuus = (Korjatut viat / Ilmoitetut viat) X 100
- Hyväksyttyjen vikojen prosenttiosuus = (Kehittäjätiimin hyväksymät viat / raportoidut viat yhteensä) X 100
- Vikojen viivästetty prosenttiosuus = (Viat lykätty tulevia julkaisuja varten / Raportoitujen vikojen kokonaismäärä) X 100
- Kriittisten vikojen prosenttiosuus = (kriittiset viat / raportoidut viat yhteensä) X 100
- Kehitystiimin keskimääräinen aika korjata vikoja = (Virheenkorjauksiin käytetty kokonaisaika / virheiden määrä)
- Ajettujen testien määrä ajanjaksoa kohti = Testien lukumäärä/kokonaisaika
- Testaa suunnittelun tehokkuutta = Suunniteltujen testien lukumäärä /Kokonaisaika
- Testaa tarkastelun tehokkuutta = Tarkistettujen testien määrä /Kokonaisaika
- Virheiden löytämisprosentti, tai vikoja testituntia kohden = Vikojen kokonaismäärä / Testituntien kokonaismäärä
