Hva er negativ testing? Testtilfeller med eksempel
Thomas Hamilton
⚡ Smart oppsummering
Negativ testing sjekker hvordan et program oppfører seg når det mottar uventede inndata eller driftsforhold, slik at produktet degraderes uten problemer i stedet for å krasje, ødelegge data eller avsløre et sikkerhetshull.
Negativ testing
Negativ testing er en type programvaretesting som brukes til å sjekke et program mot uventede inndata og -forhold. Uventede data eller forhold varierer fra feil datatype i et enkelt skjemafelt til et bevisst hackerangrep. Formålet med negativ testing er å forhindre at programmet krasjer ved ugyldig inndata og å forbedre produktets kvalitet og stabilitet.
Positiv testing alene beviser bare at systemet fungerer under normale forhold. Negativ testing bekrefter at det samme systemet også håndterer unormale forhold, noe som er det et feiltolerant produkt krever.
Eksempel på negativ testing
Et løft er eksemplet som oftest brukes for å forklare negativ testing, fordi både dets normale oppførsel og dets feiloppførsel er enkle å forestille seg.
Kravene til en heis er kjente: å trykke på et etasjenummer sender heisen til den etasjen, og døren åpnes automatisk når heisen når den angitte etasjen.
Noen negative scenarier for samme økning er listet opp nedenfor, ved siden av antagelsen som positiv testing gjør i stedet.
| Negativ testing | Positiv testing |
|---|---|
| Hva skjer hvis antall personer (vekt) overskrider den angitte grensen? | Forutsetter at bare det angitte antallet personer vil gå inn i heisen |
| Hva skjer hvis noen røyker eller forårsaker brann inne i heisen? | Forutsetter at det ikke vil være røyk eller brann inne i heisen |
| Hva skjer hvis det oppstår strømbrudd under drift? | Forutsetter at det ikke vil være strømbrudd mens heisen er i drift |
Alle disse tilfellene faller inn under negativ testing. Ingen av dem kan garanteres å aldri skje, så hver enkelt må begrenses.
Anta at overvektstilstanden aldri blir kontrollert, og heisen oppfører seg unormalt når den er overbelastet. Dette ene gapet skader systemets pålitelighet og kan til og med sette liv i fare. Dette er hva negativ testing betyr i praksis, og hvorfor det er viktig.
Programvare oppfører seg på samme måte. En negativ test avviker bevisst fra den normale driftsprosedyren. Vurder et registreringsskjema.
| Negativ testing | Positiv testing |
|---|---|
| Skriv inn en ugyldig e-postadresse i e-postfeltet | Bare gyldige e-postadresser skrives inn i et e-postfelt |
| Skriv inn et ugyldig telefonnummer, for eksempel antall tegn, i et telefonnummerfelt | Bare tall skrives inn i tallfeltet |
| Last opp et bilde med en størrelse utenfor den angitte grensen | Bare bilder innenfor den angitte størrelsesgrensen lastes opp |
| Last opp ugyldige filer som f.eks. XML or SQL filer i et felt for bildeopplasting | Kun gyldige bildeformater som .jpg eller .png lastes opp |
Hvert av disse negative tilfellene må fortsatt føre til at systemet fungerer. Hvis et tegn skrives inn i et tallfelt, kan ikke applikasjonen behandle de uventede dataene den aldri forventet, og den kan krasje. Verre er det at en SQL-injeksjon streng i samme felt kan slette innholdet i databasen. Tap av denne typen er grunnen til at negativ testing forekommer.
Hvorfor utføre negativ testing?
Testing tar tid og penger, så det er viktig å bestemme hva, hvordan og hvor mye man skal teste. Argumentene for å bruke deler av budsjettet på negativ testing ser forskjellige ut fra de to sidene av et prosjekt.
Organisasjonsperspektiv
Det er organisasjonens ansvar å levere et produkt av god kvalitet til kunden, og negativ testing er en del av denne forpliktelsen. Det er også organisasjonens bevis på at den gjorde alt som var rimelig for å forhindre en feil, selv om ingen systemer er helt feilfrie.
Konsekvens er den avgjørende faktoren. Et netthandelsnettsted kan bestå alle positive tester og fortsatt inneholde et smutthull som lar en angriper kjøre en SQL-injeksjon og slette dataene bak den. Det er et alvorlig sikkerhetsbrudd, og bare negativ testing ser etter det.
Offentlige applikasjoner, spesielt nettsteder, gir nesten ingen kontroll over hvordan besøkende bruker dem, så negativ testing er den eneste måten å bekrefte at uvanlig bruk er dekket og begrenset. Det samme gjelder ondsinnede brukere: angripere ser aktivt etter en mulighet til å bryte et system, og hackingscenarier hører helt hjemme i negativ testdekning.
Kundeperspektiv
Kunder forventer et produkt uten sårbarheter, og negativ testing er det som støtter denne forventningen. For sensitive produkter som e-handel eller aksjehandel på nett, sikkerhetstesting og negativ testing er obligatorisk snarere enn valgfri.
Klientens eneste reelle bekymring er kostnaden. Når konsekvensene av en feil er analysert, er klienten i posisjon til å bestemme hvor langt den negative testinnsatsen skal gå.
Slik utfører du negativ testing
Negativ testing starter med å vurdere alle inputene applikasjonen fysisk kan motta, ikke bare inputene den skal motta. Hver av disse hører hjemme i en Testsak selv når det åpenbart er feil måte å bruke funksjonen på. Et e-postfelt testes med alt som ikke er en gyldig e-postadresse, og en bildeopplastingskontroll testes med alle filtyper som ikke er et bilde.
Listen over mulige ugyldige input er i praksis uendelig, så negative testtilfeller må prioriteres. For et bildefelt som bare godtar .png-filer, inkluderer kandidatopplastinger .jpeg, .xml, .xls og mange andre. En XML- eller SQL-fil har en langt større potensiell innvirkning enn en .jpeg, så disse tilfellene kjøres først. Rangering av tilfeller etter innvirkning før utførelse er det som gjør negativ testing rimelig.
De fleste negative testtilfeller kommer fra et lite sett med etablerte designteknikker snarere enn fra improvisasjon:
- Grenseverdier: Utfør verdiene rett utenfor et gyldig område, for eksempel 0 og 101 for et felt som godtar 1 til 100.
- Ugyldige ekvivalensklasser: velg én representant fra hver klasse av avviste inndata, for eksempel bokstaver i et numerisk felt.
- Feil ved gjetning: bruk erfaring fra tidligere feil til å målrette inndataene som mest sannsynlig vil ødelegge denne typen funksjoner.
- Feilformede og fiendtlige data: skriptkoder, SQL-fragmenter og overdimensjonerte nyttelaster som undersøker validering og sikkerhetshåndtering.
- Fuzz-testing: generere store mengder tilfeldig eller mutert input automatisk for å finne ubehandlede krasj.
- Avbrutte strømninger: avbryte, oppdatere, få tidsavbrudd eller miste tilkoblingen midt i en transaksjon.
Uansett hvilken teknikk som produserer tilfellet, må det forventede resultatet skrives ned som en kontrollert, lesbar feil – en valideringsmelding, en avvist opplasting, en ren tilbakerulling – og aldri bare som «systemet krasjer ikke».
Fordeler og ulemper med negativ testing
Som alle andre testteknikker har negativ testing fordeler og ulemper som avhenger av hvor, når og hvor mye den brukes.
Fordeler med negativ testing
- Det beskytter produktkvaliteten direkte, fordi et produkt av god kvalitet er et uten utnyttbare sårbarheter.
- Det utvider dekningen. Ugyldig inndata når et aktivt system med vilje eller ved et uhell, så negative tilfeller må kjøre side om side med positive for at dekningen skal være meningsfull.
- Det øker kundens tillit før en utgivelse publiseres.
- Den avdekker feil som positiv testing strukturelt ikke kan nå, for eksempel uhåndterte unntak og svak inputvalidering.
Ulemper med negativ testing
- I noen situasjoner er det bortkastet tid og energi. Hvis en applikasjon er bygget for én bruker, er det ikke verdt å teste tilfellet med 100 samtidige brukere, så det er viktig å velge de riktige betingelsene, og noen systemer trenger svært lite negativ testing i det hele tatt.
- Det krever dyktige og erfarne folk til å utforme sakene.
- Fra klientens synspunkt øker det kostnadene og kan forsinke utgivelsen.
- Det konkurreres om innsats. Et team som bruker mye penger på negativ testing kan ende opp med å underinvestere i positiv testing.
