Samsvarstesting (Conformance Testing) i programvaretesting

Samsvarstesting

Samsvarstesting er en programvaretestingsteknikk som brukes for å bekrefte at programvaresystemet samsvarer med standardene og forskriftene som er definert av IEEE, W3C eller ETSI. Formålet med samsvarstesting er å bestemme hvordan et system som testes bekrefter å oppfylle de individuelle kravene til en bestemt standard. Samsvarstesting kalles også samsvarstesting.

Det kan omhandle noen tekniske aspekter, men med vilje inkluderer det:

• Ytelse
• Funksjoner
• Robusthet
• Interoperabilitet
• Systemets oppførsel

Typer samsvarstesting

Samsvarstesting kan være logisk eller fysisk, og den omfatter følgende typer testing;

• Testing av samsvar
• Load Testing
• Stresstesting
• Volumtesting

Hvorfor trenger vi samsvarstesting?

• For å sjekke om systemets krav oppfylles
• For å sjekke om systemdokumentasjonen er komplett med nødvendig
• For å sjekke utvikling, design og evaluering i henhold til spesifikasjoner

Hva trenger vi å teste?

• Standardene som implementeringen skjer gjennom
• Oppfordringen til systemet som skal utvikles
• Omfang av spesifikasjoner
• Spesifikasjonsmål

Samsvarstesting initieres av ledelsen med full sikkerhet om teamet og deres forståelse av standarder, spesifikasjoner og prosedyrer.

For å bygge en effektiv applikasjon bør standarder og spesifikasjoner nevnes tydelig for å unngå uklarheter. Hvis ikke, er samsvarstesting i seg selv nyttig for å ta de nødvendige skritt for å gjøre den relevant og pålitelig.

Når og hvordan utfører man samsvarstesting?

• Når vi trenger å kontrollere systemets generelle konsistens, fullstendighet og korrekthet med hensyn til kravspesifikasjoner på det tidspunktet utføres samsvarstesting
• Det er flere metoder for å utføre det, ikke mye forskjellig fra våre utviklingsfaser, for eksempel;
• Analysere kravspesifikasjoner
• Utarbeide testplan
• Utarbeidelse av testcases og dens formål
• Lag dokumentasjon for forberedt testdesign
• Vi må fokusere på noen tilleggsaspekter ved spesifikasjoner, for eksempel delsett, som vanligvis er av tre typer som "Profil", "Nivå" og "Moduler".
• Profil er et undersett av spesifikasjoner som inkluderer systemets funksjonalitet for å tilfredsstille krav og dedikert til en bestemt gruppe brukere
• Nivåer er nestet undersett av spesifikasjoner hvor Level1 angir grunnleggende spesifikasjoner og Level2 indikerer Nivå1 + tilleggs-/nye funksjoner
• Moduler er en samling av signifikant korrelerte standarder og spesifikasjoner

La oss ta en rask titt på en diagrammatisk representasjon av samsvars-/samsvarstestprosessen for bedre forståelse:

Ved hjelp av Use Case vil denne prosessen være lettere å forstå;

Det er nevnt ovenfor at samsvarstesting noen ganger kalles samsvarstesting, men det er fortsatt noen grunnleggende fakta som gjør samsvarstesting forskjellig fra samsvarstesting.

Vi vil vurdere sammenligningen og kontrasten mellom begge;

Samsvarstesting	Testing av samsvar
Samsvarstesting er en formell og presis måte å teste standarder på	Samsvarstesting er uformell og mindre presis måte å teste standarder på
Sertifisering av samsvar gjelder kun for operativsystemet som har offisiell sertifiseringsinstans	Et operativsystem som gir en enkelt API av POSIX (Portable Operating System Interface) sies å være kompatible
Samsvarstesting brukes til å teste systemet som gir full støtte til gitte standarder	Samsvarstesting brukes til å teste systemet som gir støtte for noen av de gitte standardene

Fordeler med samsvarstesting

1. Sikrer riktig implementering av spesifikasjoner
2. Sikrer portabilitet og interoperabilitet
3. Gir hensiktsmessig bruk av standarder
4. Gjør det mulig å sikre at grensesnitt og funksjoner fungerer som forventet
5. Hjelper med å identifisere områdene som skal samsvare med de som ikke skal tilpasses som syntaks og semantikk

Ulemper med samsvarstesting

Som andre typer testing har også samsvarstesting noen oppgaver som er ganske vanskelige å utføre og kan bli en utfordring. Noen av dem er listet opp nedenfor;

1. For å utføre testing for samsvar effektivt, må det identifisere klassen av systemet som må testes sammen med passende metodikk
2. Kategorisering av spesifikasjoner i profiler, nivåer og moduler
3. Forhåndsdefinerte verdier
4. Utforme utvidelser, alternativer og tilnærminger for å kjøre testprosessen vellykket.

Samsvarstesting: Kritiske synspunkter:

Samsvarstesting har noen områder som trenger ekstra oppmerksomhet og kunnskap for vellykket implementering;

1. Testmetoder som er best egnet
2. Valg av testverktøy som skal automatisere testprosessen
3. Klar forståelse av samsvarstesting som viser kun avvik i stedet for samsvar
4. Utforme og implementere program for samsvarstesting
5. Definere hvor formelt det skal utføres
6. Retningslinjer og regulering

Samsvarstesting for mobilt system

Akkurat som andre typer programvaretesting, kan samsvarstesting også gjøres for Mobil systemer. Når systemet er satt sammen, kontrolleres det for bruk før det distribueres gjennom samsvarstest.

Avhengig av typen nettverk som GSM eller CDMA, utføres testene for å oppnå samsvar og interoperabilitet.
Disse testene kan omfatte;

• Protokolltesting
• Sikkerhet/Sikkerhetstesting
• SIM-kort testing
• Radiofrekvenstesting (RF).
• Lydprøver
• Spesifikke absorpsjonstester

Eksempel Bruk Case Diagram

Følgende Use Case Diagram viser hvordan samsvarstesten utføres for utplasserte mobile systemer;

Videre kan dette utdypes på følgende måte for SIM-korttesting i to trinn;

1. Passordvalidering

2. Ringer

Det kan være to tilfeller for et system som f.eks

1. Ring Suksess

2. Anrop mislyktes

Tilsvarende, for protokolltesting bør du vurdere å følge brukstilfelle;

Følgende Testcase-mal vil hjelpe deg å forstå hvordan vi kan skrive testsaker for Protokolltesting

Test-ID	Testscenario	Teststrinn	Testdata	forventet resultat	Egentlige resultatet	status	Merknader
PT001	Protokollen har ingen vranglås	Start med kommunikasjonsprosessen	_	Bør etablere kommunikasjon vellykket	Kommunikasjon etablert vellykket	Pass	_
PT002	"Ping"Kommandoen fungerer riktig for tidsavbrudd"	Enter Ping kommando som 'Ping -w' i ledeteksten	Ping 1000	Skal vise meldingen «Transmit Vellykket."	Meldingen viser «Transmit Vellykket."	Pass	_
PT003	Tell nei. av 'ekko'-forespørsler	Enter Ping kommando som 'Ping -n' i ledeteksten	Ping 4	Bør starte pinging 0.0.0.4 med 32 byte data og skal vise meldingen "Transmit Vellykket."	Starter pinging 0.0.0.4 med 32 byte data, men viser meldingen "Transmit Mislyktes.	Fail	Semantisk/funksjonell feil
PT004	Enhver stat kan nås fra hvilken som helst stat	Gå ut av en tilstand og gå tilbake til forrige eller neste	_	Bør endre tilstanden	Endret tilstanden vellykket	Pass	_

Disse vilkårene viser at samsvarstesting også er nyttig for å teste implementeringen av tekniske standarder.

For å bringe ensartethet inn i testprosessen, blir testtilfellene definert. Avhengig av typen nettverk, kan hundrevis av testtilfeller defineres og utføres for å sikre at mobilsystemet fungerer i henhold til kravspesifikasjonen.

Sammendrag

• Samsvarstesting kalles også typetesting, som er en formell måte å teste på
• Den brukes til å avgjøre om systemet følger kravspesifikasjonen
• Det inkluderer stresstesting, belastningstesting, volumtesting og samsvarstesting
• Det regnes også som samsvarstesting, men det er grunnleggende forskjeller mellom begge
• Program for samsvarstesting, testmetoder og testverktøy er noen av de mest kritiske områdene for samsvarstesting
• Trygghet for standardutnyttelse og interoperabilitet oppnås gjennom samsvarstesting i programvareteknikk.
• Samsvarstesting utføres også for mobile systemer.