Veiledning for spilltesting: Slik tester du mobil-/skrivebordsapper

Hva er spilltesting?

Spilltesting er en programvaretestingsprosess for testing av videospill for kvalitetskontroll. Hovedmålet med spilltesting er å identifisere og oppdage feil og feil i et videospill og å forbedre stabiliteten og ytelsen. Spilltesting er en del av spillutvikling som bidrar til å sikre at videospillet som distribueres er feilfritt.

Før de enkelte teknikkene gir mening, er det nyttig å se hvor testing befinner seg i den bredere utviklingssyklusen.

Spillutvikling livssyklus

Før produksjon: I denne fasen produseres spillideen, storyboardet, funksjonene, kravanalysen og dokumentasjonen. Denne fasen inkluderer det tekniske designdokumentet og funksjonsspesifikasjonene, spillarkitekturen, rammeoverlegget og animasjonen. Følgende elementer vurderes:

• Musikk, kamera (zoom inn og ut, avspilling, filmatisk visning), spiller- og handlingsattributter
• Spillets flytlogikk, regler og betingelser for å nå neste nivå
• Objekt- og hendelsesutløsere, poengsummer, spillerbevegelse og -posisjonering, spillerstatistikk
• Ikke-interaktive sekvenser, spesialeffekter, tittelskjermer, handlinger med flere knapper
• Gamepad, filmklipp, støt-/vibrasjonseffekter, juridiske tekster, bruk av knappefunksjoner, bruk av analog og digital modus

De tre stadiene og aktivitetene i hver av dem vises nedenfor.

Produksjon: I denne fasen gjøres selve kodingen. Denne fasen inkluderer koding og integrering av de ulike modulene.

Testing og distribusjon: I løpet av denne fasen utføres funksjonstester, regresjonstesting og milepælene Alfa, Beta og Gull. Testing av dekning og flyt, dataintegritet, algoritmespesifikk testing, stitesting og inkrementell testing gjøres også ved hjelp av verktøy for testing av mobile spill.

Hvordan spilltesting er forskjellig fra annen programvaretesting

Testing av spill er en repeterende prosess – alle nye versjoner kan ha feil og må testes grundig.

All spilltesting følger en grunnleggende struktur uavhengig av spillets størrelse og tiden det tar å produsere det.

Kvalitetssikringsmedarbeideren må studere spillets regler og krav, og forstå den overordnede spillkomponentarkitekturen, filarkitekturen, flyten, filstrukturene og avhengighetene knyttet til spillet. Med hver ny prototype av spillet må testdokumentene gjennomgås på nytt for å gjenspeile eventuelle endringer i spesifikasjonene, nye testtilfeller for spilltesting og ny konfigurasjonsstøtte. En videospilltester bør også sørge for at ingen nye problemer ble introdusert.

Jobber med spilltesting innebærer:

• Klassifiser kravene basert på tiltenkt formål og målgruppe.
• Identifiser bruker- og systemkravene og klassifiser dem i funksjonelle, ikke-funksjonelle og domenekrav.
• Identifiser testbare elementer, ikke-testbare elementer, mål og tiltak for funksjonelle og ikke-funksjonelle krav.
• Sjekk om de funksjonelle kravene er fullstendige, konsistente og forståelige.
• Identifiser tilpassbare krav og motstridende krav.
• Identifiser gjensidig avhengige krav, som er en av kjernejobbene innen spilltesting.
• Prioriter kravene basert på unikhet, kompleksitet og kritiskhet.
• Identifiser spillets tema, karakterer, animasjon, AI, filmopptak, kameraperspektiv og spilling.

Hvis du har lyst til å bli en videospilltester, er det en gratis veiledning som er verdt å sjekke ut: Hvordan bli en videospilltester.

Typer spilltesting

Nedenfor finner du de populære teknikkene for spilltesting. Hver av dem retter seg mot en annen klasse av defekter, og en utgivelsesklar tittel går vanligvis gjennom alle i stedet for å velge mellom dem.

1) Funksjonstesting

Funksjonalitets-QA-testere ser etter generiske problemer i spillet eller brukergrensesnittet og grafikken, som for eksempel problemer med spillmekanikken, stabilitetsproblemer og integriteten til spillressursene. Testing av brukergrensesnitt sikrer spillets brukervennlighet. Dette er samme disiplin som funksjonstesting i enhver annen applikasjon, anvendt på spillregler i stedet for forretningsregler.

Eksempel: Kontroll av farger og bakgrunner, menystruktur, skjermretning og skjermoppløsning, skriftstørrelse, justeringsfeil, brukervennlighet, systemnavigasjon som lastetid, timeout og visning, sortering, bekreftelsesmeldinger, sekvenser, animasjon og lydelementer i spillet, instruksjoner og dialogmeldinger. Det dekker også brukerinteraksjoner, brukergrensesnitt, transaksjonstesting, kalibrering og nøyaktighetstesting av mobiltelefonkameraer, skjermoppløsninger, testing av responsivt mobildesign og testing av lydkvalitet.

2) Kompatibilitetstesting

Sjekker om spillet er kompatibelt på tvers av forskjellige enheter og på forskjellige konfigurasjoner av maskinvare og programvare. Bred enhetsdekning er viktigere for spill enn for de fleste applikasjoner, fordi GPU-drivere og skjermstørrelsesforhold endrer hvordan spillet gjengis. Se kompatibilitetstesting for den generelle teknikken.

Eksempel: Installer og avinstaller spillet på alle støttede konsoller, stasjonære datamaskiner og mobiler.

3) Ytelsestesting

Spillets generelle ytelse kontrolleres. Ytelsesjustering utføres for å optimalisere spillhastigheten. Den bredere øvelsen dekkes i ytelsestesting, og den mobilspesifikke vinkelen i ytelsestesting av mobilapper.

Viktige parametere kontrollert under ytelsestesting:

• Svartid på klient og servere, fullføringstider for transaksjoner, ytelse ved toppbelastning, levetid, nettverksdekning, minnelekkasje, lite minne, lavt batterinivå, tid det tar å laste ned applikasjonen, samtidig (flere brukere) tilgang til applikasjonsserveren, hastighet, gjennomstrømning, pålitelighet og skalerbarhet.
• Batteriforbruk og grafikkytelse: Mål batteriforbruket til mobilspillet. Batteriforbruket må være optimalt over lange timer, og spillresponsene bør være tilfredsstillende under varierende tung belastning på tvers av forskjellige enheter.
• Prosessor- og minnebegrensninger: Ytelsestellere brukes til å måle CPU- og minneforbruket til applikasjonen.
• Nettverkstilkobling: Måler responstiden til mobilspillet på forskjellige nettverkstyper (Wi-Fi, 3G, 4G, 5G). Den gir en samlet innsikt i hvor godt spillet vil prestere på upålitelige nettverk, og sjekker også tilkoblingen mellom mobile enheter, datasentre og skyen. Topptider, hakkete forbindelser, duplisering av data, pakketap og fragmentering av data overvåkes.
• Testing av mobilspillytelse, spesielt for MMO-titler.

4) Samsvarstesting / samsvarstesting

Dette dekker samsvar med markedsretningslinjer (for eksempel Apple App Store-policyer) og samsvar med bedriftspolicyer (for eksempel forbudt innhold). Samsvar kan også referere til reguleringsorganer som PEGI og ESRB. Spillet er rettet mot en bestemt innholdsvurdering, og hvis det finnes støtende innhold som er upassende for den ønskede vurderingen, blir det identifisert og rapportert. Selv et enkelt brudd i en innsending for lisensgodkjenning kan føre til at spillet blir avvist, noe som medfører ekstra kostnader for videre testing og ny innsending.

Eksempel: Hvis spillet skal utgis i europeiske land, test for PAL-konvertering; hvis spillet er produsert for Nord-Amerika, test for NTSC-konverteringer.

5) Lokaliseringstesting

Lokaliseringstesting blir viktig når et spill er rettet mot globale markeder. Spilltitler, innhold og tekster må oversettes og testes med enheter på flere språk. Disse testene kan utføres raskt ved hjelp av skybasert enhetstilgang og testautomatisering.

Eksempel: Lokaliseringsbehov spesifikke for MENA-regionen (Midtøsten/Nord-Afrika), arabisk lokalisering (støtte for tekst fra høyre mot venstre, toveis visning), pseudolokaliseringstesting, dobbeltbytetegn for østasiatiske språk, lokal tid og dato, valuta, adresseformater og andre lokale krav.

6) Bløtleggingstesting

Denne teknikken for testing av spillautomatisering innebærer å la spillet kjøre over lengre tid i forskjellige driftsmoduser – for eksempel inaktivt, på pause eller ved tittelskjermen. Soaking kan identifisere minnelekkasjer eller avrundingsfeil.

Eksempel: Spillet har startet, og figuren må stå inaktiv i 24 timer. Denne teknikken brukes til å oppdage krasj forårsaket av minnelekkasjer og andre feil i spillmotoren.

7) Gjenopprettingstesting

I programvare, gjenopprettingstesting sjekker hvor godt applikasjonen gjenoppretter seg etter krasj, maskinvarefeil og andre lignende feil. Applikasjonen tvinges til å feile, og det observeres deretter hvordan den gjenoppretter seg etter feilforholdene og miljøet.

Eksempel: Mens et spillprogram kjører, start spillkonsollen plutselig på nytt og valider dataintegriteten.

8) Sikkerhetstesting

Sikkerhetstesting utføres for å sjekke hvor trygt programvaren fungerer når den utsettes for eksterne trusler. Det dekker databeskyttelse mot eksterne trusler, ukontrollerte systemtilgangsbegrensninger, datainnbrudd, feil i operativsystemer, feil i kommunikasjonssystem og svake krypteringsalgoritmer.

Eksempel: Endring av en URL fra /login til /play på en spillside skal ikke tillate direkte tilgang til spillene.

9) Testing av andre spill

Testing av ekte eller virtuelle karakterer. I flerspillervideospill er tilkobling til serveren og synkronisering av spillstatus to kritiske områder som skal testes.

Eksempel: Flerspiller 3D-racingspill.

Testing av nye funksjoner som oppdateringer av spillstatus, venneinvitasjoner og deling av premiumgaver. Dette sikrer en rik spillopplevelse for brukeren.

Eksempel: Facebook, blogger.

Lydtesting

Testing av om det er en feil under lasting av filene, lytting av lydfiler for feil eller forvrengninger, og bruk av en CC-profiler for å analysere fargekommentarene.

Database og spillstatistikk

Databaseverifisering ved hjelp av feilsøking for å undersøke om spillet bruker dataene riktig. Sørg for at dataene lastes inn på riktig sted og viser riktig informasjon.

Hvitbokstesting

Hvitbokstesting for spill fokuserer på de arkitektoniske, integrasjons- og systemaspektene ved mobilspill.

1. Code inspeksjon: Kildekoden gjennomgås, og programlogikk, vanlige programmeringsfeil og samsvar med kodestandarder analyseres.
2. Fokustesting: Kodebiter mates til de isolerte modulene, og utdataene analyseres.
3. Dataanalyse: Databruk, tolkning og manipulering analyseres og valideres for de ulike modulene.
4. Bane- og flyttesting: Riktig rekkefølge av objekter utføres.
5. Algoritmespesifikk testing: Teste et bestemt spillscenario eller en bestemt funksjon ved å angi datavariabler og dataverdier i koden og kjøre den i kjøretidsmiljøet.
6. Kunstig intelligens Analyse: Løpestatistikken for de programmerbare bevegelsene og spillene til AI-komponenten genereres. Resultatet valideres for å sjekke om alle de programmerbare bevegelsene brukes. Eksempel: et sidegrep på snøbrettet, og spill som et kombinasjonsslag eller spark i flerdireksjonell bevegelse.

Assisterende spill ved hjelp av adaptiv teknologi

Assisterende spilling er også kjent som tilgjengelighetsspilling. Funksjoner er utformet ved hjelp av adaptiv teknologi for personer med ulike funksjonshemminger som svaksyn, tåkesyn, blindhet, manglende evne til å skille farger og tale-, hørsels-, kognitive, motoriske og mobilitetshemminger. Verifiseringsmetoden følger de samme prinsippene som tilgjengelighetstesting i vanlig programvare.

Cardinal Direction (CD) og Tower of London (TOL) er to populære spill som er modifisert for synshemmede brukere. I disse spillene erstattes visuelle stimuli med lydinnganger.

En videospilltester bør merke seg følgende når han tester et slikt spill:

1. Fargene skal blinke i et mønster, og toner skal spille for hver farge.
2. Hver farge skal ledsages av en hørbar tone.
3. Visuelle data må beskrives med ord, slik at synshemmede spillere ikke har problemer med å motta dem via skjermlesere.
4. Spilleren skal høre lyder i spillet i tre dimensjoner og må kunne navigere i verden ved hjelp av berøringsskjermen, 3D-lyd og romlig lyd.

Spillmålinger som en tester bør kjenne til

Testresultater alene forteller ikke et studio om en utgivelse var vellykket. Følgende målinger er tallene en tester forventes å lese sammen med feilrapporten.

DAU/MAU (daglig aktive brukere / månedlig aktive brukere): Forholdet mellom aktive brukere som spiller hver dag og antall månedlige aktive brukere. Dette kalles også ofte «stickiness factor».

Økt: Hver gang en bruker åpner appen teller det som en økt. Her er fokuset på gjennomsnittlig antall økter per DAU.

Last ned rangering: Rangeringen til et spill i en bestemt appbutikk (iOS, Android Spill) etter månedlige spillnedlastinger.

Bevaring: En svært viktig målestokk for en Android spilltester på et gratisspill. For å beregne retensjon, del brukerne inn i kohorter basert på dagen appen ble lastet ned.

Ytelsesberegninger: Disse track ytelsen til online- eller vedvarende spill – bildefrekvensen et spill kjøres med på en klientplattform, eller i tilfelle en spillserver, stabiliteten. Ytelsesmålinger kan brukes til å overvåke endrede funksjoner og oppdateringer.

Nøkkelrisikoer i spilltesting

Risikoene nedenfor gjør oftest et teknisk fungerende bygg til et kommersielt skuffende et.

1. Spillet skaper ikke en fengende opplevelse for målgruppen.
2. Spillet har ikke et spillersentrisk design.
3. Morofaktoren og det avhengighetsskapende spillet mangler.
4. Spillet er ikke unikt, konkurransepreget eller fartsfylt.
5. Spillet mislykkes på grunn av tekniske problemer, ødelagte funksjoner, kritiske feil, dårlig musikk og lyd, eller dårlig video.
6. Kostnadene for spillutvikling overstiger budsjettet.
7. Det estetiske designet og spillingen er ikke holdt enkelt.

Spørsmål og svar