Hvordan velge det beste automatiseringstestverktøyet?
I artikkelen Testprosessforbedring, lærte du forbedringspunktene fra prosjektet Guru99 Bank. Den bruker automatisert Testing istedenfor Manuell testing. Men teammedlemmer kan spørre deg -
Svaret på dette spørsmålet er utfordrende fordi det er mange faktorer å vurdere
- Du ønsker å støtte testaktivitetene dine ved hjelp av et programvareverktøy, men du kjenner ikke til verktøy som er tilgjengelige på markedet
- Hvilken type verktøy passer best til kravet og prosjektbudsjettet?
- Hvem på laget har ferdighetene til å bruke verktøyet når du har kjøpt det
Viktigheten av å velge programvaretestverktøy
Suksess i enhver testautomatisering avhenger av å identifisere det riktige verktøyet for automatisering. Å velge "riktig" testverktøy for prosjektet ditt er en av de beste måtene å nå prosjektmålet. Følgende eksempel viser deg fordelen med valget av testverktøy
I prosjektet Guru99 Bank, for å spare innsatsen med testing, bestemte prosjektteamet seg for å bruke et automatisert testverktøy for testutførelsen. Etter mange møter valgte teamet ditt et passende verktøy for prosjektet.
En måned senere fikk du rapporten fra prosjektteamet om dette verktøyet
Resultatene er flotte. Det nye automatiserte verktøyet doblet testproduktiviteten. Det betyr at vi har reddet 50% kostnadene ved testgjennomføring. Hvis du er interessert i å utforske flere alternativer for prosjektene dine, sjekk ut denne listen over automatiserte testverktøy.
Dette er et eksempel på fordelen med å bruke testverktøyet i prosjektet. Å velge riktig testverktøy hjelper deg med å forbedre prosjektproduktiviteten og spare prosjektkostnader.
Type testverktøy
Det er mange typer testverktøy som Test Manager kan vurdere når du velger testverktøyene.
Åpen kildekode-verktøy
Åpen kildekode-verktøy er programmet der kildekoden er åpenlyst publisert for bruk og/eller modifikasjon fra dets opprinnelige design, gratis.
Åpen kildekode-verktøy er tilgjengelig for nesten alle faser av testprosessen, fra Testsak ledelsen til Defekt sporing. Sammenlignet med kommersielle verktøy Åpen kildekode-verktøy kan ha færre funksjoner.
Kommersielle verktøy
Kommersielle verktøy er programvaren som produseres for salg eller for å tjene kommersielle formål.
Kommersielle verktøy har mer støtte og flere funksjoner fra en leverandør enn åpen kildekode-verktøy.
Egendefinerte verktøy
I noen testprosjekter har testmiljøet og testprosessen spesielle egenskaper. Ingen åpen kildekode eller kommersielt verktøy kan oppfylle kravet. Derfor må testlederen vurdere utviklingen av det tilpassede verktøyet.
Eksempel: Du vil finne et testverktøy for prosjektet Guru99 Bank. Du vil at dette verktøyet skal oppfylle noen spesifikke krav til prosjektet.
Mulighetsanalyse for automatisering
Tilbake til eksemplet ovenfor bestemte prosjektteamet seg for å utvikle et tilpasset verktøy som kan møte prosjektkravene. Anta at de har fått 100 testtilfeller å automatisere, og de anslår 5 dager på å utvikle et verktøy som kan automatisere alle av disse testsakene.
Her er resultatet av arbeidet deres
Som i scenariet ovenfor, er problemet at testverktøyet ikke kan automatisere alle testtilfellene i testspesifikasjonen. Det betyr det ikke alle applikasjonsfunksjoner kan være grundig testet med testverktøyet.
Hvis funksjonaliteten til programmet under testing endres ofte eller er også komplisert, er det vanskelig å lage testautomatisering for alle applikasjonsfunksjonene, fordi hvert verktøy har sitt eget begrensninger.
Hvis du ikke ønsker å være i en slik situasjon, før du velger testverktøyet, må du analysere testtilfellene og bestemme hvilke testtilfeller som skal automatiseres og hvilke testtilfeller som ikke skal. Dette er Mulighetsanalyse for automatisering aktivitet.
Automatiseringsgjennomførbarhetsanalyse er den svært betydelige bidragsyteren til testing. I denne analysen må du sjekke om applikasjonen som testes er kvalifisert for automatisert test.
Noen faktorer du må vurdere:
For å vite mer om disse faktorene kan du bruke en sjekkliste som er inkludert i denne artikkelen
Hvordan velge det beste automatiseringstestverktøyet
For å velge det mest passende testverktøyet for prosjektet, bør testlederen følge verktøyvalgsprosessen nedenfor
Trinn 1) Identifiser kravet til verktøy
Hvordan kan du velge et testverktøy hvis du ikke vet hva du leter etter?
Du kan nøyaktig identifisere kravene til testverktøyet. Alle krav må være dokumentert og anmeldt av prosjektgrupper og styret.
Tenk på følgende eksempel:
B) Verktøyet kan generere testresultatet i ønsket format
C) Testeren kan velge hvilke testtilfeller som skal utføres med gitte sett med testdata
D) Verktøyet kan utføre testsaken automatisk
E) Verktøyet kan bedømme og utføre testutdatavalidering og markere testtilfeller som bestått eller ikke bestått
F) Alle over elementene
Trinn 2) Evaluer verktøyene og leverandørene
Etter å ha stilt kravet til verktøyet, bør testlederen
- Analyser de kommersielle og åpen kildekodeverktøyene som er tilgjengelige i markedet, basert på prosjektkravet.
- Lag en verktøykortliste som best oppfyller dine kriterier
- En faktor du bør vurdere er leverandører. Du bør vurdere leverandørens omdømme, ettersalgsstøtte, verktøyoppdateringsfrekvens osv. mens du tar avgjørelsen din.
- Evaluer kvaliteten på verktøyet ved å ta prøvebruk og lansering av en pilot. Mange leverandører gjør ofte prøveversjoner av programvaren sin tilgjengelig for nedlasting
Trinn 3) Estimer kostnad og nytte
For å sikre at testverktøyet er nyttig for virksomheten, må testlederen gjøre det balansere følgende faktorer:
A cost-benefit analyse bør utføres før du anskaffer eller bygger et verktøy
Eksempel: Etter å ha brukt mye tid på å undersøke testverktøy, fant prosjektteamet det perfekte testverktøyet for prosjektet Guru99 Bank-nettstedet. Evalueringsresultatene konkluderte med at dette verktøyet kunne
- Double den nåværende produktiviteten ved testutførelse
- Reduser ledelsesinnsatsen med 30 %
Etter å ha diskutert med programvareleverandøren fant du imidlertid ut at koste av dette verktøyet er for høyt sammenlignet med verdi og nytte som det kan bringe til teamarbeidet.
I et slikt tilfelle balansere mellom kostnad og nytte av verktøyet kan påvirke den endelige avgjørelsen.
Trinn 4) Ta den endelige avgjørelsen
For å ta den endelige avgjørelsen må testlederen ha:
- Ha en sterk bevissthet av verktøyet. Det betyr at du må forstå hvilken som er sterk poeng og svak punktene på verktøyet
- Balansere kostnad og nytte.
Selv med timer brukt på å lese programvarehåndboken og leverandørinformasjon, kan det hende du fortsatt må prøve verktøyet i ditt faktiske arbeidsmiljø før du kjøper lisensen.
Du bør ha møtet med prosjektteamet, konsulenter for å få dypere kunnskap om verktøyet.
Beslutningen din kan ha en negativ innvirkning på prosjektet, testprosessen og forretningsmålene; du bør bruke god tid på å tenke godt over det.
Ting du bør vurdere når du velger et teststyringsverktøy
Med det brede utvalget av tilgjengelige valg er det lett å bli forvirret mens du kjøper et testadministrasjonsverktøy. Dette er en objektiv guide for å hjelpe deg å få frem det beste verktøyet i henhold til dine behov.
I denne veiledningen vil jeg gi deg de 5 viktigste, men ofte ignorerte parameterne mens du velger ditt teststyringsverktøy. Men før jeg begynner, la meg gjenta-
Ikke sammenlign eple og appelsiner
Det gir ikke mening å sammenligne et SaaS-verktøy på $30 per måned med et kommersielt verktøy på $6000 når budsjettet ditt ikke tillater det. Det er viktig at du filtrerer verktøyet med en liste basert på BUDSJETT først. Hvis du har et budsjett, åpen kildekode er et godt alternativ. Selv om kommersielle verktøy er dyre, tilbyr de god støtte og er enkle å bruke med mye opplæringsmateriell.
Det neste du bør beregne er kostnadene for lisensen din. For det må du estimere varigheten for testfullføring og hvilken metode du velger for testing, dette vil hjelpe deg å finne ut hvilken modell som passer inn i budsjettet ditt, for eksempel om du vil betale som per registrert bruker, samtidig bruker eller vedvarende bruker. Vanligvis er vedvarende eller engangskostnader høyere på grunn av kapitalutgiftene. For viss programvare trenger du kjøretidslisens. Ikke alle leverandører støtter kjøretidslisenser, så du må vurdere kostnadene for kjøretidslisensen også hvis du tenker å installere på forskjellige maskiner.
Når du har destillert valgene dine basert på budsjett, her er 5 svært viktige parametere for å sammenligne teststyringsverktøyene dine-
Tips #1 Test Management Tool bør forbedre produktiviteten
Testteam står overfor store utfordringer for å holde tritt med raske teknologiske endringer og behov for testing på flere plattformer (både nettlesere og enheter). Siden manuell testing opptar mesteparten av testtiden, er en måte å håndtere denne utfordringen på å øke automatiseringen. Men det er andre områder for å forbedre effektiviteten til et verktøy som inkluderer effektiv testlab/dataadministrasjon, utgivelseshåndtering, innsiktsfull rapportering blant annet. Å velge riktig teststyringsverktøy kan i stor grad hjelpe til med å forbedre disse parameterne.
La oss se på hva som kreves fra et teststyringsverktøy fra et produktivitetssynspunkt-
Granularitet av testinformasjon
Teststyringsverktøyet bør inneholde detaljerte informasjonsrapporter knyttet til testprosessen. For eksempel, i testcasefeil er det alltid nyttig å vite på hvilket trinn testen mislyktes i stedet for å vite at testcasen mislyktes som helhet. Uansett hvilke mindre endringer som ble brukt under testingen, bør teststyringsverktøyet informere om endringene til de tilsvarende teammedlemmene. For enkel oppfølging og rask handling bør den også holde et revisjonsspor over endringer, inkludert full versjonering av testsaker. Testbehandlingsverktøyet bør også lagre testresultatene som en økt og må ha muligheten til å sammenligne testkjøringsresultatene. De andre funksjonene som forventes fra et standard teststyringsverktøy er dokumentere teststrategi, planlegge testgjennomføring, opprettelse av defekter, kobling av historier, osv. En videoopplastingsfunksjon og API-støtte vil være en glasur på kaken.
Release Management Tracking (DevOps)
Programvareutgivelser er komplekse med flere aktiviteter (som sporing av byggeversjon, koordinering av team og åpenhet om utgivelser) som alle skjer samtidig. Et godt teststyringsverktøy må ha robust sporingsevne for utgivelsesstyring som holder oversikt over listen over programvaren som testes og utgis, slik at den ikke kommer i konflikt med andre testartefakter. Den bør også være i stand til å administrere alle prosjektartefakter i ett miljø.
Teststyringsverktøyet skal gi en enkelt oversikt over krav for alle interessenter. Samarbeid med interessenter garanterer at de riktige kravene fanges opp. Verktøyet skal kunne spore koblingene mellom andre utviklingsmidler og krav.
For distribuerte team bør det tilby et enkelt delt depot for å samarbeide og dele krav, evaluere tilknyttede defekter og forstå deres forhold til tester.
For kvalitet og konsistens må teststyringsverktøyet håndheve standardisering.
Rapportering
Det er et kaos hvis testteamet ditt vet hvor mange defekter som er åpne i utgivelsen, men ikke vet hvor lang tid det vil ta å løse det. For å overvåke testaktivitetene er testingeniører svært avhengige av rapportene som genereres av teststyringsverktøyet. Et pålitelig teststyringsverktøy bør levere følgende informasjon i rapportene deres som testplanfremgang, testtilfelles forfatterstatus, testcase mislyktes og bestått, teststatus etter suiter, teststatus etter område, testcase som skal automatiseres, og så videre
Testadministrasjonsverktøyet ditt skal tillate full synlighet av utvikleraktivitet og livssyklusprosesser fra kravhåndtering til testing og fiksing av feil.
Et godt teststyringsverktøy bør bestå av følgende attributter
- Graf og dashbord skal gi innsikt i hvor mange av dine automatiserte tester som har kjørt eller venter på utførelse
- Skal fremheve vanlige testattributter som antall testtilfeller bestått/mislyktes/hoppet over, brukerarbeidsmengde osv.
- Ta avgjørelse om beredskapen for hver utgivelse
- Se dine automatiserte testkjøringer sammen med manuelle testresultater
Tips #2 Smidig støtte
Etterspørselen etter smidighet i det nåværende markedet øker, og det blir større for hver dag. Det er viktig at teststyringsverktøyet ditt støtter den smidige metodikken. I Agile kan kravene endres og fullføres trinnvis, testadministrasjonsverktøyet ditt skal kunne imøtekomme slike krav. Det smidige teststyringsverktøyet du velger, bør fremme dypt partnerskap mellom utviklere, testere og andre interessenter (grunnleggende prinsipp for smidighet).
Verktøyet for smidig teststyring bør støtte
- Skaper historier
- Anslag
- Sprint planlegging av etterslep
- Hastighetskart og andre rapporter etc.
- Scrum og Kanban
Mens du er i et Agile-miljø, vil testkjøringssammenligning med teststyringsverktøy være produktivt hvis du ser på endringer i defektrater per iterasjon. Også for Agile, vil teststyringsverktøyet måtte holde oversikt over produktutgivelsen for hver iterasjon og etterslep
Tips #3 Ekstern integrasjon
Automatisert testcase-utførelse kan redusere mye belastning fra testingeniører. Du bør velge et teststyringsverktøy som enkelt kan integreres med automatiseringsverktøy. Se etter muligheten til å administrere testskript samt planlegge og starte test både lokalt og på den eksterne verten. Det er også ønskelig å lagre automasjonstestresultater i teststyringsverktøyet. Teststyringsverktøyet ditt må støtte kontinuerlig integrering. Den største fordelen med teststyringsverktøyet med CI er at tester startes automatisk. Lanseringen kan utløses av alt som en kildekodeforpliktelse fra en utvikler eller en testcase med underliggende testautomatisering eller en planlagt oppgave for et bestemt tidspunkt. Den kontinuerlige integrasjonen er forskjellig i tid, detaljer, retning og granularitet.
For ethvert QA-team, integrasjon av feilsporingsverktøy gjør testprosessen deres veldig enkel. Et standard testadministrasjonsverktøy som integreres sømløst med SDLC-appen eller andre feilsporingsverktøy som JIRA, BugZilla, Mantis tilfører verktøyet mer verdi. Det skal tillate brukere, å koble feil, å teste case-kjøringsinstanser, for sentralisert administrasjon av programvaretestingsprosessen. Det bør også tillate hele prosjektgruppen å jobbe sammen om en enkelt sak samtidig.
Integreringen av din støttepultsystem er en viktig funksjon ethvert testadministrasjonsverktøy bør gi. En støttedesk-programvare eller på annen måte kjent som billettsystem hjelper brukerne med å få en umiddelbar løsning på problemet deres. Det hjelper kundene å få oversikt over alle åpne og lukkede problemstillinger.
API Støtte for tilpassede integrasjoner er ønskelig.
Tips #4 Mobil
Testadministrasjonsverktøyet ditt skal støtte mobile enheter og nettbrett.
Mobilstøtte er ekstremt nyttig for team som er på klientstedet, ikke ved skrivebordet, eller for ledere som jobber med team på forskjellige geografiske steder.
Testadministrasjonsverktøyet må ha fullt (ikke redusert) funksjonssett tilgjengelig på mobil.
Støtte for flere enheter og mobilt OS er viktig ettersom med økningen i antall enheter er det mer kompleksitet som plassering, gester, akselerometre og orienteringsproblemer. Tross alt kjøper du aldri en telefon og tenker at den er kompatibel med testadministrasjonsverktøyet ditt!
Tips #5 Støtte
Supportteamet til leverandøren av teststyringsverktøyet bør være forpliktet til å hjelpe kundene sine på alle mulige måter. Mange teststyringsverktøy er mer fokusert på å lage blanke nettsteder og annonser for å tiltrekke flere kunder. Men for kontinuerlig og gjentatt virksomhet må de fokusere på å levere den beste helpdesk-støtten.
Det beste teststyringsverktøyet bør ha funksjoner som live chat, telefonsamtale, vanlige spørsmål og online brukerveiledninger, produktdokumentasjonsinformasjon, kunnskapsbase, heve helpdesk-billett, etc. for å hjelpe sine kunder.
Mange teststyringsverktøy forenkler også direktesendt videokonferanse med verktøyeksperter for å løse kundespørsmål. Hvis direktekonferansen ikke er gjennomførbar, bør demoer eller innspilte videoer relatert til teststyringsverktøy alltid være tilgjengelig på stedet og kan nås når som helst. Mens for utviklere, hvis verktøyet gir API eller tilpasset integrasjonsstøtte, må demoskript og detaljert dokumentasjon leveres.
Selv om alle de ovennevnte støttekanalene kanskje ikke er tilgjengelige for alle verktøy, bør du velge et verktøy som gir din "trekkes” støttekanal.
En annen viktig og ofte glemt parameter er om verktøyleverandøren er det Kundefokusert? Her er noen ting du bør vurdere når du velger testadministrasjonsverktøyet-
- Verktøygrensesnittet skal være brukervennlig og inkludere kundeintegrasjonsfunksjon
- Den skal romme flere språk og flere tidssoner
- Den bør ha en avansert søkeevne
Håper denne veiledningen hjelper deg med å velge et verktøy som best passer dine testbehov! For mer omfattende administrasjon av programmets livssyklus kan det være lurt å utforske disse ALM-verktøy.