Hvordan vælger man det bedste automationstestværktøj?

I artiklen Test procesforbedring, lærte du forbedringspunkterne fra projektet Guru99 Bank. Det bruger automatiseret Test i stedet for Manuel testning. Men teammedlemmer kan spørge dig -

Bedste automationstestværktøj

Svaret på dette spørgsmål er udfordrende, fordi der er mange faktorer at overveje

  • Du ønsker at understøtte dine testaktiviteter ved hjælp af et softwareværktøj, men du kender ikke værktøjer, der i øjeblikket er tilgængelige på markedet
  • Hvilken type værktøj passer bedst til kravet og projektbudgettet?
  • Hvem på holdet har kompetencerne til at bruge værktøjet, når du har købt det

Vigtigheden af ​​valget af softwaretestværktøj

Succes med enhver testautomatisering afhænger af at identificere det rigtige værktøj til automatisering. At vælge det "korrekte" testværktøj til dit projekt er en af ​​de bedste måder at nå projektmålet på. Folloenwing eksempel vil vise dig fordelene ved valget af testværktøj

I projektet Guru99 Bank, for at spare besværet med at teste, besluttede projektteamet at bruge et automatiseret testværktøj til testudførelsen. Efter mange møder valgte dit team et passende værktøj til projektet.

En måned later, du fik rapporten fra projektteamet om dette værktøj

Vigtigheden af ​​valget af softwaretestværktøj

Resultaterne er fantastiske. Det nye automatiserede værktøj doubled afprøvningsproduktiviteten. Det betyder, at vi har reddet 50 % omkostninger ved testudførelse. Hvis du er interesseret i at udforske flere muligheder for dine projekter, så tjek denne liste over automatiserede testværktøjer.

Dette er et eksempel på fordelen ved at bruge testværktøjet i projektet. Valg af det rigtige testværktøj hjælper dig med at forbedre projektproduktiviteten og spare projektomkostninger.

Type af testværktøjer

Der er mange typer af testværktøjer, som Test Manager kan overveje, når de vælger testværktøjerne.

Type af testværktøjer

Open Source værktøjer

Open source-værktøjer er det program, hvori kildekoden er åbent offentliggjort til brug og/eller ændring fra dets originale design, gratis.

Open source-værktøjer er tilgængelige for næsten alle faser af testprocessen, fra Test sag ledelse til Defekt sporing. Sammenlignet med kommercielle værktøjer Open source-værktøjer kan have færre funktioner.

Kommercielle værktøjer

Kommercielle værktøjer er den software, der produceres til salg eller til kommercielle formål.

Kommercielle værktøjer har mere support og flere funktioner fra en leverandør end open source-værktøjer.

Brugerdefinerede værktøjer

I nogle testprojekter har testmiljøet og testprocessen særlige karakteristika. Intet open source eller kommercielt værktøj kan opfylde kravet. Derfor skal testlederen overveje udviklingen af ​​det tilpassede værktøj.

Eksempel: Du vil finde et testværktøj til projektet Guru99 Bank. Du ønsker, at dette værktøj skal opfylde nogle specifikke krav til projektet.

Brugerdefinerede værktøjer

Automatiseringsgennemførlighedsanalyse

Tilbage til ovenstående eksempel besluttede projektteamet at udvikle et tilpasset værktøj, som kan opfylde projektets krav. Antag, at de har fået 100 testcases til at automatisere, og de anslår 5 dage til at udvikle et værktøj, der kan automatisere alle af disse testsager.

Her er resultatet af deres arbejde

Automatiseringsgennemførlighedsanalyse

Som i ovenstående scenarie er problemet, at testværktøjet ikke kan automatisere alle testtilfælde af testspecifikation. Det betyder at ikke alle applikationsfunktioner kan være grundigt testet ved hjælp af testværktøjet.

Hvis funktionaliteten af ​​applikationen under test skifter ofte eller er også kompliceret, er det svært at lave testautomatisering til alle applikationsfunktionerne, fordi hvert værktøj har sit eget begrænsninger.

Hvis du ikke ønsker at være i en sådan situation, før du vælger testværktøjet, skal du analysere testcases og beslutte, hvilke testcases der skal automatiseres, og hvilke testcases der ikke skal. Dette er Automatiseringsgennemførlighedsanalyse aktivitet.

Automation Feasibility Analysis er den meget væsentlige bidragyder til test. I denne analyse skal du kontrollere, om den applikation, der testes, er kvalificeret til automatiseret test.

Nogle faktorer, du skal overveje:

Automatiseringsgennemførlighedsanalyse

For at vide mere om disse faktorer kan du bruge en tjekliste som er inkluderet i denne artikel

Sådan vælger du det bedste automationstestværktøj

For at vælge det bedst egnede testværktøj til projektet skal testmanageren følge nedenstående værktøjsudvælgelsesproces

Vælg det bedste automationstestværktøj

Trin 1) Identificer kravene til værktøjer

Hvordan kan du vælge et testværktøj, hvis du ikke ved, hvad du leder efter?

Identificer kravet til værktøjer

Du kan præcist identificere dine testværktøjskrav. Alle krav skal være dokumenteret , revideret af projektteams og direktion.

Overvej folloenwing eksempel:

Du ønsker at finde testværktøjet til Guru99 Bank-projektet. Hvad forventer du af værktøjet?

A) Værktøjet kan generere testcases automatisk

B) Værktøjet kan generere testresultatet i det ønskede format

C) Testeren kan vælge hvilke testcases der skal udføres med et givet sæt testdata

D) Værktøjet kan udføre testcasen automatisk

E) Værktøjet kan bedømme og udføre testoutputvalidering og markere testcases bestået eller ikke

F) Alle over emnerne

Ukorrekt
Korrekt

Trin 2) Evaluer værktøjerne og leverandørerne

Efter at have baselinet kravet til værktøjet, bør testmanageren

  • Analyser de kommercielle og open source-værktøjer, der er tilgængelige på markedet, baseret på projektkravet.
  • Opret en værktøjshortliste som bedst opfylder dine kriterier
  • En faktor du bør overveje er leverandører. Du bør overveje leverandørens omdømme, eftersalgssupport, værktøjsopdateringsfrekvens osv., mens du tager din beslutning.
  • Evaluer kvaliteten af ​​værktøjet ved at tage prøvebrug & lancering af en pilot. Mange leverandører gør ofte prøveversioner af deres software tilgængelige til download

Trin 3) Estimer omkostninger og fordele

For at sikre, at testværktøjet er gavnligt for virksomheden, skal testmanageren gøre det balance folloenwing faktorer:

Estimer omkostninger og fordele

A Cost benefit analyse skal udføres, før du anskaffer eller bygger et værktøj

Eksempel: Efter at have brugt lang tid på at undersøge testværktøjer fandt projektteamet det perfekte testværktøj til projektet Guru99 Banks hjemmeside. Evalueringsresultaterne konkluderede, at dette værktøj kunne

  • Double den aktuelle produktivitet af testudførelse
  • Reducer ledelsesindsatsen med 30 %

Efter at have diskuteret med softwareleverandøren fandt du dog ud af, at koste af dette værktøj er for højt sammenlignet med værdi , gavner det dig at det kan bringe til teamwork.

I et sådant tilfælde er balance mellem omkostninger og fordele ved værktøjet kan påvirke den endelige beslutning.

Trin 4) Træf den endelige beslutning

Træf den endelige beslutning

For at træffe den endelige beslutning skal testlederen have:

  • Have en strong bevidsthed af værktøjet. Det betyder, at du skal forstå, hvad der er strong punkter og svag punkter på værktøjet
  • Balance omkostning og fordel.

Selv med hours brugt på at læse softwaremanualen og leverandøroplysninger, skal du muligvis stadig prøve værktøjet i dit faktiske arbejdsmiljø, før du køber licensen.

Du bør have mødet med projektteamet, konsulenter for at få den dybere viden om værktøjet.

Din beslutning kan have en negativ indvirkning på projektet, testprocessen og forretningsmålene; du skal bruge god tid på at tænke dig godt om.

Ting at overveje, når du vælger et teststyringsværktøj

Med den brede vifte af tilgængelige valgmuligheder er det nemt at blive forvirret, mens du leder efter et teststyringsværktøj. Dette er en objektiv guide til at hjælpe dig med at få det bedste værktøj som pr dine behov.

I denne guide vil jeg give dig 5 vigtigste, men ofte ignorerede parametre, mens du vælger dit teststyringsværktøj. Men før jeg begynder, lad mig gentage-

Sammenlign ikke æble og appelsiner

Det giver ikke mening at sammenligne et SaaS-værktøj på $30 om måneden med et kommercielt værktøj på $6000, når dit budget ikke tillader det. Det er vigtigt, at du filtrerer dit værktøj med en liste baseret på BUDGET først. Hvis du har et budget, open source er en god mulighed. Selvom kommercielle værktøjer er dyre, tilbyder de god support og er nemme at bruge med masser af undervisningsmateriale.

Den næste ting du skal beregne er omkostningerne for din licens. Til det skal du estimere varigheden af ​​testafslutning og hvilken metode du vælger at teste, dette vil hjælpe dig med at finde ud af, hvilken model der passer ind i dit budget, f.eks. om du vil betale som pr. registreret bruger, samtidig bruger eller vedvarende bruger. Normalt er vedvarende eller engangsomkostninger højere på grund af dets kapitaludgifter. For visse programmer skal du bruge køretidslicens. Ikke alle leverandører understøtter køretidslicenser, så du skal også overveje omkostningerne til køretidslicensen, hvis du overvejer at installere på forskellige maskiner.

Når du først har destilleret dine valg baseret på budget, er her 5 meget vigtige parametre til at sammenligne dine teststyringsværktøjer-

Tip #1 Test Management Tool bør forbedre produktiviteten

Teststyringsværktøj bør forbedre produktiviteten

Testteams står over for stejle udfordringer for at holde trit med hurtige teknologiske ændringer og behov for test på flere platforme (både browsere og enheder). Da manuel test optager det meste af testtiden, er en måde at håndtere denne udfordring på at øge automatiseringen. Men der er andre områder til at forbedre effektiviteten af ​​et værktøj, som blandt andet inkluderer effektiv testlaboratorium/datastyring, release management, indsigtsfuld rapportering. At vælge det korrekte teststyringsværktøj kan i høj grad hjælpe med at forbedre disse parametre.

Lad os se på, hvad der kræves fra et teststyringsværktøj ud fra et produktivitetssynspunkt-

Granularitet af testoplysninger

Teststyringsværktøjet bør omfatte detaljerede informationsrapporter relateret til testprocessen. For eksempel, i testcase-fejl, er det altid nyttigt at vide, i hvilket trin testen mislykkedes i stedet for knowing testsagen mislykkedes som helhed. Uanset hvilke mindre ændringer, der blev anvendt under testen, bør teststyringsværktøjet informere om ændringerne til de tilsvarende teammedlemmer. For nem opfølgning og hurtig handling bør den også holde et revisionsspor over ændringer, herunder fuld versionering af testsager. Teststyringsværktøjet skal også gemme resultater af test som en session og skal have evnen til at sammenligne testkørselsresultaterne. De andre funktioner, der forventes af et standard teststyringsværktøj, er dokumentere teststrategi, planlægge testudførelse, oprettelse af defekter, linke historier, osv. En video upload funktion og API support ville være en prikken over i'et.

Release Management Tracking (DevOps)

Softwareudgivelser er complex med flere aktiviteter (såsom sporing af byggeversion, koordinering af team og gennemsigtighed af udgivelser), der alle sker på samme tid. Et godt teststyringsværktøj skal have en robust udgivelsesstyringssporingsevne, der holder oversigten over listen over den software, der testes og frigives, så den ikke er i konflikt med andre testartefakter. Det bør også være i stand til at styre alle projektartefakter i ét miljø.

Teststyringsværktøjet skal give et samlet overblik over kravene til alle interessenter. Samarbejde med interessenter garanterer, at de rigtige krav fanges. Værktøjet skal være i stand til at spore forbindelserne mellem andre udviklingsaktiver og -krav.

For distribuerede teams bør det give et enkelt delt lager til at samarbejde og dele krav, evaluere forbundne defekter og forstå deres forhold til test.

For kvalitet og konsistens skal dit teststyringsværktøj gennemtvinge standardisering.

Rapportering

Rapportering

Det er et kaos, hvis dit testhold ved, hvor mange defekter der er åbne i udgivelsen, men ikke ved, hvor lang tid det vil tage at løse det. For at overvåge testaktiviteterne er testingeniører meget afhængige af de rapporter, der genereres af teststyringsværktøjet. Et pålideligt teststyringsværktøj bør levere following oplysninger i deres rapporter som testplanens fremskridt, testcase-forfattelsesstatus, testcase mislykkedes og bestået, teststatus efter suiter, teststatus efter område, testcase, der skal automatiseres, etc.

Dit teststyringsværktøj skal give fuld synlighed af udvikleraktivitet og livscyklusprocesser fra kravstyring til test og udbedring af defekter.

Et godt teststyringsværktøj bør bestå af following attributter

  • Graf og dashboard skal give indsigt i, hvor mange af dine automatiserede tests, der har kørt eller afventer udførelse
  • Skal fremhæve almindelige testattributter som antallet af testsager bestået/mislykkedes/sprunget over, brugerens arbejdsbyrde osv.
  • Tag en beslutning om klarheden af ​​hver udgivelse
  • Se dine automatiske testkørsler sammen med manuelle testresultater

Tip #2 Agile Support

Efterspørgslen efter agile på det nuværende marked er stigende, og det bliver større for hver dag. Det er vigtigt, at dit teststyringsværktøj understøtter den agile metodik. I Agile kan kravene ændres og udfyldes trinvist, dit teststyringsværktøj bør kunne imødekomme sådanne krav. Det agile teststyringsværktøj efter eget valg bør promodet dybe partnerskab mellem udviklere, testere og andre interessenter (grundlæggende princip om agil).

Det agile teststyringsværktøj bør understøtte

  • At skabe historier
  • estimering
  • Sprint planlægning af efterslæb
  • Hastighedsdiagrammer og andre rapporter mv.
  • Scrum og Kanban

Mens du er i et agilt miljø, ville testkørselssammenligning med teststyringsværktøj være produktivt, hvis du kigger på ændringer i defektrater pr. iteration. Også for Agile skal teststyringsværktøjet føre en registrering af produktudgivelsen for hver iteration og backlog

Tip #3 Ekstern integration

Automatiseret testcase-udførelse kan reducere en masse byrder fra testingeniører. Du bør vælge et teststyringsværktøj, der nemt kan integreres med automatiseringsværktøjer. Se efter evnen til at administrere testscripts samt planlægge og starte test både lokalt og på fjernværten. Det er også ønskeligt at kunne lagre automatiseringstestresultater i teststyringsværktøjet. Dit teststyringsværktøj skal understøtte kontinuerlig integration. Den største fordel ved teststyringsværktøjet med CI er, at tests startes automatisk. Lanceringen kan udløses af alt som en kildekode-commit fra en udvikler eller en testcase med underliggende testautomatisering eller en planlagt opgave til et bestemt tidspunkt. Den kontinuerlige integration adskiller sig i tid, detaljer, retning og granularitet.

For ethvert QA-hold, integration af fejlsporingsværktøj gør deres testproces meget nem. Et standardteststyringsværktøj, der integreres problemfrit med SDLC-app eller andre fejlsporingsværktøjer som JIRA, BugZilla, Mantis tilføjer mere værdi til værktøjet. Det skulle give brugerne mulighed for at linke fejl, at teste case-run-instanser til centraliseret styring af din softwaretestproces. Det bør også give hele projektteamet mulighed for at arbejde sammen om et enkelt emne på samme tid.

Integrationen af ​​din support desk system er en vigtig funktion, som ethvert teststyringsværktøj bør give. En support desk-software eller andetwise kendt som billetsystem hjælper brugerne med at få en øjeblikkelig løsning på deres problem. Det hjælper kunderne med at få overblik over alle åbne og lukkede problemstillinger.

API Support til tilpassede integrationer er ønskelig.

Tip #4 Mobil

Mobil

Dit teststyringsværktøj bør understøtte mobile enheder og tablet.

Mobil support er yderst nyttig for teams, der er på klientens placering, ikke ved skrivebordet, eller for ledere, der arbejder med teams på forskellige geografiske placeringer.

Teststyringsværktøjet skal have fuldt (ikke reduceret) funktionssæt tilgængeligt på mobilen.

Understøttelse af flere enheder og mobilt OS er vigtigt, da der med stigningen i antallet af enheder er flere complexting som placering, gestus, accelerometre og orienteringsproblemer. Når alt kommer til alt, køber du aldrig en telefon og tror, ​​den er kompatibel med dit teststyringsværktøj!

Tip #5 Support

Support

Supportteamet hos leverandøren af ​​teststyringsværktøjer bør være forpligtet til at hjælpe deres kunder på alle mulige måder. Mange teststyringsværktøjer er mere fokuserede på at skabe blanke hjemmesider og annoncer for at tiltrække flere kunder. Men for kontinuerlig og gentagne forretninger skal de fokusere på at levere den bedste helpdesk-support.

Det bedste teststyringsværktøj bør have funktioner som live chat, telefonopkald, ofte stillede spørgsmål og onlinebrugervejledninger, information om produktdokumentation, vidensbase, indhentning af helpdesk-billet, osv. for at hjælpe deres kunder.

Mange teststyringsværktøjer letter også live videokonference med værktøjseksperter til at løse kundeforespørgsler. Hvis livekonferencen ikke er gennemførlig, skal demoer eller optagede videoer relateret til teststyringsværktøj altid være tilgængelige på stedet og kan tilgås når som helst. Mens for udviklere, hvis værktøjet giver API eller tilpasset integrationssupport, skal demoscript og detaljeret dokumentation leveres.

Selvom alle ovenstående supportkanaler muligvis ikke er tilgængelige for alle værktøjer, bør du vælge et værktøj, der giver din "foretrækkes” støttekanal.

En mere vigtig og ofte glemt parameter er, om værktøjsleverandøren er Kundefokuseret? Her er et par ting, du skal overveje, når du vælger dit teststyringsværktøj-

  • Værktøjsgrænsefladen skal være brugervenlig og omfatte kundeintegrationsfunktion
  • Det skal rumme flere sprog og flere tidszoner
  • Det skal have en avanceret søgeevne

Håber denne guide hjælper med at vælge et værktøj, der bedst passer til dine testbehov! For at få mere omfattende styring af din applikations livscyklus, vil du måske udforske disse ALM værktøjer.