Hur väljer man det bästa automationstestverktyget?

I artikeln Testprocessförbättring, du lärde dig förbättringspunkterna från projektet Guru99 Bank. Den använder automatiserade Testning istället för Manuell testning. Men teammedlemmar kan fråga dig -

Svaret på denna fråga är utmanande eftersom det finns många faktorer att ta hänsyn till

• Du vill stödja dina testaktiviteter med hjälp av ett mjukvaruverktyg, men du känner inte till verktyg som för närvarande finns på marknaden
• Vilken typ av verktyg passar bäst för kravet och projektbudgeten?
• Vem i teamet har kompetensen att använda verktyget när du har köpt det

Vikten av valet av mjukvarutestverktyg

Framgång i någon testautomatisering beror på att man identifierar rätt verktyg för automatisering. Att välja "rätt" testverktyg för ditt projekt är ett av de bästa sätten att uppnå projektmålet. Följande exempel visar dig fördelen med valet av testverktyg

I projektet Guru99 Bank, för att spara tid med testning, beslutade projektgruppen att använda ett automatiserat testverktyg för testkörningen. Efter många möten valde ert team ett lämpligt verktyg för projektet.

En månad senare fick du rapporten från projektgruppen om detta verktyg

Resultaten är fantastiska. Det nya automatiserade verktyget fördubblade testproduktiviteten. Det betyder att vi räddade 50% kostnad för testutförande. Om du är intresserad av att utforska fler alternativ för dina projekt, kolla in den här listan med automatiserade testverktyg.

Detta är ett exempel på fördelarna med att använda testverktyget i projektet. Att välja rätt testverktyg hjälper dig att förbättra projektets produktivitet och spara projektkostnader.

Typ av testverktyg

Det finns många typer av testverktyg som en testchef kan ta hänsyn till när de väljer testverktyg.

Verktyg med öppen källkod

Verktyg med öppen källkod är programmet där källkoden finns öppet publicerad för användning och/eller modifiering från dess ursprungliga design, gratis.

Verktyg med öppen källkod är tillgängliga för nästan alla faser av testprocessen, från Testfall ledning till defekt trackung. Jämfört med kommersiella verktyg Verktyg med öppen källkod kan ha färre funktioner.

Kommersiella verktyg

Kommersiella verktyg är den programvara som produceras för försäljning eller för att tjäna kommersiella ändamål.

Kommersiella verktyg har mer stöd och fler funktioner från en leverantör än verktyg med öppen källkod.

Anpassade verktyg

I vissa testprojekt har testmiljön och testprocessen speciella egenskaper. Inget verktyg med öppen källkod eller kommersiella verktyg kan uppfylla kravet. Därför måste testledaren överväga utvecklingen av det anpassade verktyget.

Exempel: Du vill hitta ett testverktyg för projektet Guru99 Bank. Du vill att det här verktyget ska uppfylla ett specifikt krav för projektet.

Oavsett vilken kategori du lutar åt är nästa fråga om dina tester överhuvudtaget är lämpliga för automatisering.

Automationsförbarhetsanalys

Tillbaka till exemplet ovan, beslutade projektgruppen att utveckla ett anpassat verktyg som kan möta projektets krav. Anta att de har fått 100 testfall att automatisera och de uppskattade 5 dagar att utveckla ett verktyg som kan automatisera Alla Produkter av dessa testfall.

Här är resultatet av deras arbete

Som i scenariot ovan är problemet att testverktyget inte kan automatisera alla testfall av testspecifikation. Det betyder att inte alla applikationsfunktioner kan vara grundligt testat med testverktyget.

Om applikationens funktionalitet testas byter ofta eller är det också komplicerad, är det svårt att skapa testautomatisering för Alla Produkter applikationsfunktionerna, eftersom varje verktyg har sina egna begränsningar.

Om du inte vill vara i en sådan situation, innan du väljer testverktyget, måste du analysera testfallen och bestämma vilka testfall som ska automatiseras och vilka testfall som inte ska. Det här är Automationsförbarhetsanalys aktivitet.

Automation Feasibility Analysis är den mycket betydande bidragsgivaren i testning. I denna analys måste du kontrollera om applikationen som testas är kvalificerad för automatiserat test.

Några faktorer du behöver tänka på:

För att veta mer om dessa faktorer kan du använda en checklista som ingår i denna artikel

Hur man väljer det bästa automationstestverktyget

För att välja det mest lämpliga testverktyget för projektet bör testhanteraren följa verktygsvalsprocessen nedan

Steg 1) Identifiera kravet på verktyg

Hur kan du välja ett testverktyg om du inte vet vad du letar efter?

Du måste exakt identifiera dina krav på testverktyget. Alla krav måste vara dokumenterat och Granskad av projektgrupper och styrelsen.

Tänk på följande exempel:

Steg 2) Utvärdera verktygen och leverantörerna

Efter att ha baserat kraven på verktyget bör testhanteraren

• Analysera de kommersiella och öppen källkodsverktyg som finns tillgängliga på marknaden, baserat på projektkravet.
• Skapa en listan över verktyg som bäst uppfyller dina kriterier
• En faktor du bör tänka på är försäljare. Du bör överväga säljarens rykte, support efter försäljning, uppdateringsfrekvens för verktyg etc. när du fattar ditt beslut.
• Utvärdera kvaliteten på verktyget genom att ta provanvändning och lansering av en pilot. Många leverantörer gör ofta testversioner av sin programvara tillgängliga för nedladdning

Steg 3) Uppskatta kostnad och nytta

För att säkerställa att testverktyget är fördelaktigt för verksamheten måste testledaren balansera följande faktorer:

A kostnads-nyttoanalys bör utföras innan du skaffar eller bygger ett verktyg

Exempel: Efter att ha ägnat avsevärd tid åt att undersöka testverktyg hittade projektgruppen det perfekta testverktyget för projektet. Guru99 Banks webbplats. Utvärderingsresultaten drog slutsatsen att detta verktyg kunde

• Double den nuvarande produktiviteten för testkörning
• Minska ledningsinsatsen med 30 %

Men efter att ha diskuterat med programvaruleverantören upptäckte du att kosta av detta verktyg är för hög jämfört med värde och fördel som det kan tillföra teamarbetet.

I ett sådant fall kan balansera mellan kostnad och nytta av verktyget kan påverka det slutliga beslutet.

Steg 4) Ta det slutliga beslutet

För att fatta det slutgiltiga beslutet måste testledaren ha:

• Ha en stark medvetenhet av verktyget. Det betyder att du måste förstå vilken som är stark poäng och svag verktygets punkter
• Balansera kostnad och nytta.

Även med timmar som ägnat åt att läsa programvarumanualen och leverantörsinformation, kan du fortfarande behöva prova verktyget i din faktiska arbetsmiljö innan du köper licensen.

Du bör ha mötet med projektgruppen, konsulter för att få den djupare kunskapen om verktyget.

Ditt beslut kan ha en negativ inverkan på projektet, testprocessen och affärsmålen; du bör ägna en god tid åt att tänka ordentligt på det.

I steg 3 ska du väga kostnad mot nytta. Beräkningen nedan omvandlar den bedömningen till ett tal som du kan presentera.

Hur man beräknar ROI för automatiseringstestning

En kostnads-nyttodiskussion tenderar att stanna av eftersom båda sidor argumenterar utifrån sina åsikter. En enkel siffra för avkastning på investeringen flyttar samtalet till bevis, och de flesta ledningsgrupper förväntar sig att se ett sådant innan de godkänner ett verktygsköp.

Den grundläggande jämförelsen är kostnaden för att köra testerna manuellt mot den totala kostnaden för att automatisera dem.

// Cost of one manual test cycle
Manual cost per cycle = Hours per cycle x Hourly rate

// One-off and recurring cost of automating
Automation cost = Tool licence + Script development + (Maintenance x Cycles)

// Return on investment across N cycles
ROI = ((Manual cost per cycle x N) - Automation cost) / Automation cost

Fyra ingångar avgör om talet blir positivt.

• Utförandefrekvens: Automatisering lönar sig bara genom upprepning. En svit som körs varje natt når break-even mycket snabbare än en körning per release.
• Skriptunderhåll: Det här är den kostnad som de flesta team glömmer. Ett volatilt gränssnitt kan kräva fler underhållstimmar än den manuella exekvering det ersatte, vilket är precis den situation som genomförbarhetsanalysen ovan är avsedd att fånga upp.
• Licensmodell: Per samtidig användare, per namngiven användare och engångslicenser för permanent användning ger väldigt olika totalsummor över tre år. Modellera den period du faktiskt avser att behålla verktyget.
• Förmåner som inte är timmar: Snabbare feedback, tidigare upptäckta fel och frigörande av testare för utforskande arbete har ett verkligt värde. Ange dem bredvid figuren snarare än att försöka tvinga dem till det.

💡 Tips: Beräkna breakeven-punkten, vilket är antalet cykler vid vilka automatiseringskostnaden är lika med manuell kostnad. Om breakeven-punkten faller bortom releasens livslängd är det dock inte värt att automatisera den sviten.trachur verktyget ser ut.

Saker att tänka på när du väljer ett testhanteringsverktyg

Med det stora utbudet är det lätt att bli förvirrad när man handlar.ping för ett testhanteringsverktyg. Detta är en opartisk guide som hjälper dig att hitta det bästa verktyget enligt dina behov.

I den här guiden kommer jag att ge dig de fem viktigaste men ofta ignorerade parametrarna när du väljer ditt testhanteringsverktyg. Men innan jag börjar, låt mig upprepa-

Jämför inte äpple och apelsiner

Det är inte meningsfullt att jämföra ett SaaS-verktyg på $30 per månad med ett kommersiellt verktyg på $6000 när din budget inte tillåter det. Det är viktigt att du filtrerar ditt verktyg med en lista baserad på BUDGET först. Om du har en budget, öppen källkod är ett bra alternativ. Även om kommersiella verktyg är dyra, erbjuder de bra stöd och är enkla att använda med massor av utbildningsmaterial.

Nästa sak du bör beräkna är kostnaden för din licens. För det måste du uppskatta hur länge testet ska slutföras och vilken metod du väljer att testa, detta hjälper dig att ta reda på vilken modell som skulle passa i din budget, till exempel om du vill betala som per registrerad användare, samtidig användare eller beständig användareVanligtvis är permanenta eller engångskostnader högre på grund av kapitalkostnaden. För viss programvara behöver du en körtidslicens. Inte alla leverantörer stöder körtidslicenser, så du måste ta hänsyn till kostnaden för körtidslicensen även om du funderar på att installera den på olika maskiner.

När du väl har destillerat dina val baserat på budget, här är 5 mycket viktiga parametrar för att jämföra dina testhanteringsverktyg-

Tips #1 Test Management Tool bör förbättra produktiviteten

Testteam står inför stora utmaningar att hålla jämna steg med snabba tekniska förändringar och behovet av tester på flera plattformar (både webbläsare och enheter). Eftersom manuell testning upptar större delen av testtiden är ett sätt att hantera denna utmaning att öka automatiseringen. Men det finns andra områden för att förbättra effektiviteten hos ett verktyg, inklusive effektiv testlabb-/datahantering, releasehantering och insiktsfull rapportering bland annat. Att välja rätt testhanteringsverktyg kan vara till stor hjälp för att förbättra dessa parametrar.

Låt oss titta på vad som krävs från ett testhanteringsverktyg ur produktivitetssynpunkt-

Granularitet av testinformation

Testhanteringsverktyget bör innehålla detaljerade informationsrapporter relaterade till testprocessen. Till exempel, vid testfallsmisslyckanden är det alltid bra att veta i vilket steg testet misslyckades istället för att veta att testfallet misslyckades som helhet. Oavsett vilka mindre ändringar som görs under testningen bör testhanteringsverktyget informera om ändringarna till motsvarande teammedlemmar. För enkel uppföljning och snabba åtgärder bör det också ha en revisionslogg för ändringar, inklusive fullständig versionshantering av testfall. Testhanteringsverktyget bör också spara testresultat som en session och måste ha möjlighet att jämföra testkörningsresultaten. Andra funktioner som förväntas av ett standardiserat testhanteringsverktyg är dokumentera teststrategi, planera testexekvering, skapande av defekter, länka berättelser, etc. En videouppladdningsfunktion och API-stöd skulle vara en grädde på moset.

Släpphantering Tracking (DevOps)

Programvaruutgåvor är komplexa med flera aktiviteter (som trackung av byggversion, samordning av team och transparens av releaser) sker allt samtidigt. Ett bra testhanteringsverktyg måste ha robust releasehantering tracen funktion som för register över den programvara som testas och släpps, så att den inte står i konflikt med andra testartefakter. Den bör också kunna hantera alla projektartefakter i en miljö.

Testhanteringsverktyget måste ge en enhetlig bild av kraven för alla intressenter. Samarbete med intressenter garanterar att rätt krav fångas upp. Verktyget ska kunna trace kopplingarna mellan andra utvecklingstillgångar och krav.

För distribuerade team bör det tillhandahålla ett enda delat arkiv för att samarbeta och dela krav, utvärdera länkade defekter och förstå deras relation till tester.

För kvalitet och konsekvens måste ditt testhanteringsverktyg genomdriva standardisering.

Rapportering

Det är kaos om testteamet vet hur många fel som är öppna i versionen men inte vet hur lång tid det kommer att ta att åtgärda dem. För att övervaka testaktiviteterna är testingenjörer i hög grad beroende av rapporterna som genereras av testhanteringsverktyget. Ett pålitligt testhanteringsverktyg bör leverera följande information i sina rapporter som testplanens framsteg, testfallsförfattarstatus, testfall misslyckats och godkänts, teststatus per sviter, teststatus per område, testfall som ska automatiseras, och så vidare

Ditt testhanteringsverktyg bör ge full synlighet av utvecklaraktivitet och livscykelprocesser från kravhantering till testning och åtgärdande av defekter.

Ett bra testhanteringsverktyg bör bestå av följande attribut

• Diagram och instrumentpanel ska ge insikt om hur många av dina automatiserade tester som har körts eller väntar på att köras
• Bör lyfta fram vanliga testattribut som antalet testfall godkända/misslyckade/hoppade över, användarens arbetsbelastning, etc.
• Ta beslut om beredskapen för varje release
• Se dina automatiska testkörningar tillsammans med manuella testresultat

Tips #2 Agilt support

Efterfrågan på agila metoder ökar för varje dag som går. Det är viktigt att ditt testverktyg stöder den agila metodiken. I agila metoder är kraven föränderliga och kompletteras stegvis, och ditt testverktyg bör kunna tillgodose dessa krav. Det agila testverktyg du väljer bör främja ett djupt partnerskap mellan utvecklare, testare och andra intressenter (grundprincipen för agila metoder).

Det agila testhanteringsverktyget bör stödja

• Skapar berättelser
• Uppskattning
• Sprint eftersläpningsplanering
• Hastighetsdiagram och andra rapporter mm.
• Scrum och Kanban

I en agil miljö skulle jämförelse av testkörningar med testhanteringsverktyg vara produktivt om man tittar på förändringar i defektfrekvenser per iteration. Även för agila ändamål måste testhanteringsverktyget föra register över produktlanseringen för varje iteration och eftersläpning.

Tips #3 Extern integration

Automatiserad testfallsexekvering kan minska mycket börda från testingenjörer. Du bör välja ett testhanteringsverktyg som enkelt kan integreras med automatiseringsverktygLeta efter möjligheten att hantera testskript samt schemalägga och starta tester både lokalt och på fjärrdatorn. Det är också önskvärt att kunna lagra automatiserade testresultat i testhanteringsverktyget. Ditt testhanteringsverktyg måste stödja fortsatt integration. Den största fördelen med testhanteringsverktyget med CI är att tester startas automatiskt. Lanseringen kan triggas av allt som en källkodscommit från en utvecklare eller ett testfall med underliggande testautomatisering eller en schemalagd uppgift för en specifik tid. Den kontinuerliga integrationen skiljer sig åt i tid, detalj, riktning och granularitet.

För alla QA-team, integration av bug trackungverktyg gör deras testprocess väldigt enkel. Ett standardiserat testhanteringsverktyg som integreras sömlöst med SDLC-appen eller andra buggprogram. tracKunskapsverktyg som JIRA, BugZilla och Mantis ger verktyget mervärde. Det bör göra det möjligt för användare att länka buggar till testfall och köra instanser för centraliserad hantering av mjukvarutestningsprocessen. Det bör också göra det möjligt för hela projektgruppen att arbeta tillsammans med en enda fråga samtidigt.

Integrationen av din supportdesk-system är en viktig funktion som alla testhanteringsverktyg bör erbjuda. En supportdeskprogramvara eller även känt som ett ärendesystem hjälper användarna att få en omedelbar lösning på sina problem. Det hjälper kunderna att få en översikt över alla öppna och stängda ärenden.

API Stöd för anpassade integrationer är önskvärt.

Tips #4 Mobil

Ditt testhanteringsverktyg bör stödja mobila enheter och surfplattor.

Mobil support är extremt användbar för team som är på klientens plats, inte vid skrivbordet, eller för chefer som arbetar med team på olika geografiska platser.

Testhanteringsverktyget måste ha en fullständig (inte reducerad) funktionsuppsättning tillgänglig på mobilen.

Stöd för flera enheter och mobilt operativsystem är viktigt eftersom det med det ökade antalet enheter blir fler komplexiteter som plats, gester, accelerometrar och orienteringsproblem. När allt kommer omkring köper du aldrig en telefon och tror att den är kompatibel med ditt testhanteringsverktyg!

Tips #5 Support

Supportteamet hos leverantören av testverktyg bör vara engagerade i att hjälpa sina kunder på alla möjliga sätt. Många testverktyg är mer fokuserade på att skapa snygga webbplatser och annonser för att...tracfler kunder. Men för kontinuerlig och återkommande affärer måste de fokusera på att leverera bästa möjliga helpdesk-support.

Det bästa testhanteringsverktyget bör ha funktioner som livechatt, telefonsamtal, FAQ & online användarguider, produktdokumentationsinformation, kunskapsbas, höja helpdesk biljett, etc. för att hjälpa sina kunder.

Många testhanteringsverktyg underlättar också live videokonferens med verktygsexperter för att lösa kundernas frågor. Om en livekonferens inte är genomförbar bör demoer eller inspelade videor relaterade till testhanteringsverktyget alltid finnas tillgängliga på plats och kunna nås när som helst. För utvecklare måste demoskript och detaljerad dokumentation tillhandahållas om verktyget erbjuder API- eller anpassad integration.

Även om alla ovanstående supportkanaler kanske inte är tillgängliga för alla verktyg, bör du välja ett verktyg som ger din "föredragen” stödkanal.

Ytterligare en viktig och ofta bortglömd parameter är om verktygsleverantören är det Kundfokuserad? Här är några saker att tänka på när du väljer ditt testhanteringsverktyg-

• Verktygsgränssnittet bör vara användarvänligt och innehålla kundintegreringsfunktioner
• Det bör rymma flera språk och flera tidszoner
• Den bör ha en avancerad sökförmåga

Hoppas den här guiden hjälper dig att välja ett verktyg som bäst passar dina testbehov! För mer omfattande hantering av din applikations livscykel, kanske du vill utforska dessa ALM-verktyg.

Vanliga frågor