Hur väljer man det bästa automationstestverktyget?

I artikeln Testprocessförbättring, lärde du dig förbättringspunkterna från projektet Guru99 Bank. Den använder automatiserad Testning istället för Manuell testning. Men teammedlemmar kan fråga dig -

Svaret på denna fråga är utmanande eftersom det finns många faktorer att ta hänsyn till

• Du vill stödja dina testaktiviteter med hjälp av ett mjukvaruverktyg, men du känner inte till verktyg som för närvarande finns på marknaden
• Vilken typ av verktyg passar bäst för kravet och projektbudgeten?
• Vem i teamet har kompetensen att använda verktyget när du har köpt det

Vikten av valet av mjukvarutestverktyg

Framgång i någon testautomatisering beror på att man identifierar rätt verktyg för automatisering. Att välja "rätt" testverktyg för ditt projekt är ett av de bästa sätten att uppnå projektmålet. Följande exempel visar dig fördelen med valet av testverktyg

I projektet Guru99 Bank, för att spara ansträngningen att testa, beslutade projektgruppen att använda ett automatiserat testverktyg för testkörningen. Efter många möten valde ditt team ett lämpligt verktyg för projektet.

En månad senare fick du rapporten från projektgruppen om detta verktyg

Resultaten är fantastiska. Det nya automatiserade verktyget fördubblade testproduktiviteten. Det betyder att vi räddade 50% kostnad för testutförande. Om du är intresserad av att utforska fler alternativ för dina projekt, kolla in den här listan med automatiserade testverktyg.

Detta är ett exempel på fördelen med att använda testverktyget i projektet. Att välja rätt testverktyg hjälper dig att förbättra projektproduktiviteten och spara projektkostnader.

Typ av testverktyg

Det finns många typer av testverktyg som Test Manager kan ta hänsyn till när du väljer testverktyg.

Verktyg med öppen källkod

Verktyg med öppen källkod är programmet där källkoden finns öppet publicerad för användning och/eller modifiering från dess ursprungliga design, gratis.

Verktyg med öppen källkod är tillgängliga för nästan alla faser av testprocessen, från Testfall ledning till defekt spårning. Jämfört med kommersiella verktyg Verktyg med öppen källkod kan ha färre funktioner.

Kommersiella verktyg

Kommersiella verktyg är den programvara som produceras för försäljning eller för att tjäna kommersiella ändamål.

Kommersiella verktyg har mer stöd och fler funktioner från en leverantör än verktyg med öppen källkod.

Anpassade verktyg

I vissa testprojekt har testmiljön och testprocessen speciella egenskaper. Ingen öppen källkod eller kommersiellt verktyg kan uppfylla kravet. Därför måste testledaren överväga utvecklingen av det anpassade verktyget.

Exempel: Du vill hitta ett testverktyg för projektet Guru99 Bank. Du vill att detta verktyg ska uppfylla vissa specifika krav i projektet.

Automationsförbarhetsanalys

Tillbaka till exemplet ovan, beslutade projektgruppen att utveckla ett anpassat verktyg som kan möta projektets krav. Anta att de har fått 100 testfall att automatisera och de uppskattade 5 dagar att utveckla ett verktyg som kan automatisera alla av dessa testfall.

Här är resultatet av deras arbete

Som i scenariot ovan är problemet att testverktyget inte kan automatisera alla testfall av testspecifikation. Det betyder att inte alla applikationsfunktioner kan vara grundligt testat med testverktyget.

Om applikationens funktionalitet testas byter ofta eller är det också komplicerad, är det svårt att skapa testautomatisering för alla applikationsfunktionerna, eftersom varje verktyg har sina egna begränsningar.

Om du inte vill vara i en sådan situation, innan du väljer testverktyget, måste du analysera testfallen och bestämma vilka testfall som ska automatiseras och vilka testfall som inte ska. Det här är Automationsförbarhetsanalys aktivitet.

Automation Feasibility Analysis är den mycket betydande bidragsgivaren i testning. I denna analys måste du kontrollera om applikationen som testas är kvalificerad för automatiserat test.

Några faktorer du behöver tänka på:

För att veta mer om dessa faktorer kan du använda en checklista som ingår i denna artikel

Hur man väljer det bästa automationstestverktyget

För att välja det mest lämpliga testverktyget för projektet bör testhanteraren följa verktygsvalsprocessen nedan

Steg 1) Identifiera kravet på verktyg

Hur kan du välja ett testverktyg om du inte vet vad du letar efter?

Du kan exakt identifiera dina testverktygskrav. Alla krav måste vara dokumenterat och Granskad av projektgrupper och styrelsen.

Tänk på följande exempel:

Steg 2) Utvärdera verktygen och leverantörerna

Efter att ha baserat kraven på verktyget bör testhanteraren

• Analysera de kommersiella och öppen källkodsverktyg som finns tillgängliga på marknaden, baserat på projektkravet.
• Skapa en listan över verktyg som bäst uppfyller dina kriterier
• En faktor du bör tänka på är försäljare. Du bör överväga säljarens rykte, support efter försäljning, uppdateringsfrekvens för verktyg etc. när du fattar ditt beslut.
• Utvärdera kvaliteten på verktyget genom att ta provanvändning och lansering av en pilot. Många leverantörer gör ofta testversioner av sin programvara tillgängliga för nedladdning

Steg 3) Uppskatta kostnad och nytta

För att säkerställa att testverktyget är fördelaktigt för verksamheten måste testchefen göra det balansera följande faktorer:

A kostnads-nyttoanalys bör utföras innan du skaffar eller bygger ett verktyg

Exempel: Efter att ha spenderat mycket tid på att undersöka testverktyg hittade projektgruppen det perfekta testverktyget för projektet Guru99 Banks webbplats. Utvärderingsresultaten drog slutsatsen att detta verktyg kunde

• Double den nuvarande produktiviteten för testkörning
• Minska ledningsinsatsen med 30 %

Men efter att ha diskuterat med programvaruleverantören upptäckte du att kosta av detta verktyg är för högt jämfört med värde och fördel som det kan tillföra teamarbetet.

I ett sådant fall kan balansera mellan kostnad och nytta av verktyget kan påverka det slutliga beslutet.

Steg 4) Ta det slutliga beslutet

För att fatta det slutgiltiga beslutet måste testledaren ha:

• Ha en stark medvetenhet av verktyget. Det betyder att du måste förstå vilken som är stark poäng och svag punkter på verktyget
• Balansera kostnad och nytta.

Även med timmar som ägnat åt att läsa programvarumanualen och leverantörsinformation, kan du fortfarande behöva prova verktyget i din faktiska arbetsmiljö innan du köper licensen.

Du bör ha mötet med projektgruppen, konsulter för att få den djupare kunskapen om verktyget.

Ditt beslut kan ha en negativ inverkan på projektet, testprocessen och affärsmålen; du bör ägna en god tid åt att tänka ordentligt på det.

Saker att tänka på när du väljer ett testhanteringsverktyg

Med det breda utbudet av tillgängliga alternativ är det lätt att bli förvirrad när du handlar efter ett testhanteringsverktyg. Detta är en opartisk guide som hjälper dig att få fram det bästa verktyget enligt dina behov.

I den här guiden kommer jag att ge dig de fem viktigaste men ofta ignorerade parametrarna när du väljer ditt testhanteringsverktyg. Men innan jag börjar, låt mig upprepa-

Jämför inte äpple och apelsiner

Det är inte meningsfullt att jämföra ett SaaS-verktyg på $30 per månad med ett kommersiellt verktyg på $6000 när din budget inte tillåter det. Det är viktigt att du filtrerar ditt verktyg med en lista baserad på BUDGET först. Om du har en budget, öppen källkod är ett bra alternativ. Även om kommersiella verktyg är dyra, erbjuder de bra stöd och är lätta att använda med massor av utbildningsmaterial.

Nästa sak du bör beräkna är kostnaden för din licens. För det måste du uppskatta hur länge testet ska slutföras och vilken metod du väljer att testa, detta hjälper dig att ta reda på vilken modell som skulle passa i din budget, till exempel om du vill betala som per registrerad användare, samtidig användare eller beständig användare. Vanligtvis är ihållande eller engångskostnader högre på grund av dess kapitalkostnad. För viss programvara behöver du körtidslicens. Alla leverantörer stöder inte körtidslicenser, så du måste ta hänsyn till kostnaden för körtidslicensen även om du funderar på att installera i olika maskiner.

När du väl har destillerat dina val baserat på budget, här är 5 mycket viktiga parametrar för att jämföra dina testhanteringsverktyg-

Tips #1 Test Management Tool bör förbättra produktiviteten

Testteam står inför branta utmaningar för att hänga med i snabba tekniska förändringar och behov av test på flera plattformar (både webbläsare och enheter). Eftersom manuell testning upptar större delen av testtiden är ett sätt att hantera denna utmaning att intensifiera automatiseringen. Men det finns andra områden för att förbättra effektiviteten hos ett verktyg som inkluderar effektiv testlabb/datahantering, releasehantering, insiktsfull rapportering bland annat. Att välja rätt testhanteringsverktyg kan i hög grad hjälpa till att förbättra dessa parametrar.

Låt oss titta på vad som krävs från ett testhanteringsverktyg ur produktivitetssynpunkt-

Granularitet av testinformation

Testhanteringsverktyget bör innehålla detaljerade informationsrapporter relaterade till testprocessen. Till exempel, vid testfallsfel är det alltid bra att veta vid vilket steg testet misslyckades istället för att veta att testfallet misslyckades som helhet. Oavsett vilka mindre ändringar som tillämpas under testningen, bör testhanteringsverktyget informera om ändringarna till motsvarande gruppmedlemmar. För enkel uppföljning och snabb åtgärd bör den också hålla en revisionsspår över ändringar, inklusive fullständig versionering av testfall. Dessutom bör testhanteringsverktyget spara testresultaten som en session och måste ha förmågan att jämföra testkörningsresultaten. De andra funktionerna som förväntas från ett standardverktyg för testhantering är dokumentera teststrategi, planera testexekvering, skapande av defekter, länka berättelser, etc. En videouppladdningsfunktion och API-stöd skulle vara en grädde på moset.

Release Management Tracking (DevOps)

Programvaruversioner är komplexa med flera aktiviteter (som spårning av byggversion, koordinering av team och insyn i releaser) som alla sker samtidigt. Ett bra testhanteringsverktyg måste ha en robust spårningsförmåga för releasehantering som håller register över listan över programvaran som testas och släpps, så att den inte kommer i konflikt med andra testartefakter. Den bör också kunna hantera alla projektartefakter i en miljö.

Testhanteringsverktyget måste ge en enda bild av kraven för alla intressenter. Samarbete med intressenter garanterar att rätt krav fångas upp. Verktyget ska kunna spåra kopplingarna mellan andra utvecklingstillgångar och krav.

För distribuerade team bör det tillhandahålla ett enda delat arkiv för att samarbeta och dela krav, utvärdera länkade defekter och förstå deras relation till tester.

För kvalitet och konsekvens måste ditt testhanteringsverktyg genomdriva standardisering.

Rapportering

Det är ett kaos om ditt testteam vet hur många defekter som är öppna i releasen men inte vet hur lång tid det kommer att ta att lösa det. För att övervaka testaktiviteterna är testingenjörer mycket beroende av de rapporter som genereras av testhanteringsverktyget. Ett pålitligt testhanteringsverktyg bör leverera följande information i sina rapporter som testplanens framsteg, testfallsförfattarstatus, testfall misslyckats och godkänts, teststatus per sviter, teststatus per område, testfall som ska automatiseras, och så vidare

Ditt testhanteringsverktyg bör ge full synlighet av utvecklaraktivitet och livscykelprocesser från kravhantering till testning och åtgärdande av defekter.

Ett bra testhanteringsverktyg bör bestå av följande attribut

• Diagram och instrumentpanel ska ge insikt om hur många av dina automatiserade tester som har körts eller väntar på att köras
• Bör lyfta fram vanliga testattribut som antalet testfall godkända/misslyckade/hoppade över, användarens arbetsbelastning, etc.
• Ta beslut om beredskapen för varje release
• Se dina automatiska testkörningar tillsammans med manuella testresultat

Tips #2 Agilt support

Efterfrågan på agilt på den nuvarande marknaden ökar, och den blir större för varje dag. Det är viktigt att ditt testhanteringsverktyg stödjer den agila metodiken. I Agile är kraven föränderliga och slutförs stegvis, ditt testhanteringsverktyg bör kunna tillgodose sådana krav. Det agila testhanteringsverktyget du väljer bör främja ett djupt partnerskap mellan utvecklare, testare och andra intressenter (grundläggande princip om agilt).

Det agila testhanteringsverktyget bör stödja

• Skapar berättelser
• Uppskattning
• Sprint eftersläpningsplanering
• Hastighetsdiagram och andra rapporter mm.
• Scrum och Kanban

I en Agile-miljö skulle testkörningsjämförelse med testhanteringsverktyg vara produktivt om du tittar på förändringar i defektfrekvensen per iteration. Även för Agile kommer testhanteringsverktyget att behöva hålla register över produktsläppet för varje iteration och eftersläpning

Tips #3 Extern integration

Automatiserad testfallsexekvering kan minska mycket börda från testingenjörer. Du bör välja ett testhanteringsverktyg som enkelt kan integreras med automatiseringsverktyg. Leta efter möjligheten att hantera testskript samt schemalägga och starta test både lokalt och på fjärrvärden. Det är också önskvärt att kunna lagra automationstestresultat i testhanteringsverktyget. Ditt testhanteringsverktyg måste stödja fortsatt integration. Den största fördelen med testhanteringsverktyget med CI är att tester startas automatiskt. Lanseringen kan triggas av allt som en källkodscommit från en utvecklare eller ett testfall med underliggande testautomatisering eller en schemalagd uppgift för en specifik tid. Den kontinuerliga integrationen skiljer sig åt i tid, detalj, riktning och granularitet.

För alla QA-team, integration av buggspårningsverktyg gör deras testprocess mycket enkel. Ett standardverktyg för testhantering som sömlöst integreras med SDLC-appen eller andra buggspårningsverktyg som JIRA, BugZilla, Mantis tillför mer värde till verktyget. Det bör tillåta användare, att länka buggar, att testa fallkörningsinstanser, för centraliserad hantering av din mjukvarutestprocess. Det bör också göra det möjligt för hela projektgruppen att arbeta tillsammans i en enda fråga samtidigt.

Integrationen av din supportdesk-system är en viktig funktion som alla testhanteringsverktyg bör tillhandahålla. En supportdesk-programvara eller på annat sätt känt som biljettsystem hjälper användarna att få en omedelbar lösning på deras problem. Det hjälper kunderna att få en överblick över alla öppna och stängda frågor.

API Stöd för anpassade integrationer är önskvärt.

Tips #4 Mobil

Ditt testhanteringsverktyg bör stödja mobila enheter och surfplattor.

Mobil support är extremt användbar för team som är på klientens plats, inte vid skrivbordet, eller för chefer som arbetar med team på olika geografiska platser.

Testhanteringsverktyget måste ha en fullständig (inte reducerad) funktionsuppsättning tillgänglig på mobilen.

Stöd för flera enheter och mobilt operativsystem är viktigt eftersom det med det ökade antalet enheter blir fler komplexiteter som plats, gester, accelerometrar och orienteringsproblem. När allt kommer omkring köper du aldrig en telefon och tror att den är kompatibel med ditt testhanteringsverktyg!

Tips #5 Support

Supportteamet hos leverantören av testhanteringsverktyg bör vara engagerad i att hjälpa sina kunder på alla möjliga sätt. Många testhanteringsverktyg är mer fokuserade på att skapa en glansig webbplats och annonser för att locka fler kunder. Men för kontinuerliga och upprepade affärer måste de fokusera på att leverera ett bästa supportstöd.

Det bästa testhanteringsverktyget bör ha funktioner som livechatt, telefonsamtal, FAQ & online användarguider, produktdokumentationsinformation, kunskapsbas, höja helpdesk biljett, etc. för att hjälpa sina kunder.

Många testhanteringsverktyg underlättar också live videokonferens med verktygsexperter för att lösa kundfrågor. Om livekonferensen inte är genomförbar bör demos eller inspelade videor relaterade till testhanteringsverktyget alltid vara tillgängliga på plats och kan nås när som helst. Medan för utvecklare, om verktyget tillhandahåller API eller anpassat integrationsstöd, måste demoskript och detaljerad dokumentation tillhandahållas.

Även om alla ovanstående supportkanaler kanske inte är tillgängliga för alla verktyg, bör du välja ett verktyg som ger din "föredragen” stödkanal.

Ytterligare en viktig och ofta bortglömd parameter är om verktygsleverantören är det Kundfokuserad? Här är några saker att tänka på när du väljer ditt testhanteringsverktyg-

• Verktygsgränssnittet bör vara användarvänligt och innehålla kundintegreringsfunktioner
• Det bör rymma flera språk och flera tidszoner
• Den bör ha en avancerad sökförmåga

Hoppas den här guiden hjälper dig att välja ett verktyg som bäst passar dina testbehov! För mer omfattande hantering av din applikations livscykel, kanske du vill utforska dessa ALM-verktyg.