Hoe selecteert u de beste automatiseringstesttool?

In het artikel Verbetering van testprocessenJe hebt de verbeterpunten van het project leren kennen. Guru99 Bank maakt gebruik van geautomatiseerde systemen. Testen in plaats van Handmatig testen. Maar teamleden kunnen u vragen:

Het beantwoorden van deze vraag is een uitdaging, omdat er veel factoren zijn waarmee rekening moet worden gehouden

• U wilt uw testactiviteiten ondersteunen met een softwaretool, maar u kent geen tools die momenteel op de markt verkrijgbaar zijn
• Welk type tool past het beste bij de vereisten en het projectbudget?
• Wie in het team beschikt over de vaardigheden om de tool te gebruiken zodra u deze hebt aangeschaft?

Het belang van de selectie van softwaretesttools

Succes in elke testautomatisering hangt af van het identificeren van de juiste tool voor automatisering. Het selecteren van de "juiste" testtool voor uw project is een van de beste manieren om het projectdoel te bereiken. Het volgende voorbeeld laat u het voordeel zien van de selectie van de testtool

In het project GuruOm de testwerkzaamheden te vereenvoudigen, besloot het projectteam van 99 Bank een geautomatiseerde testtool te gebruiken. Na vele vergaderingen selecteerde het team een ​​geschikte tool voor het project.

Een maand later kreeg je het rapport van het projectteam over deze tool

De resultaten zijn geweldig. De nieuwe geautomatiseerde tool heeft de testproductiviteit verdubbeld. Dat betekent dat we hebben bespaard 50% kosten van testuitvoering. Als u geïnteresseerd bent in meer opties voor uw projecten, bekijk dan deze lijst met geautomatiseerde testtools.

Dit is een voorbeeld van het voordeel van het gebruik van een testtool in een project. Het kiezen van de juiste testtool helpt je de projectproductiviteit te verbeteren en projectkosten te besparen.

Type testtools

Er zijn veel verschillende soorten testtools waaruit een testmanager kan kiezen bij de selectie ervan.

Open source-tools

Open source tools zijn het programma waarin de broncode staat openlijk gepubliceerd voor gebruik en/of wijziging van het oorspronkelijke ontwerp, gratis.

Voor vrijwel elke fase van het testproces zijn open source tools beschikbaar Testgeval beheer aan Defect trackoning. Open source tools hebben mogelijk minder functies dan commerciële tools.

Commerciële hulpmiddelen

Commerciële hulpmiddelen zijn de software die wordt geproduceerd voor de verkoop of voor commerciële doeleinden.

Commerciële tools hebben meer ondersteuning en meer functies van een leverancier dan open-sourcetools.

Aangepaste tools

Bij sommige testprojecten hebben de testomgeving en het testproces specifieke kenmerken. Geen enkele open-source of commerciële tool kan aan de eisen voldoen. Daarom moet de testmanager de ontwikkeling van een tool op maat overwegen.

Voorbeeld: Je wilt een testtool vinden voor het project. Guru99 Bank. Je wilt dat deze tool aan een specifieke eis van het project voldoet.

In welke categorie je ook valt, de volgende vraag is of je tests überhaupt geschikt zijn voor automatisering.

Haalbaarheidsanalyse van automatisering

Terugkomend op het bovenstaande voorbeeld besloot het projectteam een ​​tool op maat te ontwikkelen die aan de projectvereisten kon voldoen. Stel dat ze 100 testgevallen hebben gekregen om te automatiseren en dat ze 5 dagen nodig hebben om een ​​tool te ontwikkelen die dit kan automatiseren allen van die testgevallen.

Hier is het resultaat van hun werk

Net als in het bovenstaande scenario is het probleem dat de testtool niet alle testgevallen van de testspecificatie kan automatiseren. Het betekent dat Niet alles applicatiefuncties kunnen zijn grondig getest met behulp van de testtool.

Als de functionaliteit van de applicatie die wordt getest verandert vaak of is ook ingewikkeld, het is moeilijk om testautomatisering voor te creëren allen de applicatiefuncties, omdat elke tool zijn eigen tool heeft beperkingen.

Als u niet in een dergelijke situatie wilt komen, moet u, voordat u de testtool selecteert, de testgevallen analyseren en beslissen welke testgevallen moeten worden geautomatiseerd en welke testgevallen niet. Dit is de Haalbaarheidsanalyse van automatisering activiteit.

Automatiseringshaalbaarheidsanalyse levert een zeer belangrijke bijdrage aan het testen. Bij deze analyse moet u controleren of de applicatie die wordt getest, dat wel is bevoegd voor geautomatiseerde testen.

Enkele factoren waarmee u rekening moet houden:

Als u meer over deze factoren wilt weten, kunt u een checklist die in dit artikel is opgenomen

Hoe u de beste automatiseringstesttool selecteert

Om de meest geschikte testtool voor het project te selecteren, moet de testmanager het onderstaande selectieproces voor tools volgen

Stap 1) Identificeer de vereisten voor hulpmiddelen

Hoe kun je een testtool selecteren als je niet weet wat je zoekt?

U moet de vereisten voor uw testtool nauwkeurig vaststellen. Alle vereisten moeten zijn: gedocumenteerd en beoordeeld door projectteams en de directie.

Overweeg het volgende voorbeeld:

Stap 2) Evalueer de tools en leveranciers

Nadat de vereisten van de tool zijn vastgesteld, moet de testmanager dit doen

• Analyseer de commerciële en open source tools die op de markt beschikbaar zijn, op basis van de projectvereisten.
• Maak een shortlist van gereedschap die het beste aan uw criteria voldoet
• Een factor waarmee u rekening moet houden, is vendors. Houd bij het nemen van uw beslissing rekening met de reputatie van de leverancier, de after-sales ondersteuning, de frequentie van het updaten van het gereedschap, enz.
• Evalueer de kwaliteit van de tool door de proefgebruik en lancering van een pilot. Veel leveranciers stellen vaak proefversies van hun software beschikbaar om te downloaden

Stap 3) Schat de kosten en baten

Om ervoor te zorgen dat de testtool voordelen oplevert voor het bedrijf, moet de testmanager het volgende doen: evenwicht de volgende factoren:

A kosten-batenanalyse moet worden uitgevoerd voordat u een gereedschap aanschaft of bouwt

Voorbeeld: Na veel tijd te hebben besteed aan het onderzoeken van testtools, vond het projectteam de perfecte testtool voor het project. GuruWebsite van 99 Bank. Uit de evaluatie bleek dat deze tool kon

• Double de huidige productiviteit van testuitvoering
• Verminderen de managementinspanning met 30%

Na overleg met de softwareleverancier kwam u er echter achter dat de kosten De prijs van dit gereedschap is te hoog in vergelijking met de waarde en voordeel die het kan bijdragen aan het teamwerk.

In dat geval is het evenwicht De afweging tussen kosten en baten van het instrument kan de uiteindelijke beslissing beïnvloeden.

Stap 4) Neem de definitieve beslissing

Om de uiteindelijke beslissing te kunnen nemen, moet de Testmanager beschikken over:

• Elke ochtend sterk bewustzijn van het gereedschap. Het betekent dat je moet begrijpen wat de sterke punten en de zwak punten van het gereedschap
• Balance kosten en voordeel.

Zelfs als u urenlang de handleidingen van de software en informatie van de leverancier hebt gelezen, kan het zijn dat u de tool toch in uw eigen werkomgeving moet uitproberen voordat u de licentie koopt.

U zou een ontmoeting moeten hebben met het projectteam en de consultants om een ​​diepere kennis van de tool te krijgen.

Uw beslissing kan een negatieve invloed hebben op het project, het testproces en de bedrijfsdoelen; je moet er een goede tijd aan besteden om er goed over na te denken.

In stap 3 wordt u gevraagd de kosten af ​​te wegen tegen de baten. De onderstaande berekening zet die afweging om in een getal dat u kunt presenteren.

Hoe bereken je de ROI van geautomatiseerd testen?

Een kosten-batenanalyse loopt vaak vast omdat beide partijen vanuit hun eigen mening argumenteren. Een eenvoudig cijfer voor het rendement op de investering brengt het gesprek op basis van feiten, en de meeste directies verwachten die feiten te zien voordat ze de aanschaf van een tool goedkeuren.

De basisvergelijking is de kosten van het handmatig uitvoeren van de tests versus de totale kosten van het automatiseren ervan.

// Cost of one manual test cycle
Manual cost per cycle = Hours per cycle x Hourly rate

// One-off and recurring cost of automating
Automation cost = Tool licence + Script development + (Maintenance x Cycles)

// Return on investment across N cycles
ROI = ((Manual cost per cycle x N) - Automation cost) / Automation cost

Vier parameters bepalen of het getal positief uitvalt.

• Uitvoeringsfrequentie: Automatisering betaalt zich alleen terug door herhaling. Een testsuite die elke nacht wordt uitgevoerd, bereikt het break-evenpunt veel sneller dan een testsuite die slechts één keer per release wordt uitgevoerd.
• Scriptonderhoud: Dit is de kostenpost die de meeste teams over het hoofd zien. Een instabiele interface kan meer onderhoudsuren vergen dan de handmatige uitvoering die deze verving, en dat is precies de situatie die de bovenstaande haalbaarheidsanalyse beoogt te ondervangen.
• Licentiemodel: Licenties per gelijktijdige gebruiker, per benoemde gebruiker en eenmalige, permanente licenties leveren over een periode van drie jaar zeer verschillende kosten op. Modelleer de periode waarin u de tool daadwerkelijk wilt gebruiken.
• Voordelen die geen uren zijn: Snellere feedback, eerder ontdekte defecten en testers die tijd vrijmaken voor verkennend onderzoek, hebben echt waarde. Vermeld deze voordelen direct bij de afbeelding in plaats van ze er geforceerd in te proppen.

💡Tip: Bereken het break-evenpunt, dat wil zeggen het aantal cycli waarbij de kosten van automatisering gelijk zijn aan de kosten van handmatige uitvoering. Als het break-evenpunt na de levensduur van de release valt, is het automatiseren van die suite niet de moeite waard.tractive het gereedschap ziet eruit.

Dingen waarmee u rekening moet houden bij het kiezen van een testmanagementtool

Met het grote aanbod aan keuzemogelijkheden is het gemakkelijk om de weg kwijt te raken tijdens het winkelen.ping voor een testmanagementtool. Deze objectieve gids helpt je bij het vinden van de beste tool. je behoeften.

In deze handleiding geef ik u de 5 belangrijkste, maar vaak genegeerde parameters bij het selecteren van uw testmanagementtool. Maar voordat ik begin, wil ik het herhalen:

Vergelijk geen appels en sinaasappels

Het heeft geen zin om een ​​SaaS-tool van $ 30 per maand te vergelijken met een volledige commerciële tool van $ 6000 als uw budget dit niet toelaat. Het is belangrijk dat u uw tool filtert met een lijst op basis van BEGROTING Eerst. Als je een beperkt budget hebt, open source is een goede optie. Hoewel commerciële tools duur zijn, bieden ze uitstekende ondersteuning en zijn ze gebruiksvriendelijk, met veel trainingsmateriaal beschikbaar.

Het volgende dat u moet berekenen, zijn de kosten voor uw licentie. Daarvoor moet u de duur van de testvoltooiing inschatten en welke testmethode u kiest. Dit zal u helpen erachter te komen welk model in uw budget zou passen, bijvoorbeeld of u wilt betalen als per geregistreerde gebruiker, gelijktijdige gebruiker of permanente gebruikerDoorgaans zijn de kosten voor permanente of eenmalige software hoger vanwege de investeringskosten. Voor bepaalde software is een runtime-licentie vereist. Niet alle leveranciers bieden runtime-licenties aan, dus houd ook rekening met de kosten van een runtime-licentie als u de software op meerdere machines wilt installeren.

Zodra u uw keuzes heeft gedestilleerd op basis van het budget, zijn hier 5 zeer belangrijke parameters om uw testmanagementtools te vergelijken:

Tip #1 Testmanagementtool moet de productiviteit verbeteren

Testteams staan ​​voor grote uitdagingen om gelijke tred te houden met de snelle technologische veranderingen en de behoefte aan testen op meerdere platforms (zowel browsers als apparaten). Omdat handmatig testen het grootste deel van de testtijd in beslag neemt, is automatisering een mogelijke oplossing. Maar er zijn ook andere aspecten die de efficiëntie van een tool kunnen verbeteren, zoals effectief testlab-/datamanagement, releasemanagement en inzichtelijke rapportages. De juiste testmanagementtool kiezen kan enorm bijdragen aan de verbetering van deze parameters.

Laten we eens kijken naar wat er vanuit productiviteitsoogpunt nodig is van een Test Management Tool:

Granulariteit van testinformatie

De testmanagementtool moet gedetailleerde rapporten met informatie over het testproces bevatten. Bijvoorbeeld, bij een mislukte testcase is het altijd nuttig om te weten bij welke stap de test is mislukt, in plaats van dat de testcase in zijn geheel is mislukt. Alle kleine wijzigingen die tijdens het testen worden aangebracht, moeten door de testmanagementtool aan de betreffende teamleden worden gemeld. Voor een gemakkelijke opvolging en snelle actie moet er ook een auditlogboek van wijzigingen worden bijgehouden, inclusief volledige versiebeheer van testcases. Daarnaast moet de testmanagementtool de testresultaten als sessie opslaan en de mogelijkheid bieden om testresultaten te vergelijken. Andere functies die van een standaard testmanagementtool worden verwacht, zijn: het documenteren van de teststrategie, het plannen van de testuitvoering, het creëren van defecten, het koppelen van verhalen, etc. Een video-uploadfunctie en API-ondersteuning zouden de kers op de taart zijn.

Releasebeheer Tracking (DevOps-)

Software-releases zijn complex en omvatten meerdere activiteiten (zoals tracHet beheren van de buildversie, de coördinatie van het team en de transparantie van de releases moeten allemaal tegelijkertijd plaatsvinden. Een goede testmanagementtool moet robuuste releasemanagementfuncties hebben. tracEen systeem dat een overzicht bijhoudt van de software die wordt getest en uitgebracht, zodat er geen conflicten ontstaan ​​met andere testartefacten. Bovendien moet het in staat zijn om alle projectartefacten in één omgeving te beheren.

De testmanagementtool moet alle belanghebbenden een uniform overzicht van de vereisten bieden. Samenwerking met belanghebbenden garandeert dat de juiste vereisten worden vastgelegd. De tool moet in staat zijn om... trace de verbanden tussen andere ontwikkelingsmiddelen en -vereisten.

Voor gedistribueerde teams zou het één enkele gedeelde opslagplaats moeten bieden om samen te werken en vereisten te delen, gekoppelde defecten te evalueren en hun relatie tot tests te begrijpen.

Voor kwaliteit en consistentie moet uw testmanagementtool standaardisatie afdwingen.

Rapportage

Het is een chaos als je testteam wel weet hoeveel defecten er in de release zitten, maar niet hoe lang het gaat duren om ze op te lossen. Om de testactiviteiten te monitoren, zijn testengineers sterk afhankelijk van de rapporten die door een testmanagementtool worden gegenereerd. Een betrouwbare testmanagementtool moet de volgende informatie in de rapporten leveren: voortgang testplan, auteursstatus testcase, testcase mislukt en geslaagd, teststatus per suites, teststatus per gebied, te automatiseren testcase, enz.

Uw testbeheertool moet volledig inzicht bieden in de activiteiten van ontwikkelaars en levenscyclusprocessen, van vereistenbeheer tot testen en het oplossen van defecten.

Een goede testmanagementtool moet de volgende kenmerken hebben

• Grafiek en dashboard moeten inzicht geven in hoeveel van uw geautomatiseerde tests zijn uitgevoerd of in afwachting zijn van uitvoering
• Moet algemene testkenmerken benadrukken, zoals het aantal geslaagde/mislukte/overgeslagen testgevallen, de werklast van de gebruiker, enz.
• Neem een ​​beslissing over de gereedheid van elke release
• Bekijk uw geautomatiseerde testruns samen met handmatige testresultaten

Tip #2 Flexibele ondersteuning

De vraag naar agile in de huidige markt neemt toe en groeit met de dag. Het is belangrijk dat uw testmanagementtool de agile-methodologie ondersteunt. In agile zijn de eisen veranderlijk en worden ze incrementeel voltooid; uw testmanagementtool moet aan dergelijke eisen kunnen voldoen. De agile testmanagementtool van uw keuze moet een nauwe samenwerking tussen ontwikkelaars, testers en andere belanghebbenden bevorderen (een basisprincipe van agile).

De Agile testmanagementtool zou dit moeten ondersteunen

• Verhalen maken
• Schatting
• Sprint achterstand plannen
• Snelheidsgrafieken en andere rapporten etc.
• Scrum en Kanban

In een Agile-omgeving is het vergelijken van testruns met behulp van een testmanagementtool nuttig als je veranderingen in het aantal defecten per iteratie wilt analyseren. Voor Agile is het bovendien belangrijk dat de testmanagementtool de productreleases voor elke iteratie en de backlog bijhoudt.

Tip #3 Externe integratie

Geautomatiseerde uitvoering van testcases kan veel last van testingenieurs verminderen. U moet een testbeheertool selecteren waarmee u gemakkelijk kunt integreren automatiseringstoolsZoek naar een tool waarmee je testscripts kunt beheren en tests kunt plannen en uitvoeren, zowel lokaal als op de externe host. Ook is het wenselijk dat je de resultaten van geautomatiseerde tests kunt opslaan in de testmanagementtool. Je testmanagementtool moet dit ondersteunen. continue integratie. Het belangrijkste voordeel van de testmanagementtool met CI is dat tests automatisch worden gestart. De lancering kan worden geactiveerd door bijvoorbeeld een broncode-commit van een ontwikkelaar of een testcase met onderliggende testautomatisering of een geplande taak voor een specifieke tijd. De continue integratie verschilt in tijd, detail, richting en granulariteit.

Voor elk QA-team is de integratie van kever trackoning gereedschap maakt hun testproces erg eenvoudig. Een standaard testmanagementtool die naadloos integreert met SDLC-apps of andere bugrapportagetools. tracKingtools zoals JIRA, BugZilla en Mantis voegen meer waarde toe aan de tool. Ze moeten gebruikers in staat stellen bugs te koppelen aan testcases en zo het softwaretestproces centraal te beheren. Bovendien moet het hele projectteam tegelijkertijd aan één probleem kunnen werken.

De integratie van uw ondersteuningsdesk systeem Een belangrijke functie die elke testmanagementtool zou moeten bieden, is een supportdesksoftware, ook wel bekend als ticketsysteem. Hiermee kunnen gebruikers direct een oplossing voor hun probleem krijgen. Klanten krijgen zo een overzicht van alle openstaande en gesloten problemen.

API Ondersteuning voor maatwerkintegraties is wenselijk.

Tip #4 Mobiel

Uw testbeheertool moet mobiele apparaten en tablets ondersteunen.

Mobiele ondersteuning is uiterst nuttig voor teams die zich op de locatie van de klant bevinden en niet aan het bureau, of voor managers die met teams op verschillende geografische locaties werken.

Voor de testbeheertool moet de volledige (niet beperkte) functieset beschikbaar zijn op mobiel.

Ondersteuning voor meerdere apparaten en mobiele besturingssystemen is belangrijk, want met de toename van het aantal apparaten zijn er meer complexiteiten zoals locatie, gebaren, accelerometers en oriëntatieproblemen. Je koopt immers nooit een telefoon met de gedachte dat deze compatibel is met je testmanagementtool!

Tip #5 Ondersteuning

Het supportteam van de leverancier van de testmanagementtool moet zich inzetten om hun klanten op alle mogelijke manieren te helpen. Veel testmanagementtools zijn meer gericht op het creëren van gelikte websites en advertenties.tract meer klanten. Maar voor continue en terugkerende opdrachten moeten ze zich richten op het leveren van de beste helpdeskondersteuning.

De beste testbeheertool zou functies moeten hebben zoals livechat, telefoongesprek, veelgestelde vragen en online gebruikershandleidingen, informatie over productdocumentatie, kennisbank, helpdeskticket aanmaken, enz. om hun klanten te helpen.

Veel tools voor testmanagement faciliteren dit ook. live videoconferentie met experts die gespecialiseerd zijn in de tool om vragen van klanten te beantwoorden. Als een live conferentie niet mogelijk is, moeten er altijd demo's of opgenomen video's beschikbaar zijn met betrekking tot de testmanagementtool, die op elk moment toegankelijk zijn. Voor ontwikkelaars geldt dat als de tool API- of maatwerkintegratieondersteuning biedt, er een demoscripte en gedetailleerde documentatie beschikbaar moeten zijn.

Hoewel alle bovenstaande ondersteuningskanalen mogelijk niet voor alle tools beschikbaar zijn, moet u een tool selecteren die uw “bij voorkeurondersteuningskanaal.

Nog een belangrijke en vaak vergeten parameter is of de toolleverancier dat wel is Klantgericht? Hier zijn een paar dingen waarmee u rekening moet houden bij het selecteren van uw testbeheertool:

• De toolinterface moet gebruiksvriendelijk zijn en een klantintegratiefunctie bevatten
• Het moet geschikt zijn voor meerdere talen en meerdere tijdzones
• Het moet een geavanceerde zoekmogelijkheid hebben

Ik hoop dat deze gids helpt bij het selecteren van een tool die het beste bij uw testbehoeften past! Voor een uitgebreider beheer van de levenscyclus van uw toepassing kunt u deze onderzoeken ALM-hulpmiddelen.

Veelgestelde vragen