Hoe selecteert u de beste automatiseringstesttool?

In het artikel Verbetering van testprocessen, je hebt de verbeterpunten geleerd van het project Guru99 Bank. Er wordt gebruik gemaakt van geautomatiseerde Testen in plaats van Handmatig testen. Maar teamleden kunnen u vragen:

Het beantwoorden van deze vraag is een uitdaging, omdat er veel factoren zijn waarmee rekening moet worden gehouden

• U wilt uw testactiviteiten ondersteunen met een softwaretool, maar u kent geen tools die momenteel op de markt verkrijgbaar zijn
• Welk type tool past het beste bij de vereisten en het projectbudget?
• Wie in het team beschikt over de vaardigheden om de tool te gebruiken zodra u deze hebt aangeschaft?

Het belang van de selectie van softwaretesttools

Succes in elke testautomatisering hangt af van het identificeren van de juiste tool voor automatisering. Het selecteren van de "juiste" testtool voor uw project is een van de beste manieren om het projectdoel te bereiken. Het volgende voorbeeld laat u het voordeel zien van de selectie van de testtool

Om de moeite van het testen te besparen, besloot het projectteam in het project Guru99 Bank een geautomatiseerde testtool te gebruiken voor de testuitvoering. Na vele vergaderingen heeft uw team een ​​geschikt hulpmiddel voor het project geselecteerd.

Een maand later kreeg je het rapport van het projectteam over deze tool

De resultaten zijn geweldig. De nieuwe geautomatiseerde tool heeft de testproductiviteit verdubbeld. Dat betekent dat we hebben bespaard 50% kosten van testuitvoering. Als u geïnteresseerd bent in meer opties voor uw projecten, bekijk dan deze lijst met geautomatiseerde testtools.

Dit is een voorbeeld van het voordeel van het gebruik van de testtool in het project. Door de juiste testtool te selecteren, kunt u de projectproductiviteit verbeteren en projectkosten besparen.

Type testtools

Er zijn veel soorten testtools waarmee Test Manager rekening kan houden bij het selecteren van de testtools.

Open source-tools

Open source tools zijn het programma waarin de broncode staat openlijk gepubliceerd voor gebruik en/of wijziging van het oorspronkelijke ontwerp, gratis.

Voor vrijwel elke fase van het testproces zijn open source tools beschikbaar Testgeval beheer aan Defect volgen. Vergeleken met commerciële tools Open source-tools hebben mogelijk minder functies.

Commerciële hulpmiddelen

Commerciële hulpmiddelen zijn de software die wordt geproduceerd voor de verkoop of voor commerciële doeleinden.

Commerciële tools hebben meer ondersteuning en meer functies van een leverancier dan open-sourcetools.

Aangepaste tools

Bij sommige testprojecten hebben de testomgeving en het testproces speciale kenmerken. Geen enkele open source of commerciële tool kan aan deze eis voldoen. Daarom moet de Testmanager de ontwikkeling van de aangepaste tool overwegen.

Voorbeeld: U wilt een testtool vinden voor het project Guru99 Bank. U wilt dat deze tool aan een specifieke vereiste van het project voldoet.

Haalbaarheidsanalyse van automatisering

Terugkomend op het bovenstaande voorbeeld besloot het projectteam een ​​tool op maat te ontwikkelen die aan de projectvereisten kon voldoen. Stel dat ze 100 testgevallen hebben gekregen om te automatiseren en dat ze 5 dagen nodig hebben om een ​​tool te ontwikkelen die dit kan automatiseren allen van die testgevallen.

Hier is het resultaat van hun werk

Net als in het bovenstaande scenario is het probleem dat de testtool niet alle testgevallen van de testspecificatie kan automatiseren. Het betekent dat Niet alles applicatiefuncties kunnen zijn grondig getest met behulp van de testtool.

Als de functionaliteit van de applicatie die wordt getest verandert vaak of is ook ingewikkeld, het is moeilijk om testautomatisering voor te creëren allen de applicatiefuncties, omdat elke tool zijn eigen tool heeft beperkingen.

Als u niet in een dergelijke situatie wilt komen, moet u, voordat u de testtool selecteert, de testgevallen analyseren en beslissen welke testgevallen moeten worden geautomatiseerd en welke testgevallen niet. Dit is de Haalbaarheidsanalyse van automatisering activiteit.

Automatiseringshaalbaarheidsanalyse levert een zeer belangrijke bijdrage aan het testen. Bij deze analyse moet u controleren of de applicatie die wordt getest, dat wel is bevoegd voor geautomatiseerde testen.

Enkele factoren waarmee u rekening moet houden:

Als u meer over deze factoren wilt weten, kunt u een checklist die in dit artikel is opgenomen

Hoe u de beste automatiseringstesttool selecteert

Om de meest geschikte testtool voor het project te selecteren, moet de testmanager het onderstaande selectieproces voor tools volgen

Stap 1) Identificeer de vereisten voor hulpmiddelen

Hoe kun je een testtool selecteren als je niet weet wat je zoekt?

U kunt uw vereisten voor testtools nauwkeurig identificeren. Alle vereisten moeten zijn gedocumenteerd en beoordeeld door projectteams en de directie.

Overweeg het volgende voorbeeld:

Stap 2) Evalueer de tools en leveranciers

Nadat de vereisten van de tool zijn vastgesteld, moet de testmanager dit doen

• Analyseer de commerciële en open source tools die op de markt beschikbaar zijn, op basis van de projectvereisten.
• Maak een shortlist van gereedschap die het beste aan uw criteria voldoet
• Een factor waarmee u rekening moet houden, is vendors. Houd bij het nemen van uw beslissing rekening met de reputatie van de leverancier, de after-sales ondersteuning, de frequentie van het updaten van het gereedschap, enz.
• Evalueer de kwaliteit van de tool door de proefgebruik en lancering van een pilot. Veel leveranciers stellen vaak proefversies van hun software beschikbaar om te downloaden

Stap 3) Schat de kosten en baten

Om ervoor te zorgen dat de testtool nuttig is voor het bedrijfsleven, moet de testmanager dat doen evenwicht de volgende factoren:

A kosten-batenanalyse moet worden uitgevoerd voordat u een gereedschap aanschaft of bouwt

Voorbeeld: Na veel tijd te hebben besteed aan het onderzoeken van testtools, vond het projectteam de perfecte testtool voor de projectwebsite van Guru99 Bank. De evaluatieresultaten concludeerden dat dit instrument dat wel zou kunnen

• Double de huidige productiviteit van testuitvoering
• Verminderen de managementinspanning met 30%

Na overleg met de softwareleverancier kwam u er echter achter dat de kosten van deze tool is te hoog in vergelijking met de waarde en voordeel die het kan bijdragen aan het teamwerk.

In dat geval is het evenwicht tussen kosten en baten van de tool kan de uiteindelijke beslissing beïnvloeden.

Stap 4) Neem de definitieve beslissing

Om de uiteindelijke beslissing te kunnen nemen, moet de Testmanager beschikken over:

• Elke ochtend sterk bewustzijn van het gereedschap. Het betekent dat je moet begrijpen wat de sterke punten en de zwak punten van het gereedschap
• Balans kosten en voordeel.

Zelfs als u urenlang de handleidingen van de software en informatie van de leverancier hebt gelezen, kan het zijn dat u de tool toch in uw eigen werkomgeving moet uitproberen voordat u de licentie koopt.

U zou een ontmoeting moeten hebben met het projectteam en de consultants om een ​​diepere kennis van de tool te krijgen.

Uw beslissing kan een negatieve invloed hebben op het project, het testproces en de bedrijfsdoelen; je moet er een goede tijd aan besteden om er goed over na te denken.

Dingen waarmee u rekening moet houden bij het kiezen van een testmanagementtool

Met het brede scala aan beschikbare keuzes raakt u gemakkelijk in de war tijdens het winkelen voor een testbeheertool. Dit is een onpartijdige gids om u te helpen de beste tool te vinden je behoeften.

In deze handleiding geef ik u de 5 belangrijkste, maar vaak genegeerde parameters bij het selecteren van uw testmanagementtool. Maar voordat ik begin, wil ik het herhalen:

Vergelijk geen appels en sinaasappels

Het heeft geen zin om een ​​SaaS-tool van $ 30 per maand te vergelijken met een volledige commerciële tool van $ 6000 als uw budget dit niet toelaat. Het is belangrijk dat u uw tool filtert met een lijst op basis van BEGROTING Eerst. Als je een beperkt budget hebt, open source is een goede optie. Hoewel commerciële tools duur zijn, bieden ze geweldige ondersteuning en zijn ze gemakkelijk te gebruiken en wordt er veel trainingsmateriaal meegeleverd.

Het volgende dat u moet berekenen, zijn de kosten voor uw licentie. Daarvoor moet u de duur van de testvoltooiing inschatten en welke testmethode u kiest. Dit zal u helpen erachter te komen welk model in uw budget zou passen, bijvoorbeeld of u wilt betalen als per geregistreerde gebruiker, gelijktijdige gebruiker of permanente gebruiker. Meestal zijn aanhoudende of eenmalige kosten hoger vanwege de kapitaaluitgaven. Voor bepaalde software heeft u een runtimelicentie nodig. Niet alle leveranciers ondersteunen runtime-licenties, dus u moet ook rekening houden met de runtime-licentiekosten als u overweegt om deze op verschillende machines te installeren.

Zodra u uw keuzes heeft gedestilleerd op basis van het budget, zijn hier 5 zeer belangrijke parameters om uw testmanagementtools te vergelijken:

Tip #1 Testmanagementtool moet de productiviteit verbeteren

Testteams worden geconfronteerd met grote uitdagingen om gelijke tred te houden met de snelle technologische veranderingen en de behoefte aan testen op meerdere platforms (zowel browsers als apparaten). Omdat handmatig testen het grootste deel van de testtijd in beslag neemt, is een manier om met deze uitdaging om te gaan het intensiveren van de automatisering. Maar er zijn nog andere gebieden waarop de efficiëntie van een tool kan worden verbeterd, waaronder effectief testlaboratorium-/databeheer, releasebeheer en inzichtelijke rapportage. Als u de juiste Test Management Tool mist, kan dit enorm helpen bij het verbeteren van deze parameters.

Laten we eens kijken naar wat er vanuit productiviteitsoogpunt nodig is van een Test Management Tool:

Granulariteit van testinformatie

De testmanagementtool moet gedetailleerde informatierapporten bevatten met betrekking tot het testproces. Bijvoorbeeld, bij mislukte testcases is het altijd handig om te weten in welke stap de test mislukte in plaats van te weten dat de testcase als geheel mislukte. Welke kleine wijzigingen er ook zijn aangebracht tijdens de test, de testmanagementtool moet de bijbehorende teamleden informeren over de wijzigingen. Voor eenvoudige follow-up en snelle actie moet het ook een audittrail van wijzigingen bijhouden, inclusief volledige versiebeheer van testcases. Ook moet de testmanagementtool testresultaten opslaan als een sessie en moet de mogelijkheid hebben om de testrunresultaten te vergelijken. De andere functies die van een standaard testmanagementtool worden verwacht, zijn: het documenteren van de teststrategie, het plannen van de testuitvoering, het creëren van defecten, het koppelen van verhalen, etc. Een video-uploadfunctie en API-ondersteuning zouden de kers op de taart zijn.

Releasebeheer bijhouden (DevOps)

Software Releases zijn complex met meerdere activiteiten (zoals het bijhouden van de buildversie, coördinatie van het team en transparantie van releases) die allemaal tegelijkertijd plaatsvinden. Een goede testmanagementtool moet een robuuste releasemanagementtrackingfunctie hebben die de lijst met geteste en uitgebrachte software bijhoudt, zodat deze niet in conflict komt met andere testartefacten. Ook moet het in staat zijn om alle projectartefacten in één omgeving te beheren.

De testmanagementtool moet één enkel overzicht van de vereisten voor alle belanghebbenden bieden. Samenwerking met stakeholders garandeert dat de juiste eisen worden vastgelegd. De tool moet de verbanden tussen andere ontwikkelingsmiddelen en -vereisten kunnen traceren.

Voor gedistribueerde teams zou het één enkele gedeelde opslagplaats moeten bieden om samen te werken en vereisten te delen, gekoppelde defecten te evalueren en hun relatie tot tests te begrijpen.

Voor kwaliteit en consistentie moet uw testmanagementtool standaardisatie afdwingen.

Rapportage

Het is een chaos als uw testteam weet hoeveel defecten er openstaan ​​in de release, maar niet weet hoe lang het gaat duren om ze op te lossen. Om de testactiviteiten te monitoren, zijn test engineers sterk afhankelijk van de rapporten die door de testmanagementtool worden gegenereerd. Een betrouwbare testmanagementtool zou de volgende informatie in hun rapporten moeten leveren, zoals voortgang testplan, auteursstatus testcase, testcase mislukt en geslaagd, teststatus per suites, teststatus per gebied, te automatiseren testcase, enz.

Uw testbeheertool moet volledig inzicht bieden in de activiteiten van ontwikkelaars en levenscyclusprocessen, van vereistenbeheer tot testen en het oplossen van defecten.

Een goede testmanagementtool moet de volgende kenmerken hebben

• Grafiek en dashboard moeten inzicht geven in hoeveel van uw geautomatiseerde tests zijn uitgevoerd of in afwachting zijn van uitvoering
• Moet algemene testkenmerken benadrukken, zoals het aantal geslaagde/mislukte/overgeslagen testgevallen, de werklast van de gebruiker, enz.
• Neem een ​​beslissing over de gereedheid van elke release
• Bekijk uw geautomatiseerde testruns samen met handmatige testresultaten

Tip #2 Flexibele ondersteuning

De vraag naar agile in de huidige markt neemt toe en wordt elke dag groter. Het is belangrijk dat uw testmanagementtool de agile methodologie ondersteunt. In Agile zijn de vereisten veranderlijk en worden ze stapsgewijs voltooid. Uw testmanagementtool moet in staat zijn om aan dergelijke vereisten te voldoen. De agile testmanagementtool van uw keuze moet een diepgaande samenwerking tussen ontwikkelaars, testers en andere belanghebbenden bevorderen (basisprincipe van agile).

De Agile testmanagementtool zou dit moeten ondersteunen

• Verhalen maken
• Schatting
• Sprint achterstand plannen
• Snelheidsgrafieken en andere rapporten etc.
• Scrum en Kanban

In een Agile-omgeving zou het vergelijken van testruns met behulp van een testmanagementtool productief zijn als je kijkt naar veranderingen in het aantal defecten per iteratie. Ook voor Agile zal de testmanagementtool de registratie van de productrelease voor elke iteratie en backlog moeten bijhouden.

Tip #3 Externe integratie

Geautomatiseerde uitvoering van testcases kan veel last van testingenieurs verminderen. U moet een testbeheertool selecteren waarmee u gemakkelijk kunt integreren automatiseringstools. Zoek naar de mogelijkheid om testscripts te beheren en tests te plannen en te starten, zowel lokaal als op de externe host. Ook is de mogelijkheid om automatiseringstestresultaten op te slaan in de testmanagementtool wenselijk. Uw testmanagementtool moet dit ondersteunen continue integratie. Het belangrijkste voordeel van de testmanagementtool met CI is dat tests automatisch worden gestart. De lancering kan worden geactiveerd door bijvoorbeeld een broncode-commit van een ontwikkelaar of een testcase met onderliggende testautomatisering of een geplande taak voor een specifieke tijd. De continue integratie verschilt in tijd, detail, richting en granulariteit.

Voor elk QA-team is de integratie van tool voor het volgen van bugs maakt hun testproces zeer eenvoudig. Een standaard testbeheertool die naadloos integreert met de SDLC-app of andere bugtrackingtools zoals JIRA, BugZilla en Mantis voegt meer waarde toe aan de tool. Het moet gebruikers in staat stellen bugs te koppelen, een case-run-instantie te testen, voor gecentraliseerd beheer van uw softwaretestproces. Het moet het ook mogelijk maken dat het hele projectteam tegelijkertijd aan één vraagstuk kan samenwerken.

De integratie van uw ondersteuningsdesk systeem is een belangrijke functie die elke testmanagementtool zou moeten bieden. Een supportdesksoftware of ook wel ticketsysteem genoemd, helpt gebruikers om direct een oplossing voor hun probleem te krijgen. Het helpt klanten om een ​​overzicht te krijgen van alle openstaande en gesloten problemen.

API Ondersteuning voor maatwerkintegraties is wenselijk.

Tip #4 Mobiel

Uw testbeheertool moet mobiele apparaten en tablets ondersteunen.

Mobiele ondersteuning is uiterst nuttig voor teams die zich op de locatie van de klant bevinden en niet aan het bureau, of voor managers die met teams op verschillende geografische locaties werken.

Voor de testbeheertool moet de volledige (niet beperkte) functieset beschikbaar zijn op mobiel.

Ondersteuning voor meerdere apparaten en mobiele besturingssystemen is belangrijk, want met de toename van het aantal apparaten zijn er meer complexiteiten zoals locatie, gebaren, accelerometers en oriëntatieproblemen. Je koopt immers nooit een telefoon met de gedachte dat deze compatibel is met je testmanagementtool!

Tip #5 Ondersteuning

Het ondersteuningsteam van de leverancier van testbeheertools moet zich inzetten om hun klanten op alle mogelijke manieren te helpen. Veel testbeheertools zijn meer gericht op het creëren van glanzende websites en advertenties om meer klanten aan te trekken. Maar voor continue en herhaalde zaken moeten ze zich concentreren op het leveren van de beste helpdeskondersteuning.

De beste testbeheertool zou functies moeten hebben zoals livechat, telefoongesprek, veelgestelde vragen en online gebruikershandleidingen, informatie over productdocumentatie, kennisbank, helpdeskticket aanmaken, enz. om hun klanten te helpen.

Veel testmanagementtools vergemakkelijken dit ook live videoconferentie met tool-experts om klantvragen op te lossen. Als de liveconferentie niet haalbaar is, moeten demo's of opgenomen video's met betrekking tot de testmanagementtool altijd ter plaatse beschikbaar zijn en op elk moment toegankelijk zijn. Terwijl voor ontwikkelaars, als de tool API- of aangepaste integratieondersteuning biedt, een demoscript en gedetailleerde documentatie moeten worden verstrekt.

Hoewel alle bovenstaande ondersteuningskanalen mogelijk niet voor alle tools beschikbaar zijn, moet u een tool selecteren die uw “bij voorkeurondersteuningskanaal.

Nog een belangrijke en vaak vergeten parameter is of de toolleverancier dat wel is Klantgericht? Hier zijn een paar dingen waarmee u rekening moet houden bij het selecteren van uw testbeheertool:

• De toolinterface moet gebruiksvriendelijk zijn en een klantintegratiefunctie bevatten
• Het moet geschikt zijn voor meerdere talen en meerdere tijdzones
• Het moet een geavanceerde zoekmogelijkheid hebben

Ik hoop dat deze gids helpt bij het selecteren van een tool die het beste bij uw testbehoeften past! Voor een uitgebreider beheer van de levenscyclus van uw toepassing kunt u deze onderzoeken ALM-hulpmiddelen.