Kuidas valida parim automatiseerimise testimise tööriist?

Artiklis Testimisprotsessi täiustamine, õppisite parenduspunkte projekti Guru99 pangast. See kasutab automatiseerimist Testimine asemel Käsitsi testimine. Kuid meeskonnaliikmed võivad teilt küsida -

Parim automatiseerimise testimise tööriist

Sellele küsimusele vastamine on keeruline, kuna tuleb arvestada paljude teguritega

  • Soovite oma testimistegevust tarkvaratööriista abil toetada, kuid te ei tea hetkel turul saadaolevaid tööriistu
  • Millist tüüpi tööriist sobib kõige paremini nõudega ja projekti eelarvega?
  • Kellel meeskonnast on oskusi tööriista kasutada pärast selle ostmist

Tarkvara testimise tööriista valiku tähtsus

Iga testimise automatiseerimise edu sõltub automatiseerimiseks sobiva tööriista tuvastamisest. Projekti jaoks “õige” testimistööriista valimine on üks parimaid viise projekti eesmärgi saavutamiseks. Järgmine näide näitab teile testimistööriistade valiku eeliseid

Projektis Guru99 Bank otsustas testimisvaeva säästmiseks projektimeeskond kasutada testi läbiviimiseks automatiseeritud testimistööriista. Pärast paljusid kohtumisi valis teie meeskond projekti jaoks sobiva tööriista.

Kuu aega hiljem saite projektimeeskonnalt selle tööriista kohta aruande

Tarkvara testimise tööriista valiku tähtsus

Tulemused on suurepärased. Uus automatiseeritud tööriist kahekordistas testimise tootlikkust. See tähendab, et päästsime 50% testi teostamise maksumus. Kui soovite oma projektide jaoks rohkem võimalusi uurida, vaadake seda loendit automatiseeritud testimistööriistad.

See on näide testimisvahendi kasutamise eelistest projektis. Õige testimistööriista valimine aitab teil parandada projekti tootlikkust ja säästa projekti kulusid.

Testitööriistade tüüp

Testitööriistu on mitut tüüpi, mida testihaldur võib testiriistade valimisel arvesse võtta.

Testitööriistade tüüp

Avatud lähtekoodiga tööriistad

Avatud lähtekoodiga tööriistad on programm, milles on lähtekood avalikult avaldatud kasutamiseks ja/või algse kujunduse muutmiseks, tasuta.

Avatud lähtekoodiga tööriistad on saadaval peaaegu igas testimise etapis alates Testjuhtum juhtkonnale Defekt jälgimine. Võrreldes kaubanduslike tööriistadega võib avatud lähtekoodiga tööriistadel olla vähem funktsioone.

Kaubanduslikud tööriistad

Kaubandustööriistad on tarkvara, mis on toodetud müügiks või ärilistel eesmärkidel.

Kaubandustööriistadel on müüjalt rohkem tuge ja rohkem funktsioone kui avatud lähtekoodiga tööriistadel.

Kohandatud tööriistad

Mõne testimisprojekti puhul on testimiskeskkonnal ja testimisprotsessil eriomadused. Ükski avatud lähtekoodiga või kaubanduslik tööriist ei vasta sellele nõudele. Seetõttu peab testihaldur kaaluma kohandatud tööriista väljatöötamist.

Näide: soovite leida projekti Guru99 panga testimistööriista. Soovite, et see tööriist vastaks mõnele projekti konkreetsele nõudele.

Kohandatud tööriistad

Automatiseerimise teostatavuse analüüs

Tagasi ülaltoodud näite juurde, otsustas projektimeeskond välja töötada kohandatud tööriista, mis vastab projekti nõuetele. Oletame, et neile on antud automatiseerimiseks 100 testjuhtumit ja hinnanguliselt viis päeva automatiseerimiseks vajaliku tööriista väljatöötamiseks. kõik nendest testjuhtumitest.

Siin on nende töö tulemus

Automatiseerimise teostatavuse analüüs

Nagu ülaltoodud stsenaariumi puhul, on probleem selles, et testimistööriist ei saa kõiki testi spetsifikatsiooni testjuhtumeid automatiseerida. See tähendab seda mitte kõik rakenduse funktsioonid võivad olla põhjalikult testitud testimisvahendiga.

Kui testitava rakenduse funktsionaalsus muutub sageli või on ka keeruline, on keeruline luua testimise automatiseerimist kõik rakenduse funktsioone, sest igal tööriistal on oma piirangud.

Kui te ei soovi sellises olukorras olla, peate enne testimisvahendi valimist analüüsima testjuhtumeid ja otsustama, millised testjuhtumid tuleks automatiseerida ja millised mitte. See on Automatiseerimise teostatavuse analüüs tegevus.

Automatiseerimise teostatavuse analüüs on testimisel väga oluline panus. Selles analüüsis peate kontrollima, kas testitav rakendus on kvalifitseeritud automaatse testi jaoks.

Mõned tegurid, mida peate arvestama:

Automatiseerimise teostatavuse analüüs

Nende tegurite kohta lisateabe saamiseks võite kasutada a kontrollnimekiri mis sisaldub selles artiklis

Kuidas valida parim automatiseerimise testimise tööriist

Projekti jaoks sobivaima testimisvahendi valimiseks peaks testijuht järgima alltoodud tööriistade valimise protsessi

Valige parim automatiseerimise testimise tööriist

1. samm) Tehke kindlaks tööriistade nõue

Kuidas valida testimistööriista, kui te ei tea, mida otsite?

Tehke kindlaks tööriistade nõue

Saate täpselt määratleda oma katsetööriistade nõuded. Kõik nõuded peavad olema dokumenteeritud ja -Läbi projektimeeskondade ja juhatuse poolt.

Kaaluge järgmist näidet:

Soovite leida Guru99 panga projekti testimistööriista. Mida sa tööriistalt ootad?

A) Tööriist suudab testjuhtumid automaatselt genereerida

B) Tööriist suudab genereerida testitulemuse soovitud vormingus

C) Testija saab valida, milliseid testjuhtumeid antud testandmete komplektiga käivitada

D) Tööriist saab katsejuhtumit automaatselt käivitada

E) Tööriist saab hinnata ja teostada testiväljundi valideerimist ning märkida testjuhtumite läbimine või ebaõnnestumine

F) Kõik ülaltoodud esemed

Vale
Korrektne

2. samm) hinnake tööriistu ja tarnijaid

Testihaldur peaks pärast tööriista nõuete baasjoonistamist

  • Analüüsige turul saadaolevaid kommerts- ja avatud lähtekoodiga tööriistu, võttes aluseks projekti nõuded.
  • Loo tööriistade nimekirja mis vastab teie kriteeriumidele kõige paremini
  • Üks tegur, mida peaksite kaaluma, on müüjad. Otsuse tegemisel peaksite kaaluma müüja mainet, müügijärgset tuge, tööriistade värskendamise sagedust jne.
  • Hinnake tööriista kvaliteeti, võttes arvesse proovikasutus ja pilootprogrammi käivitamine. Paljud müüjad teevad sageli allalaadimiseks kättesaadavaks oma tarkvara prooviversioonid

3. samm) Hinnake kulusid ja tulusid

Testitööriista äritegevusele kasulikkuse tagamiseks peab testihaldur seda tegema tasakaal järgmised tegurid:

Hinnake kulusid ja tulusid

A tasuvusanalüüs tuleks teha enne tööriista soetamist või ehitamist

Näide: Olles kulutanud palju aega testimistööriistade uurimisele, leidis projektimeeskond projekti Guru99 panga veebisaidi jaoks ideaalse testimistööriista. Hindamistulemustes jõuti järeldusele, et see tööriist võib

  • Double testi täitmise praegune tootlikkus
  • Vähendama juhtimise jõupingutusi 30% võrra

Kuid pärast tarkvaramüüjaga arutamist avastasite, et hind selle tööriista väärtus on liiga kõrge võrreldes väärtus ja kasu mida see võib meeskonnatööle kaasa tuua.

Sellisel juhul on tasakaal tööriista maksumuse ja tulu vahel võib lõplikku otsust mõjutada.

4. samm) Tehke lõplik otsus

Tehke lõplik otsus

Lõpliku otsuse tegemiseks peab testihalduril olema:

  • Kas tugev teadlikkus tööriistast. See tähendab, et peate mõistma, mis on tugev punktid ja nõrk tööriista punktid
  • Saldo kulu ja kasu.

Isegi kui tarkvara käsiraamatu ja müüja teabe lugemisele kulub tunde, peate võib-olla proovima tööriista oma tegelikus töökeskkonnas enne litsentsi ostmist.

Tööriista kohta sügavamate teadmiste saamiseks peaksite kohtuma projektimeeskonna ja konsultantidega.

Teie otsus võib projekti, testimisprotsessi ja ärieesmärke negatiivselt mõjutada; sa peaksid veetma hea aja, et selle üle järele mõelda.

Asjad, mida testihaldustööriista valimisel arvestada

Saadaolevate valikute laia valiku tõttu on testihaldustööriista ostes lihtne segadusse sattuda. See on erapooletu juhend, mis aitab teil leida parima tööriista teie vajadused.

Selles juhendis annan teile testihaldustööriista valimisel 5 kõige olulisemat, kuid sageli tähelepanuta jäetud parameetrit. Aga enne kui alustan, lubage mul korrata -

Ärge võrrelge õuna ja apelsine

Ei ole mõtet võrrelda 30-dollarist kuus SaaS-tööriista 6000-dollarise kommertstööriistaga, kui teie eelarve seda ei võimalda. On oluline, et filtreeriksite oma tööriista loendi alusel EELARVE esiteks. Kui eelarve on piiratud, avatud lähtekoodiga on hea variant. Kuigi kaubanduslikud tööriistad on kallid, pakuvad need suurepärast tuge ja on hõlpsasti kasutatavad, kuna saadaval on palju koolitusmaterjale.

Järgmine asi, mida peaksite arvutama, on teie litsentsi maksumus. Selleks peate hindama testi lõpuleviimise kestust ja testimismeetodit. See aitab teil välja selgitada, milline mudel sobiks teie eelarvesse, näiteks kas soovite maksta registreeritud kasutaja, samaaegse kasutaja või püsikasutaja kohta. Tavaliselt on püsivad või ühekordsed kulud suuremad selle kapitalikulude tõttu. Teatud tarkvara jaoks on teil vaja käitusaja litsentsi. Kõik müüjad ei toeta käitusaja litsentse, seega peate arvestama käitusaja litsentsi kuludega ka siis, kui kavatsete installida erinevatesse masinatesse.

Kui olete oma valikud eelarve alusel destilleerinud, on siin 5 väga olulist parameetrit, et võrrelda oma testihaldustööriistu.

Näpunäide nr 1 Testihaldustööriist peaks tootlikkust parandama

Testihaldustööriist peaks parandama tootlikkust

Testimismeeskonnad seisavad silmitsi tõsiste väljakutsetega, et pidada sammu kiirete tehnoloogiliste muutustega ja testimise vajadusega mitmel platvormil (nii brauserites kui ka seadmetes). Kuna käsitsi testimine võtab suurema osa testimisajast, on üks viis selle väljakutsega toimetulemiseks suurendada automatiseerimist. Kuid tööriista tõhususe parandamiseks on ka teisi valdkondi, mis hõlmavad muu hulgas tõhusat katselaborit/andmete haldamist, väljalaskehaldust ja põhjalikku aruandlust. Õige testihaldustööriista valimine võib neid parameetreid oluliselt parandada.

Vaatame, mida testihaldustööriistalt nõutakse tootlikkuse seisukohast.

Testiteabe detailsus

Testihaldustööriist peaks sisaldama testimisprotsessiga seotud üksikasjalikke teabearuandeid. Näiteks testjuhtumi ebaõnnestumise korral on alati kasulik teada, millisel etapil test ebaõnnestus, selle asemel, et teada, et testjuhtum ebaõnnestus tervikuna. Ükskõik milliseid väiksemaid muudatusi testimise ajal rakendati, peaks testihaldustööriist teavitama muudatustest vastavaid meeskonnaliikmeid. Lihtsaks jälgimiseks ja kiireks tegutsemiseks peaks see säilitama ka muudatuste kontrolljälje, sealhulgas testjuhtumite täisversiooni. Samuti peaks testihaldustööriist salvestama testi tulemused seansina ja sellel peab olema võimalus testimise tulemusi võrrelda. Muud funktsioonid, mida standardtestihaldustööriistadelt oodatakse, on testistrateegia dokumenteerimine, testi läbiviimise planeerimine, defektide loomine, lugude sidumine, jne. Video üleslaadimise funktsioon ja API tugi oleks kirsiks tordil.

Väljalaskehalduse jälgimine (DevOps)

Tarkvaraväljalasked on keerulised, kuna kõik tegevused (nt järgu versiooni jälgimine, meeskonna koordineerimine ja väljalasete läbipaistvus) toimuvad korraga. Heal testihaldustööriistal peab olema tugev väljalaskehalduse jälgimise võimalus, mis säilitab testitava ja välja antud tarkvara loendi, nii et see ei läheks vastuollu muude testartefaktidega. Samuti peaks see suutma hallata kõiki projekti artefakte ühte keskkonda.

Testihaldustööriist peab pakkuma kõikidele sidusrühmadele ühtse ülevaate nõuetest. Koostöö sidusrühmadega tagab õigete nõuete täitmise. Tööriist peaks suutma jälgida seoseid muude arendusvarade ja nõuete vahel.

Jaotatud meeskondade jaoks peaks see pakkuma üht ühishoidlat, et teha koostööd ja jagada nõudeid, hinnata lingitud defekte ja mõista nende seost testidega.

Kvaliteedi ja järjepidevuse tagamiseks peab teie testihaldustööriist jõustama standardimise.

Aruandlus

Aruandlus

See on kaos, kui teie testimismeeskond teab, kui palju defekte versioonis on, kuid ei tea, kui kaua selle kõrvaldamine aega võtab. Testimistoimingute jälgimiseks sõltuvad testiinsenerid suuresti testihaldustööriista genereeritud aruannetest. Usaldusväärne testihaldustööriist peaks oma aruannetes esitama järgmist teavet testiplaani edenemine, testjuhtumi loomise olek, testjuhtum ebaõnnestus ja läbitud, testi olek komplektide kaupa, testi olek piirkondade kaupa, testjuhtum automatiseeritav, ja nii edasi

Teie testihaldustööriist peaks võimaldama arendaja tegevuse ja elutsükli protsesside täielikku nähtavust alates nõuete haldusest kuni testimise ja defektide parandamiseni.

Hea testihaldustööriist peaks sisaldama järgmisi atribuute

  • Graafik ja armatuurlaud peaksid andma ülevaate sellest, kui palju teie automaatteste on käivitunud või ootab täitmist
  • Peaks esile tõstma levinud testiatribuudid, nagu läbitud/ebaõnnestunud/vahele jäetud testjuhtumite arv, kasutaja töökoormus jne.
  • Tehke otsus iga väljalaske valmisoleku kohta
  • Vaadake oma automaatseid katseid koos käsitsi testimise tulemustega

Näpunäide nr 2 Agiilne tugi

Nõudlus agile järele praegusel turul kasvab ja see muutub iga päevaga suuremaks. On oluline, et teie testihaldustööriist toetaks agiilset metoodikat. Agile'is on nõuded muudetavad ja neid täidetakse järk-järgult, teie testihaldustööriist peaks suutma selliseid nõudeid rahuldada. Teie valitud agiilne testihaldustööriist peaks edendama sügavat partnerlust arendajate, testijate ja teiste sidusrühmade vahel (agiilsuse põhiprintsiip).

Agile testihaldustööriist peaks toetama

  • Lugude loomine
  • Hinnang
  • Sprint mahajäämuse planeerimine
  • Kiirusgraafikud ja muud aruanded jne.
  • Scrum ja Kanban

Agiilses keskkonnas oleks testkäitamise võrdlemine testihaldustööriistaga produktiivne, kui vaatate defektide määrade muutusi iteratsiooni kohta. Ka Agile'i puhul peab testihaldustööriist pidama arvestust iga iteratsiooni ja mahajäämuse kohta toote väljalaske kohta.

Vihje nr 3 Väline integreerimine

Automaatne testjuhtumi täitmine võib vähendada testiinseneride koormust. Peaksite valima testihaldustööriista, mis on hõlpsasti integreeritav automaatika tööriistad. Otsige võimalust hallata testskripte ning ajastada ja käivitada testi nii kohapeal kui ka kaughostis. Samuti on soovitav automatiseerimistesti tulemuste salvestamise võimalus testihaldustööriistas. Teie testihaldustööriist peab toetama pidev integratsioon. CI-ga testihaldustööriista peamine eelis on see, et testid käivituvad automaatselt. Käivitamise võib käivitada mis tahes, näiteks arendaja lähtekoodi kohustamine või testimise aluseks oleva testimise automatiseerimisega testjuhtum või ajastatud ülesanne konkreetseks ajaks. Pidev integreerimine erineb aja, detailide, suuna ja detailsuse poolest.

Iga QA meeskonna jaoks integreerimine vigade jälgimise tööriist muudab nende testimise protsessi väga lihtsaks. Standardne testihaldustööriist, mis integreerub sujuvalt SDLC rakendusega või muude vigade jälgimise tööriistadega, nagu JIRA, BugZilla, Mantis, lisab tööriistale rohkem väärtust. See peaks võimaldama kasutajatel linkida vigu, testida juhtumi käitamise eksemplari, et hallata teie tarkvara testimise protsessi tsentraliseeritud kujul. Samuti peaks see võimaldama kogu projektimeeskonnal ühe probleemi kallal samaaegselt koostööd teha.

Teie integreerimine tugilaua süsteem on oluline funktsioon, mida iga testihaldustööriist peaks pakkuma. Tugilaua tarkvara või muul viisil tuntud piletisüsteem aitab kasutajatel leida oma probleemile kohese lahenduse. See aitab klientidel saada ülevaadet kõigist avatud ja suletud probleemidest.

API Soovitav on kohandatud integratsioonide tugi.

Näpunäide nr 4 Mobiil

mobiilne

Teie testihaldustööriist peaks toetama mobiilseadmeid ja tahvelarvuteid.

Mobiilne tugi on väga kasulik meeskondadele, kes on kliendi asukohas, mitte laua taga, või juhtidele, kes töötavad erinevates geograafilistes asukohtades asuvate meeskondadega.

Testihaldustööriistal peab olema mobiilis saadaval täielik (mitte vähendatud) funktsioonide komplekt.

Mitme seadme ja mobiilse OS-i tugi on oluline, kuna seadmete arvu suurenemisega kaasnevad keerulisemad probleemid, nagu asukoht, žest, kiirendusmõõturid ja orientatsiooniprobleemid. Lõppude lõpuks ei osta te kunagi telefoni, arvates, et see ühildub teie testihaldustööriistaga!

Vihje nr 5 tugi

Toetus

Testihaldustööriistade müüja tugimeeskond peaks olema pühendunud oma kliente igal võimalikul viisil aitama. Paljud testihaldustööriistad on rohkem keskendunud läikivate veebisaitide ja reklaamide loomisele, et meelitada rohkem kliente. Kuid pideva ja korduva äritegevuse jaoks peavad nad keskenduma parima kasutajatoe pakkumisele.

Parimal testihaldustööriistal peaksid olema sellised funktsioonid nagu reaalajas vestlus, telefonikõne, KKK-d ja veebipõhised kasutusjuhendid, tootedokumentatsiooni teave, teadmistebaas, kasutajatoe pileti kogumine, jne, et aidata oma kliente.

Samuti hõlbustavad paljud testihaldustööriistad reaalajas videokonverents koos tööriistaekspertidega klientide päringute lahendamiseks. Kui reaalajas konverents pole võimalik, peaksid testihaldustööriistaga seotud demod või salvestatud videod olema alati kohapeal kättesaadavad ja igal ajal juurdepääsetavad. Kui tööriist pakub API või kohandatud integratsiooni tuge, tuleb arendajatele esitada demoskript ja üksikasjalik dokumentatsioon.

Kuigi kõik ülaltoodud tugikanalid ei pruugi kõigi tööriistade jaoks saadaval olla, peaksite valima tööriista, mis pakub teie "eelistatud” tugikanal.

Veel üks oluline ja sageli unustatud parameeter on see, kas tööriista müüja on Klient on keskendunud? Siin on mõned asjad, mida testihaldustööriista valimisel arvestada –

  • Tööriista liides peaks olema kasutajasõbralik ja sisaldama klientide integreerimise funktsiooni
  • See peaks mahutama mitut keelt ja mitut ajavööndit
  • Sellel peaks olema täiustatud otsinguvõimalus

Loodetavasti aitab see juhend teie testimisvajadustele kõige paremini vastava tööriista valimisel! Rakenduse elutsükli põhjalikumaks haldamiseks võiksite neid uurida ALM-tööriistad.