Kuinka valita paras automaatiotestaustyökalu?

Artikkelissa Testiprosessin parantaminen, opit projektista parannuskohdat Guru99 Pankki. Se käyttää automatisoitua Testaus sijasta Manuaalinen testaus. Mutta tiimin jäsenet voivat kysyä sinulta -

Vastaus tähän kysymykseen on haastava, koska huomioon on otettava monia tekijöitä

• Haluat tukea testitoimintaasi ohjelmistotyökalun avulla, mutta et tiedä tällä hetkellä markkinoilla olevia työkaluja
• Millainen työkalu sopii parhaiten tarpeisiin ja projektin budjettiin?
• Kuka tiimistä osaa käyttää työkalua sen ostamisen jälkeen

Ohjelmistojen testaustyökalun valinnan tärkeys

Minkä tahansa testiautomaation onnistuminen riippuu oikean automatisointityökalun tunnistamisesta. ”Oikean” testaustyökalun valitseminen projektillesi on yksi parhaista tavoista saavuttaa projektin tavoite. Seuraava esimerkki näyttää sinulle testaustyökalun valinnan edut

Projektissa GuruTestauksen vaivan säästämiseksi projektitiimi päätti käyttää automatisoitua testaustyökalua testien suorittamiseen. Useiden kokousten jälkeen tiiminne valitsi projektiin sopivan työkalun.

Kuukautta myöhemmin sait projektitiimin raportin tästä työkalusta

Tulokset ovat mahtavia. Uusi automatisoitu työkalu kaksinkertaisti testauksen tuottavuuden. Se tarkoittaa, että pelastimme 50% testin suorittamisen kustannukset. Jos olet kiinnostunut tutkimaan lisää vaihtoehtoja projekteillesi, tutustu tähän luetteloon automaattiset testaustyökalut.

Tämä on esimerkki testaustyökalun käytön hyödyistä projektissa. Oikean testaustyökalun valinta auttaa parantamaan projektin tuottavuutta ja säästämään projektikustannuksia.

Testityökalujen tyyppi

Testaustyökaluja on monenlaisia, ja testauspäällikkö voi ottaa ne huomioon valitessaan niitä.

Avoimen lähdekoodin työkalut

Avoimen lähdekoodin työkalut ovat ohjelmia, joissa lähdekoodi on avoimesti julkaistu käytettäväksi ja/tai sen alkuperäisen suunnittelun muuttamiseksi, ilmainen.

Avoimen lähdekoodin työkaluja on saatavilla lähes mihin tahansa testausprosessin vaiheeseen alkaen Testitapaus johdolle Vika trackuningas. Verrattuna kaupallisiin työkaluihin avoimen lähdekoodin työkaluissa voi olla vähemmän ominaisuuksia.

Kaupalliset työkalut

Kaupalliset työkalut ovat ohjelmistoja, jotka on tuotettu myyntiin tai palvelemaan kaupallisia tarkoituksia.

Kaupallisilla työkaluilla on enemmän tukea ja enemmän ominaisuuksia toimittajalta kuin avoimen lähdekoodin työkaluilla.

Mukautetut työkalut

Joissakin testausprojekteissa testausympäristöllä ja testausprosessilla on erityispiirteitä. Mikään avoimen lähdekoodin tai kaupallinen työkalu ei voi täyttää vaatimusta. Siksi testauspäällikön on harkittava mukautetun työkalun kehittämistä.

Esimerkki: Haluat löytää testaustyökalun projektillesi Guru99 Pankki. Haluat tämän työkalun täyttävän jonkin projektin erityisvaatimuksen.

Kumman tahansa kategorian suuntaan kallistutkin, seuraava kysymys on, soveltuvatko testisi lainkaan automatisointiin.

Automation toteutettavuusanalyysi

Takaisin yllä olevaan esimerkkiin projektitiimi päätti kehittää mukautetun työkalun, joka voi täyttää projektin vaatimukset. Oletetaan, että heille on annettu 100 testitapausta automatisoitavaksi ja he arvioivat 5 päivää aikaa kehittää työkalu, joka voi automatisoida kaikki näistä testitapauksista.

Tässä on heidän työnsä tulos

Kuten yllä olevassa skenaariossa, ongelmana on, että testityökalu ei voi automatisoida kaikkia testispesifikaatioiden testitapauksia. Se tarkoittaa sitä ei kaikki sovellusominaisuudet voivat olla perin pohjin testattu testityökalulla.

Jos testattavan sovelluksen toimivuus muuttuu usein tai on myös monimutkainen, on vaikeaa luoda testiautomaatiota kaikki sovelluksen ominaisuudet, koska jokaisella työkalulla on omansa rajoitukset.

Jos et halua joutua sellaiseen tilanteeseen, sinun on ennen testityökalun valintaa analysoitava testitapaukset ja päätettävä mitkä testitapaukset tulisi automatisoida ja mitkä eivät. Tämä on Automation toteutettavuusanalyysi aktiivisuutta.

Automation Feasibility Analysis on erittäin tärkeä tekijä testauksessa. Tässä analyysissä sinun on tarkistettava, onko testattava sovellus pätevän automaattista testiä varten.

Joitakin tekijöitä, jotka sinun on otettava huomioon:

Saat lisätietoja näistä tekijöistä käyttämällä a muistilista joka sisältyy tähän artikkeliin

Kuinka valita paras automaatiotestaustyökalu

Valitakseen projektiin sopivimman testaustyökalun Testipäällikön tulee noudattaa alla olevaa työkalujen valintaprosessia

Vaihe 1) Tunnista työkalutarve

Kuinka voit valita testaustyökalun, jos et tiedä mitä etsit?

Sinun on määriteltävä tarkasti testityökalusi vaatimukset. Kaikkien vaatimusten on oltava dokumentoitu ja tarkistetaan projektiryhmien ja johtokunnan toimesta.

Harkitse seuraavaa esimerkkiä:

Vaihe 2) Arvioi työkalut ja toimittajat

Kun työkalun vaatimukset on perusteltu, Test Managerin pitäisi

• Analysoi kaupallisia ja avoimen lähdekoodin työkaluja, jotka ovat saatavilla markkinoilla projektin vaatimusten perusteella.
• Luo työkalujen suosikilista mikä parhaiten täyttää kriteerisi
• Yksi tekijä, joka sinun tulee ottaa huomioon, on myyjät. Sinun tulee ottaa huomioon myyjän maine, myynnin jälkeinen tuki, työkalujen päivitystiheys jne. tehdessäsi päätöstä.
• Arvioi työkalun laatu ottamalla kokeilukäyttö ja pilotin käynnistäminen. Monet toimittajat tarjoavat usein ohjelmistonsa kokeiluversioita ladattavaksi

Vaihe 3) Arvioi kustannukset ja hyöty

Jotta testaustyökalusta olisi hyötyä liiketoiminnalle, testauspäällikön on tasapaino seuraavat tekijät:

A kustannus-hyötyanalyysi tulee suorittaa ennen työkalun hankintaa tai rakentamista

Esimerkki: Käytettyään huomattavasti aikaa testaustyökalujen tutkimiseen, projektitiimi löysi projektille täydellisen testaustyökalun. Guru99 Pankin verkkosivusto. Arvioinnin tulokset osoittivat, että tämä työkalu voisi

• Double testin suorittamisen nykyinen tuottavuus
• Vähentää johtamisponnistelu 30 %

Keskusteltuasi ohjelmistotoimittajan kanssa kuitenkin huomasit, että maksaa tämän työkalun arvo on liian korkea verrattuna arvo ja hyödyttää joita se voi tuoda tiimityöhön.

Tällöin tasapaino Työkalun kustannusten ja hyötyjen välinen suhde voi vaikuttaa lopulliseen päätökseen.

Vaihe 4) Tee lopullinen päätös

Lopullisen päätöksen tekemiseksi testipäälliköllä on oltava:

• Onko vahva tietoisuus työkalusta. Se tarkoittaa, että sinun on ymmärrettävä, mikä on vahva pisteet ja heikko työkalun kärjet
• Balance kustannus ja hyöty.

Vaikka tuntikausia kuluisikin ohjelmiston käsikirjan ja toimittajatietojen lukemiseen, saatat joutua kokeilemaan työkalua todellisessa työympäristössäsi ennen lisenssin ostamista.

Sinun tulisi olla tapaaminen projektitiimin ja konsulttien kanssa saadaksesi syvemmän tiedon työkalusta.

Päätöksesi voi vaikuttaa haitallisesti projektiin, testausprosessiin ja liiketoimintatavoitteisiin. sinun pitäisi viettää aikaa sen miettimiseen.

Vaiheessa 3 sinua pyydetään tasapainottamaan kustannukset hyötyihin nähden. Alla oleva laskelma muuttaa arviosi numeroksi, jonka voit esittää.

Automaatiotestauksen ROI:n laskeminen

Kustannus-hyötykeskustelu usein pysähtyy, koska molemmat osapuolet esittävät mielipiteensä. Yksinkertainen sijoitetun pääoman tuottoprosenttiluku siirtää keskustelun näyttöön, ja useimmat johtoryhmät odottavat näkevänsä sellaisen ennen työkaluhankinnan hyväksymistä.

Perusvertailu on testien manuaalisen suorittamisen kustannusten ja niiden automatisoinnin kokonaiskustannusten vertailu.

// Cost of one manual test cycle
Manual cost per cycle = Hours per cycle x Hourly rate

// One-off and recurring cost of automating
Automation cost = Tool licence + Script development + (Maintenance x Cycles)

// Return on investment across N cycles
ROI = ((Manual cost per cycle x N) - Automation cost) / Automation cost

Neljä syötettä ratkaisee, onko luku positiivinen.

• Suoritustaajuus: Automaatio maksaa itsensä takaisin vain toiston kautta. Joka yö suoritettu ohjelmistopaketti saavuttaa kannattavuusrajan paljon nopeammin kuin yksi suoritus julkaisua kohden.
• Skriptien ylläpito: Tämä on kustannus, jonka useimmat tiimit unohtavat. Epävakaa käyttöliittymä voi viedä enemmän ylläpitotunteja kuin sen korvaama manuaalinen suoritus, ja juuri tätä tilannetta yllä oleva toteutettavuusanalyysi on tarkoitettu kuvaamaan.
• Ajokorttimalli: Yhtäaikaiskäyttäjää, nimettyä käyttäjää ja kertaluonteisia pysyviä lisenssejä kohden lasketut kokonaissummat kolmen vuoden aikana vaihtelevat huomattavasti. Mallinna ajanjakso, jona aiot pitää työkalun.
• Työtuntien ulkopuoliset edut: Nopeampi palaute, aiemmin löydetyt viat ja testaajien vapautuminen tutkivaan työhön ovat todellista arvoa. Esitä ne kuvan vieressä sen sijaan, että yrittäisit väkisin uurtaa niitä siihen.

💡 Vinkki: Laske kannattavuusraja eli syklien lukumäärä, jossa automatisointikustannukset ovat yhtä suuret kuin manuaalikustannukset. Jos kannattavuusraja on julkaisun elinkaaren jälkeinen, kyseisen ohjelmistopaketin automatisointi ei ole kannattavaa.tractyökalu näyttää hyvältä.

Ota huomioon testinhallintatyökalua valittaessa

Laajan valikoiman vuoksi on helppo hämmentyä ostoksilla ollessa.ping testauksenhallintatyökalulle. Tämä on puolueeton opas, joka auttaa sinua löytämään parhaan työkalun sinun tarpeesi.

Tässä oppaassa annan sinulle 5 tärkeintä, mutta usein huomiotta jätettyä parametria testinhallintatyökalua valittaessa. Mutta ennen kuin aloitan, toistan -

Älä vertaa omenaa ja appelsiineja

Ei ole järkevää verrata 30 dollarin kuukausittaista SaaS-työkalua täyden 6000 dollarin kaupalliseen työkaluun, kun budjettisi ei salli sitä. On tärkeää, että suodatat työkalusi luettelon perusteella TALOUSARVIO ensimmäinen. Jos on budjetissa, avoimen lähdekoodin on hyvä vaihtoehto. Vaikka kaupalliset työkalut ovat kalliita, ne tarjoavat erinomaista tukea ja ovat helppokäyttöisiä, ja niihin sisältyy paljon koulutusmateriaalia.

Seuraava asia, joka sinun tulee laskea, on lisenssisi hinta. Tätä varten sinun on arvioitava testin suorittamisen kesto ja minkä menetelmän valitset. Tämä auttaa sinua selvittämään, mikä malli sopisi budjettiisi, kuten haluatko maksaa rekisteröityä käyttäjää, samanaikaista käyttäjää tai pysyvää käyttäjää kohtiYleensä pysyvät tai kertaluonteiset kustannukset ovat korkeammat pääomakustannusten vuoksi. Tietyille ohjelmistoille tarvitaan ajonaikainen lisenssi. Kaikki toimittajat eivät tue ajonaikaisia ​​lisenssejä, joten sinun on otettava huomioon ajonaikaisen lisenssin kustannukset myös silloin, jos harkitset asentamista eri koneisiin.

Kun olet tehnyt valintasi budjetin perusteella, tässä on 5 erittäin tärkeää parametria, joiden avulla voit verrata testinhallintatyökalujasi -

Vinkki #1 Testinhallintatyökalun pitäisi parantaa tuottavuutta

Testaustiimit kohtaavat suuria haasteita pysyäkseen mukana nopeissa teknologisissa muutoksissa ja testauksen tarpeessa useilla alustoilla (sekä selaimilla että laitteilla). Koska manuaalinen testaus vie suurimman osan testausajasta, yksi tapa vastata tähän haasteeseen on tehostaa automaatiota. Mutta on olemassa muitakin osa-alueita, joilla työkalun tehokkuutta voidaan parantaa, kuten tehokas testilaboratorio/tiedonhallinta, julkaisujen hallinta ja oivaltava raportointi. Oikean testauksenhallintatyökalun valitseminen voi auttaa merkittävästi näiden parametrien parantamisessa.

Katsotaanpa, mitä testinhallintatyökalulta vaaditaan tuottavuuden näkökulmasta.

Testitietojen tarkeus

Testienhallintatyökalun tulisi sisältää yksityiskohtaisia ​​​​raportteja testausprosessista. Esimerkiksi testitapauksen epäonnistumisen yhteydessä on aina hyödyllistä tietää, missä vaiheessa testi epäonnistui, sen sijaan, että tiedettäisiin koko testitapauksen epäonnistuneen. Olivatpa testauksen aikana tehdyt pienet muutokset mitkä tahansa, testausenhallintatyökalun tulisi ilmoittaa muutoksista vastaaville tiimin jäsenille. Helppoa seurantaa ja nopeaa toimintaa varten sen tulisi myös pitää kirjaa muutoksista, mukaan lukien testitapausten täydellinen versiointi. Testienhallintatyökalun tulisi myös tallentaa testitulokset istuntona ja sen on kyettävä vertailemaan testiajojen tuloksia. Muita ominaisuuksia, joita odotetaan vakiotestienhallintatyökaluilta, ovat testistrategian dokumentointi, testin suorittamisen suunnittelu, vikojen luominen, tarinoiden linkittäminen, jne. Videon latausominaisuus ja API-tuki olisivat kirsikka kakun päällä.

Julkaisujen hallinta Tracking (DevOps)

Ohjelmistojulkaisut ovat monimutkaisia ​​ja niihin liittyy useita toimintoja (kuten trackoontiversioiden hallinta, tiimin koordinointi ja julkaisujen läpinäkyvyys) kaikki tapahtuu samaan aikaan. Hyvällä testauksenhallintatyökalulla on oltava vankka julkaisunhallinta. trackyky, joka pitää kirjaa testattavien ja julkaistujen ohjelmistojen luettelosta, jotta se ei ole ristiriidassa muiden testattavien artefaktien kanssa. Sen tulisi myös pystyä hallitsemaan kaikkia projektin artefakteja yhdessä ympäristössä.

Testaustenhallintatyökalun on tarjottava kaikille sidosryhmille yksi ainoa näkymä vaatimuksiin. Yhteistyö sidosryhmien kanssa varmistaa, että oikeat vaatimukset tallennetaan. Työkalun tulisi pystyä trace muiden kehitysresurssien ja -vaatimusten väliset yhteydet.

Hajautetuille ryhmille sen tulisi tarjota yksi jaettu tietovarasto, jossa voidaan tehdä yhteistyötä ja jakaa vaatimuksia, arvioida linkitettyjä vikoja ja ymmärtää niiden suhde testeihin.

Laadun ja johdonmukaisuuden vuoksi testinhallintatyökalusi on pakotettava standardisointiin.

Raportointi

On kaoottista, jos testaustiimi tietää, kuinka monta vikaa julkaisussa on avoinna, mutta ei tiedä, kuinka kauan niiden ratkaiseminen kestää. Testausinsinöörit ovat erittäin riippuvaisia ​​testauksenhallintatyökalun tuottamista raporteista testaustoiminnan valvonnassa. Luotettavan testauksenhallintatyökalun tulisi toimittaa raporteissaan seuraavat tiedot, kuten testisuunnitelman edistyminen, testitapauksen luomistila, testitapaus epäonnistui ja hyväksytty, testin tila sarjoittain, testin tila alueittain, testitapaus automatisoitava, ja niin edelleen

Testinhallintatyökalusi pitäisi mahdollistaa kehittäjien toiminnan ja elinkaariprosessien täydellinen näkyvyys vaatimusten hallinnasta testaukseen ja vikojen korjaamiseen.

Hyvän testinhallintatyökalun tulisi sisältää seuraavat attribuutit

• Kaavion ja kojelaudan pitäisi antaa tietoa siitä, kuinka monta automaattista testiäsi on suoritettu tai odottaa suoritusta
• Pitäisi korostaa yleisiä testimääritteitä, kuten hyväksyttyjen/epäonnistunut/ohitettu testitapausten määrä, käyttäjän työmäärä jne.
• Tee päätös kunkin julkaisun valmiudesta
• Tarkastele automaattisia testiajojasi yhdessä manuaalisten testitulosten kanssa

Vinkki #2 Ketterä tuki

Ketterien testimenetelmien kysyntä kasvaa nykyisillä markkinoilla, ja se kasvaa päivä päivältä. On tärkeää, että testauksenhallintatyökalusi tukee ketteriä menetelmiä. Ketterissä menetelmissä vaatimukset ovat muutettavissa ja ne täytetään inkrementaalisesti, joten testauksenhallintatyökalusi tulisi pystyä vastaamaan näihin vaatimuksiin. Valitsemasi ketterän testauksenhallintatyökalun tulisi edistää syvää kumppanuutta kehittäjien, testaajien ja muiden sidosryhmien välillä (ketterän menetelmän perusperiaate).

Ketterän testinhallintatyökalun pitäisi tukea

• Tarinoiden luominen
• Arvio
• Sprint ruuhkan suunnittelu
• Nopeuskaaviot ja muut raportit jne.
• Scrum ja Kanban

Ketterässä ympäristössä testiajojen vertailu testauksenhallintatyökalulla olisi tuottavaa, jos tarkastellaan muutoksia vikamäärissä iteraatiota kohden. Myös ketterässä testauksenhallintatyökalun on pidettävä kirjaa kunkin iteraation tuotejulkaisusta ja tilausjonosta.

Vihje 3 Ulkoinen integrointi

Automaattinen testitapauksen suorittaminen voi vähentää paljon testausinsinöörien taakkaa. Sinun tulisi valita testinhallintatyökalu, joka integroituu helposti automaatiotyökalutEtsi kykyä hallita testiskriptejä sekä ajoittaa ja käynnistää testejä sekä paikallisesti että etäpalvelimella. Myös kyky tallentaa automaatiotestien tuloksia testinhallintatyökaluun on toivottavaa. Testinhallintatyökalusi on tuettava jatkuva integraatio. CI-testienhallintatyökalun tärkein etu on, että testit käynnistyvät automaattisesti. Käynnistyksen voi käynnistää mikä tahansa, kuten kehittäjän tekemä lähdekoodisitoumus tai testitapaus, jossa on taustalla oleva testiautomaatio tai ajoitettu tehtävä tietyksi ajaksi. Jatkuva integrointi eroaa ajan, yksityiskohtien, suunnan ja tarkkuuden suhteen.

Minkä tahansa laadunvarmistustiimin integrointi vika trackuningastyökalu tekee testausprosessista erittäin helpon. Standardi testauksenhallintatyökalu, joka integroituu saumattomasti SDLC-sovellukseen tai muuhun buginhallintaan tracKunniatyökalut, kuten JIRA, BugZilla ja Mantis, lisäävät työkalun arvoa. Sen tulisi antaa käyttäjille mahdollisuus linkittää bugeja testitapausten suorittamiseen, mikä mahdollistaa ohjelmistotestausprosessin keskitetyn hallinnan. Sen tulisi myös mahdollistaa koko projektitiimin työskentelyn yhdessä saman ongelman parissa samanaikaisesti.

Sinun integrointisi tukipöytäjärjestelmä on tärkeä ominaisuus, joka jokaisen testauksenhallintatyökalun tulisi tarjota. Tukipalveluohjelmisto eli tikettijärjestelmä auttaa käyttäjiä saamaan välittömän ratkaisun ongelmaansa. Se auttaa asiakkaita saamaan yleiskuvan kaikista avoimista ja suljetuista ongelmista.

API Räätälöityjen integraatioiden tuki on toivottavaa.

Vinkki 4 mobiili

Testinhallintatyökalusi pitäisi tukea mobiililaitteita ja tabletteja.

Mobiilituki on erittäin hyödyllinen tiimeille, jotka ovat asiakkaan paikalla, eivät pöydän ääressä, tai esimiehille, jotka työskentelevät eri maantieteellisissä paikoissa olevien tiimien kanssa.

Testinhallintatyökalulla on oltava täysi (ei alennettu) ominaisuusjoukko, joka on saatavilla mobiililaitteella.

Tuki useille laitteille ja mobiilikäyttöjärjestelmälle on tärkeää, koska laitteiden määrän lisääntyessä on enemmän monimutkaisia ​​​​asioita, kuten sijainti, ele, kiihtyvyysmittarit ja suuntaongelmat. Loppujen lopuksi et koskaan osta puhelinta ajatellen, että se on yhteensopiva testinhallintatyökalusi kanssa!

Vinkki #5 Tuki

Testinhallintatyökalujen toimittajan tukitiimin tulisi olla sitoutunut auttamaan asiakkaitaan kaikin mahdollisin tavoin. Monet testanhallintatyökalut keskittyvät enemmän kiiltävien verkkosivustojen ja mainosten luomiseen.tracenemmän asiakkaita. Mutta jatkuvan ja toistuvan liiketoiminnan vuoksi heidän on keskityttävä tarjoamaan parasta mahdollista tukipalvelua.

Parhaassa testinhallintatyökalussa tulisi olla ominaisuuksia, kuten live chat, puhelu, UKK ja online-käyttöoppaat, tuotedokumentaatiotiedot, tietokanta, help desk -lipun kerääminen, jne. auttaakseen asiakkaitaan.

Monet testauksenhallintatyökalut helpottavat myös live-videokonferenssi työkaluasiantuntijoiden kanssa asiakkaiden kyselyiden ratkaisemiseksi. Jos live-konferenssi ei ole mahdollinen, testauksenhallintatyökaluun liittyvien demojen tai tallennettujen videoiden tulisi aina olla saatavilla paikan päällä ja niitä voidaan käyttää milloin tahansa. Kehittäjille, jos työkalu tarjoaa API- tai mukautettua integraatiotukea, on toimitettava demoskripti ja yksityiskohtainen dokumentaatio.

Vaikka kaikki yllä mainitut tukikanavat eivät välttämättä ole saatavilla kaikille työkaluille, sinun tulee valita työkalu, joka tarjoaaSuositut”tukikanava.

Toinen tärkeä ja usein unohdettu parametri on, onko työkalun toimittaja Asiakaskeskeinen? Tässä on muutamia asioita, jotka on otettava huomioon testinhallintatyökalua valittaessa -

• Työkalun käyttöliittymän tulee olla käyttäjäystävällinen ja sisältää asiakasintegrointiominaisuuden
• Siinä pitäisi olla useita kieliä ja useita aikavyöhykkeitä
• Siinä pitäisi olla edistynyt hakukyky

Toivottavasti tämä opas auttaa valitsemaan testaustarpeisiisi parhaiten sopivan työkalun! Jos haluat hallita sovelluksesi elinkaaren kattavampaa, sinun kannattaa tutustua näihin ALM-työkalut.

UKK