Kako odabrati najbolji alat za testiranje automatizacije?

U članku Poboljšanje procesa testiranja, naučili ste točke poboljšanja iz projekta Guru99 Bank. Koristi se automatizirano Ispitivanje umjesto Ručno ispitivanje. Ali članovi tima vas mogu pitati –

Odgovor na ovo pitanje je izazovan jer postoji mnogo faktora koje treba uzeti u obzir

• Želite podržati svoje testne aktivnosti pomoću softverskog alata, ali ne poznajete alate koji su trenutno dostupni na tržištu
• Koja će vrsta alata najbolje odgovarati zahtjevima i proračunu projekta?
• Tko u timu ima vještine za korištenje alata nakon što ga kupite

Važnost odabira alata za testiranje softvera

Uspjeh u bilo kojoj automatizaciji testiranja ovisi o prepoznavanju pravog alata za automatizaciju. Odabir "ispravnog" alata za testiranje za vaš projekt jedan je od najboljih načina za postizanje cilja projekta. Sljedeći primjer pokazat će vam prednosti odabira alata za testiranje

U projektu Guru99 Bank, kako bi uštedio trud oko testiranja, projektni tim je odlučio koristiti automatizirani alat za testiranje za izvođenje testa. Nakon mnogih sastanaka, vaš tim je odabrao prikladan alat za projekt.

Mjesec dana kasnije, dobili ste izvješće projektnog tima o ovom alatu

Rezultati su odlični. Novi automatizirani alat udvostručio je produktivnost testiranja. Znači da smo uštedjeli 50% trošak izvođenja testa. Ako ste zainteresirani za istraživanje više opcija za svoje projekte, pogledajte ovaj popis automatizirani alati za testiranje.

Ovo je primjer prednosti korištenja alata za testiranje u projektu. Odabir pravog alata za testiranje pomoći će vam da poboljšate produktivnost projekta i uštedite troškove projekta.

Vrsta alata za testiranje

Postoje mnoge vrste alata za testiranje koje Test Manager može uzeti u obzir pri odabiru alata za testiranje.

Alati otvorenog koda

Alati otvorenog koda su programi u kojima se nalazi izvorni kod otvoreno objavljen za korištenje i/ili modificiranje izvornog dizajna, besplatno.

Alati otvorenog koda dostupni su za gotovo sve faze procesa testiranja, od Testni slučaj upravljanje do Mana praćenje. U usporedbi s komercijalnim alatima, alati otvorenog koda mogu imati manje značajki.

Komercijalni alati

Komercijalni alati su softver koji se proizvodi za prodaju ili u komercijalne svrhe.

Komercijalni alati imaju veću podršku i više značajki od dobavljača nego alati otvorenog koda.

Prilagođeni alati

U nekim projektima testiranja, okolina testiranja i proces testiranja imaju posebne karakteristike. Nijedan open-source ili komercijalni alat ne može ispuniti zahtjev. Stoga voditelj testiranja mora razmotriti razvoj prilagođenog alata.

Primjer: želite pronaći alat za testiranje za projekt Guru99 Bank. Želite da ovaj alat ispuni neke specifične zahtjeve projekta.

Analiza izvedivosti automatizacije

Vratimo se na gornji primjer, projektni tim odlučio je razviti prilagođeni alat koji može zadovoljiti zahtjeve projekta. Pretpostavimo da im je dano 100 testnih slučajeva za automatizaciju i da im je potrebno 5 dana da razviju alat koji može automatizirati svi tih testnih slučajeva.

Evo rezultata njihovog rada

Kao u gornjem scenariju, problem je u tome što testni alat ne može automatizirati sve testne slučajeve specifikacije testa. To znači da ne sve značajke aplikacije mogu biti temeljito ispitan pomoću alata za testiranje.

Ako je funkcionalnost aplikacije koja se testira često mijenja ili je previše složen, teško je stvoriti automatizaciju testiranja za svi značajke aplikacije, jer svaki alat ima svoje ograničenja.

Ako ne želite biti u takvoj situaciji, prije odabira testnog alata morate analizirati testne slučajeve i odlučiti koji testni slučajevi trebaju biti automatizirani, a koji testni slučajevi ne. Ovo je Analiza izvedivosti automatizacije aktivnost.

Analiza izvedivosti automatizacije vrlo je značajan doprinos testiranju. U ovoj analizi morate provjeriti je li aplikacija koja se testira kvalificiran za automatizirani test.

Neke čimbenike koje morate uzeti u obzir:

Da biste saznali više o ovim čimbenicima, možete koristiti a Kontrolni popis koji je uključen u ovaj članak

Kako odabrati najbolji alat za testiranje automatizacije

Za odabir najprikladnijeg alata za testiranje za projekt, voditelj testiranja treba slijediti postupak odabira alata u nastavku

Korak 1) Odredite zahtjeve za alatima

Kako možete odabrati alat za testiranje ako ne znate što tražite?

Morate točno identificirati svoje zahtjeve za alatom za testiranje. Svi zahtjevi moraju biti dokumentirati i pregledao od strane projektnih timova i upravnog odbora.

Razmotrimo sljedeći primjer:

Korak 2) Procijenite alate i dobavljače

Nakon postavljanja temeljnih zahtjeva alata, voditelj testiranja trebao bi

• Analizirajte komercijalne alate i alate otvorenog koda koji su dostupni na tržištu, na temelju zahtjeva projekta.
• Napravite uži izbor alata koji najbolje zadovoljava vaše kriterije
• Jedan faktor koji biste trebali uzeti u obzir je dobavljači. Prilikom donošenja odluke trebali biste uzeti u obzir reputaciju dobavljača, podršku nakon prodaje, učestalost ažuriranja alata itd.
• Ocijenite kvalitetu alata uzimajući probno korištenje i pokretanje pilota. Mnogi dobavljači često čine probne verzije svog softvera dostupnima za preuzimanje

Korak 3) Procijenite troškove i koristi

Kako bi se osiguralo da je testni alat koristan za poslovanje, Test Manager mora uravnotežiti sljedeći faktori:

A analiza troškova i koristi treba obaviti prije nabave ili izrade alata

Primjer: Nakon što je potrošio dosta vremena na istraživanje alata za testiranje, projektni tim pronašao je savršen alat za testiranje za web stranicu projekta Guru99 Bank. Rezultati evaluacije zaključili su da ovaj alat može

• Double trenutna produktivnost izvođenja testa
• Smanjiti napor upravljanja za 30%

Međutim, nakon razgovora s dobavljačem softvera, otkrili ste da je koštati ovog alata je previsok u usporedbi s vrijednost i prednosti koje može donijeti timskom radu.

U takvom slučaju, uravnotežiti između cijene i koristi alata može utjecati na konačnu odluku.

Korak 4) Donesite konačnu odluku

Kako bi donio konačnu odluku, voditelj testiranja mora imati:

• Imati snažna svijest alata. To znači da morate razumjeti koji je jak bodova i slab točke alata
• Stanje trošak i korist.

Čak i uz sate provedene u čitanju softverskog priručnika i informacija o dobavljaču, možda ćete morati isprobati alat u svom stvarnom radnom okruženju prije kupnje licence.

Trebali biste imati sastanak s projektnim timom, konzultantima kako biste stekli dublje znanje o alatu.

Vaša odluka može negativno utjecati na projekt, proces testiranja i poslovne ciljeve; trebali biste dobro razmisliti o tome.

Stvari koje treba uzeti u obzir pri odabiru alata za upravljanje testiranjem

Uz široku lepezu dostupnih izbora, lako se zbuniti dok kupujete alat za upravljanje testiranjem. Ovo je nepristran vodič koji će vam pomoći da pronađete najbolji alat prema svoje potrebe.

U ovom vodiču pružit ću vam 5 najvažnijih, ali često zanemarenih parametara pri odabiru alata za upravljanje testiranjem. Ali prije nego počnem, dopustite mi da ponovim-

Ne uspoređujte jabuke i naranče

Nema smisla uspoređivati ​​SaaS alat od 30 USD mjesečno s komercijalnim alatom od 6000 USD punog uspjeha kada to vaš proračun ne dopušta. Važno je da svoj alat filtrirate pomoću popisa na temelju PRORAČUN prvi. Ako imate ograničen proračun, open-source je dobra opcija. Iako su komercijalni alati skupi, oni nude veliku podršku i jednostavni su za korištenje s puno materijala za obuku.

Sljedeće što biste trebali izračunati je trošak vaše licence. Za to morate procijeniti trajanje dovršetka testa i metodu koju ćete odabrati za testiranje, to će vam pomoći da shvatite koji bi model odgovarao vašem proračunu, primjerice želite li platiti kao po registriranom korisniku, istovremenom korisniku ili trajnom korisniku. Obično su trajni ili jednokratni troškovi veći zbog kapitalnih troškova. Za određeni softver potrebna vam je licenca za vrijeme izvođenja. Ne podržavaju svi dobavljači licence za vrijeme izvođenja, tako da trebate uzeti u obzir troškove licence za vrijeme izvođenja ako razmišljate o instalaciji na različite strojeve.

Nakon što ste destilirali svoje izbore na temelju proračuna, evo 5 vrlo važnih parametara za usporedbu vaših alata za upravljanje testiranjem-

Savjet #1 Alat za upravljanje testiranjem trebao bi poboljšati produktivnost

Timovi za testiranje suočavaju se s velikim izazovima kako bi držali korak s brzim tehnološkim promjenama i potrebom za testiranjem na više platformi (i preglednika i uređaja). Budući da ručno testiranje zauzima većinu vremena testiranja, jedan od načina za rješavanje ovog izazova jest pojačati automatizaciju. Ali postoje i druga područja za poboljšanje učinkovitosti alata koja uključuju učinkovito upravljanje testnim laboratorijem/podacima, upravljanje izdanjima, pronicljivo izvješćivanje među ostalim. ChoIt traženje ispravnog alata za upravljanje testiranjem može uvelike pomoći u poboljšanju ovih parametara.

Pogledajmo što se traži od alata za upravljanje testiranjem sa stajališta produktivnosti-

Zrnatost testnih informacija

Alat za upravljanje testiranjem trebao bi uključivati ​​detaljna izvješća o informacijama koja se odnose na proces testiranja. Na primjer, u slučaju neuspjeha testnog slučaja, uvijek je korisno znati u kojem je koraku test pao umjesto da znamo da je testni slučaj pao kao cjelina. Bez obzira na manje promjene primijenjene tijekom testiranja, alat za upravljanje testiranjem trebao bi obavijestiti o promjenama odgovarajuće članove tima. Za jednostavno praćenje i brzo djelovanje trebao bi također voditi revizijski trag promjena, uključujući punu verziju testnih slučajeva. Također, alat za upravljanje testom trebao bi spremati rezultate testa kao sesiju i mora imati mogućnost usporedbe rezultata izvođenja testa. Ostale značajke koje se očekuju od standardnih alata za upravljanje testiranjem su dokumentiranje strategije testiranja, planiranje izvođenja testa, stvaranje nedostataka, povezivanje priča, itd. Značajka prijenosa videozapisa i API podrška bili bi šlag na torti.

Praćenje upravljanja izdanjima (DevOps)

Izdanja softvera složena su s višestrukim aktivnostima (poput praćenja međuverzije, koordinacije tima i transparentnosti izdanja) koje se odvijaju u isto vrijeme. Dobar alat za upravljanje testiranjem mora imati robusnu sposobnost praćenja upravljanja izdanjima koja vodi evidenciju popisa softvera koji se testira i izdaje, tako da ne dolazi u sukob s drugim artefaktima testiranja. Također, trebao bi biti sposoban upravljati svim artefaktima projekta u jednom okruženju.

Alat za upravljanje testiranjem mora pružiti jedinstven pogled na zahtjeve za sve dionike. Suradnja sa dionicima jamči da su uhvaćeni pravi zahtjevi. Alat bi trebao moći pratiti veze između drugih razvojnih sredstava i zahtjeva.

Za distribuirane timove trebao bi osigurati jedno zajedničko spremište za suradnju i dijeljenje zahtjeva, procjenu povezanih nedostataka i razumijevanje njihovog odnosa s testovima.

Za kvalitetu i dosljednost, vaš alat za upravljanje testiranjem mora provoditi standardizaciju.

Izvještavanje

Kaos je ako vaš tim za testiranje zna koliko je nedostataka otvoreno u izdanju, ali ne znate koliko će vremena trebati da se to riješi. Za praćenje testnih aktivnosti, testni inženjeri uvelike ovise o izvješćima koje generira alat za upravljanje testovima. Pouzdan alat za upravljanje testiranjem trebao bi isporučiti sljedeće informacije u svojim izvješćima kao što su napredak plana testiranja, status izrade testnog slučaja, testni slučaj nije uspio i prošao, testni status po paketima, testni status po području, testni slučaj koji će se automatizirati, i tako dalje

Vaš alat za upravljanje testiranjem trebao bi omogućiti potpunu vidljivost aktivnosti razvojnog programera i procesa životnog ciklusa od upravljanja zahtjevima do testiranja i popravljanja nedostataka.

Dobar alat za upravljanje testiranjem trebao bi se sastojati od sljedećih atributa

• Grafikon i nadzorna ploča trebali bi dati uvid u to koliko je vaših automatiziranih testova pokrenuto ili čeka na izvršenje
• Treba istaknuti uobičajene atribute testa kao što je broj položenih/neuspjelih/preskočenih testnih slučajeva, radno opterećenje korisnika itd.
• Donesite odluku o spremnosti svakog izdanja
• Pregledajte svoje automatizirane testove zajedno s rezultatima ručnih testova

Savjet #2 Agilna podrška

Potražnja za agilnim na trenutnom tržištu raste, i svakim je danom sve veća. Važno je da vaš alat za upravljanje testiranjem podržava agilnu metodologiju. U Agileu, zahtjevi su promjenjivi i postupno se dovršavaju, vaš alat za upravljanje testiranjem trebao bi se moći prilagoditi takvim zahtjevima. Agilni alat za upravljanje testiranjem po vašem izboru trebao bi promicati duboko partnerstvo između programera, testera i drugih dionika (osnovno načelo agilnosti).

Alat za upravljanje Agilnim testiranjem trebao bi podržavati

• Stvaranje priča
• Procjena
• Sprint planiranje zaostataka
• Grafikoni brzine i druga izvješća itd.
• Scrum i Kanban

Dok ste u agilnom okruženju, usporedba testnog izvođenja pomoću alata za upravljanje testiranjem bila bi produktivna ako gledate promjene u stopama grešaka po iteraciji. Također za agilni alat za upravljanje testom morat će voditi evidenciju izdanja proizvoda za svaku iteraciju i zaostatke

Savjet #3 Vanjska integracija

Automatizirano izvođenje testnog slučaja može znatno smanjiti opterećenje test inženjera. Trebali biste odabrati alat za upravljanje testiranjem koji se lako integrira s alati za automatizaciju. Potražite mogućnost upravljanja testnim skriptama, kao i planiranje i pokretanje testa lokalno i na udaljenom hostu. Također, poželjna je mogućnost pohranjivanja rezultata testova automatizacije u alatu za upravljanje testovima. Vaš alat za upravljanje testiranjem mora podržavati kontinuirana integracija. Glavna prednost alata za upravljanje testiranjem s CI-jem je da se testovi pokreću automatski. Pokretanje može biti potaknuto bilo čime poput preuzimanja izvornog koda od strane programera ili testnog slučaja s temeljnom automatizacijom testiranja ili planiranim zadatkom za određeno vrijeme. Kontinuirana integracija razlikuje se po vremenu, detaljima, smjeru i granularnosti.

Za svaki QA tim, integracija alat za praćenje bugova čini njihov proces testiranja vrlo lakim. Standardni alat za upravljanje testiranjem koji se neprimjetno integrira s aplikacijom SDLC ili drugim alatima za praćenje bugova kao što su JIRA, BugZilla, Mantis dodaje dodatnu vrijednost alatu. Korisnicima bi trebao omogućiti povezivanje grešaka, testiranje instance pokretanja slučaja za centralizirano upravljanje procesom testiranja softvera. Također bi trebao omogućiti cijelom projektnom timu da radi zajedno na jednom problemu u isto vrijeme.

Integracija vašeg sustav podrške je važna značajka koju svaki alat za upravljanje testiranjem treba pružiti. Softver za podršku ili inače poznat kao sustav ulaznica pomaže korisnicima da dobiju trenutno rješenje za svoj problem. Pomaže korisnicima da dobiju pregled svih otvorenih i zatvorenih pitanja.

API Poželjna je podrška za prilagođene integracije.

Savjet #4 Mobilni

Vaš alat za upravljanje testiranjem trebao bi podržavati mobilne uređaje i tablet.

Mobilna podrška iznimno je korisna za timove koji su na lokaciji klijenta, a ne za stolom, ili za menadžere koji rade s timovima na različitim geografskim lokacijama.

Alat za upravljanje testiranjem mora imati potpuni (ne smanjeni) skup značajki dostupnih na mobilnom uređaju.

Podrška za više uređaja i mobilni OS je važna jer s povećanjem broja uređaja postoji više složenosti kao što su lokacija, gesta, akcelerometri i problemi s orijentacijom. Uostalom, nikada ne kupujete telefon misleći da je kompatibilan s vašim alatom za upravljanje testiranjem!

Savjet #5 Podrška

Tim za podršku dobavljača alata za upravljanje testiranjem trebao bi biti posvećen pomoći svojim klijentima na sve moguće načine. Mnogi alati za upravljanje testiranjem više su usmjereni na stvaranje sjajnih web stranica i oglasa kako bi privukli više kupaca. Ali za kontinuirano i stalno poslovanje moraju se usredotočiti na pružanje najbolje podrške desku za pomoć.

Najbolji alat za upravljanje testiranjem trebao bi imati značajke poput live chat, telefonski poziv, FAQ i mrežni korisnički vodiči, informacije o dokumentaciji proizvoda, baza znanja, traženje ulaznica za pomoć itd. kako bi pomogli svojim kupcima.

Mnogi alati za upravljanje testovima također olakšavaju video konferencija uživo sa stručnjacima za alate za rješavanje upita kupaca. Ako konferencija uživo nije izvediva, demonstracije ili snimljeni videozapisi koji se odnose na alat za upravljanje testiranjem trebali bi uvijek biti dostupni na licu mjesta i mogu im se pristupiti bilo kada. Dok za programere, ako alat pruža API ili podršku za prilagođenu integraciju, potrebno je osigurati demo skriptu i detaljnu dokumentaciju.

Iako svi gore navedeni kanali podrške možda nisu dostupni za sve alate, trebali biste odabrati alat koji vam pruža "željena” kanal podrške.

Još jedan važan i često zaboravljen parametar je je li prodavač alata Usredotočen na kupca? Evo nekoliko stvari koje treba uzeti u obzir pri odabiru alata za upravljanje testiranjem-

• Sučelje alata mora biti prilagođeno korisniku i uključivati ​​značajku integracije korisnika
• Trebao bi se prilagoditi više jezika i više vremenskih zona
• Trebao bi imati mogućnost naprednog pretraživanja

Nadamo se da će vam ovaj vodič pomoći u odabiru alata koji najbolje odgovara vašim potrebama testiranja! Za sveobuhvatnije upravljanje životnim ciklusom vaše aplikacije, možda biste trebali istražiti ovo ALM alati.