Kako odabrati najbolji alat za testiranje automatizacije?

U članku Poboljšanje procesa testiranja, naučili ste točke poboljšanja iz projekta Guru99 Bank. Koristi automatizirane Ispitivanje umjesto Ručno ispitivanje. Ali članovi tima vas mogu pitati –

Odgovor na ovo pitanje je izazovan jer postoji mnogo faktora koje treba uzeti u obzir

• Želite podržati svoje testne aktivnosti pomoću softverskog alata, ali ne poznajete alate koji su trenutno dostupni na tržištu
• Koja će vrsta alata najbolje odgovarati zahtjevima i proračunu projekta?
• Tko u timu ima vještine za korištenje alata nakon što ga kupite

Važnost odabira alata za testiranje softvera

Uspjeh u bilo kojoj automatizaciji testiranja ovisi o prepoznavanju pravog alata za automatizaciju. Odabir "ispravnog" alata za testiranje za vaš projekt jedan je od najboljih načina za postizanje cilja projekta. Sljedeći primjer pokazat će vam prednosti odabira alata za testiranje

U projektu Guru99 Bank, kako bi se uštedio trud oko testiranja, projektni tim je odlučio koristiti automatizirani alat za testiranje za izvršavanje testa. Nakon mnogih sastanaka, vaš je tim odabrao prikladan alat za projekt.

Mjesec dana kasnije, dobili ste izvješće projektnog tima o ovom alatu

Rezultati su odlični. Novi automatizirani alat udvostručio je produktivnost testiranja. Znači da smo uštedjeli 50% trošak izvođenja testa. Ako ste zainteresirani za istraživanje više opcija za svoje projekte, pogledajte ovaj popis automatizirani alati za testiranje.

Ovo je primjer prednosti korištenja alata za testiranje u projektu. Odabir pravog alata za testiranje pomaže vam poboljšati produktivnost projekta i uštedjeti troškove projekta.

Vrsta alata za testiranje

Postoji mnogo vrsta alata za testiranje koje voditelj testiranja može uzeti u obzir pri odabiru alata za testiranje.

Alati otvorenog koda

Alati otvorenog koda su programi u kojima se nalazi izvorni kod otvoreno objavljen za korištenje i/ili modificiranje izvornog dizajna, besplatno.

Alati otvorenog koda dostupni su za gotovo sve faze procesa testiranja, od Testni slučaj upravljanje do Mana trackralj. U usporedbi s komercijalnim alatima, alati otvorenog koda mogu imati manje značajki.

Komercijalni alati

Komercijalni alati su softver koji se proizvodi za prodaju ili u komercijalne svrhe.

Komercijalni alati imaju veću podršku i više značajki od dobavljača nego alati otvorenog koda.

Prilagođeni alati

U nekim projektima testiranja, okruženje za testiranje i proces testiranja imaju posebne karakteristike. Nijedan alat otvorenog koda ili komercijalni alat ne može ispuniti zahtjev. Stoga voditelj testiranja mora razmotriti razvoj prilagođenog alata.

Primjer: Želite pronaći alat za testiranje za projekt Guru99 Bank. Želite da ovaj alat ispunjava neke specifične zahtjeve projekta.

Kojoj god kategoriji pripadali, sljedeće pitanje je jesu li vaši testovi uopće prikladni za automatizaciju.

Analiza izvedivosti automatizacije

Vratimo se na gornji primjer, projektni tim odlučio je razviti prilagođeni alat koji može zadovoljiti zahtjeve projekta. Pretpostavimo da im je dano 100 testnih slučajeva za automatizaciju i da im je potrebno 5 dana da razviju alat koji može automatizirati svi tih testnih slučajeva.

Evo rezultata njihovog rada

Kao u gornjem scenariju, problem je u tome što testni alat ne može automatizirati sve testne slučajeve specifikacije testa. To znači da ne sve značajke aplikacije mogu biti temeljito ispitan pomoću alata za testiranje.

Ako je funkcionalnost aplikacije koja se testira često mijenja ili je previše složen, teško je stvoriti automatizaciju testiranja za svi značajke aplikacije, jer svaki alat ima svoje ograničenja.

Ako ne želite biti u takvoj situaciji, prije odabira testnog alata morate analizirati testne slučajeve i odlučiti koji testni slučajevi trebaju biti automatizirani, a koji testni slučajevi ne. Ovo je Analiza izvedivosti automatizacije aktivnost.

Analiza izvedivosti automatizacije vrlo je značajan doprinos testiranju. U ovoj analizi morate provjeriti je li aplikacija koja se testira kvalificiran za automatizirani test.

Neke čimbenike koje morate uzeti u obzir:

Da biste saznali više o ovim čimbenicima, možete koristiti a Kontrolni popis koji je uključen u ovaj članak

Kako odabrati najbolji alat za testiranje automatizacije

Za odabir najprikladnijeg alata za testiranje za projekt, voditelj testiranja treba slijediti postupak odabira alata u nastavku

Korak 1) Odredite zahtjeve za alatima

Kako možete odabrati alat za testiranje ako ne znate što tražite?

Morate precizno odrediti zahtjeve svog alata za testiranje. Svi zahtjevi moraju biti dokumentirati i pregledao od strane projektnih timova i upravnog odbora.

Razmotrimo sljedeći primjer:

Korak 2) Procijenite alate i dobavljače

Nakon postavljanja temeljnih zahtjeva alata, voditelj testiranja trebao bi

• Analizirajte komercijalne alate i alate otvorenog koda koji su dostupni na tržištu, na temelju zahtjeva projekta.
• Napravite uži izbor alata koji najbolje zadovoljava vaše kriterije
• Jedan faktor koji biste trebali uzeti u obzir je dobavljači. Prilikom donošenja odluke trebali biste uzeti u obzir reputaciju dobavljača, podršku nakon prodaje, učestalost ažuriranja alata itd.
• Ocijenite kvalitetu alata uzimajući probno korištenje i pokretanje pilota. Mnogi dobavljači često čine probne verzije svog softvera dostupnima za preuzimanje

Korak 3) Procijenite troškove i koristi

Kako bi se osiguralo da je alat za testiranje koristan za poslovanje, voditelj testiranja mora uravnotežiti sljedeći faktori:

A analiza troškova i koristi treba obaviti prije nabave ili izrade alata

Primjer: Nakon što je proveo znatno vrijeme istražujući alate za testiranje, projektni tim je pronašao savršen alat za testiranje za projekt Guru99 Web stranica Banke. Rezultati evaluacije zaključili su da bi ovaj alat mogao

• Double trenutna produktivnost izvođenja testa
• Smanjiti napor upravljanja za 30%

Međutim, nakon razgovora s dobavljačem softvera, otkrili ste da je koštati ovog alata je previsok u usporedbi s vrijednost i prednosti koje može donijeti timskom radu.

U takvom slučaju, uravnotežiti Razlika između cijene i koristi alata može utjecati na konačnu odluku.

Korak 4) Donesite konačnu odluku

Kako bi donio konačnu odluku, voditelj testiranja mora imati:

• Imati snažna svijest alata. To znači da morate razumjeti koji je jak bodova i slab točke alata
• Stanje trošak i korist.

Čak i uz sate provedene u čitanju softverskog priručnika i informacija o dobavljaču, možda ćete morati isprobati alat u svom stvarnom radnom okruženju prije kupnje licence.

Trebali biste imati sastanak s projektnim timom, konzultantima kako biste stekli dublje znanje o alatu.

Vaša odluka može negativno utjecati na projekt, proces testiranja i poslovne ciljeve; trebali biste dobro razmisliti o tome.

U 3. koraku od vas se traži da uravnotežite troškove i koristi. Izračun u nastavku pretvara tu procjenu u broj koji možete predstaviti.

Kako izračunati povrat ulaganja u automatizirano testiranje

Rasprava o troškovima i koristima obično se zaglavi jer svaka strana argumentira na temelju mišljenja. Jednostavna brojka povrata ulaganja prebacuje razgovor na dokaze, a većina upravnih odbora očekuje da će ih vidjeti prije nego što odobre kupnju alata.

Osnovna usporedba je trošak ručnog izvođenja testova u odnosu na ukupni trošak njihove automatizacije.

// Cost of one manual test cycle
Manual cost per cycle = Hours per cycle x Hourly rate

// One-off and recurring cost of automating
Automation cost = Tool licence + Script development + (Maintenance x Cycles)

// Return on investment across N cycles
ROI = ((Manual cost per cycle x N) - Automation cost) / Automation cost

Četiri ulaza odlučuju hoće li broj izaći pozitivan.

• Učestalost izvršavanja: Automatizacija se isplati samo ponavljanjem. Noćno pokretanje paketa dostiže točku rentabilnosti puno prije nego jedno pokretanje po izdanju.
• Održavanje skripti: To je trošak koji većina timova zaboravlja. Nestabilno sučelje može potrošiti više sati održavanja nego ručno izvršavanje koje je zamijenilo, što je upravo situacija koju gornja analiza izvedivosti treba uhvatiti.
• Model licence: Po istodobnom korisniku, po imenovanom korisniku i jednokratne trajne licence daju vrlo različite ukupne iznose tijekom tri godine. Modelirajte razdoblje u kojem zapravo namjeravate zadržati alat.
• Pogodnosti koje nisu sati: Brže povratne informacije, ranije pronađeni nedostaci i testeri oslobođeni za istraživački rad nose stvarnu vrijednost. Navedite ih uz sliku umjesto da ih pokušavate prisiliti da ih u nju uključite.

💡 Savjet: Izračunajte točku rentabilnosti, što je broj ciklusa pri kojem su troškovi automatizacije jednaki troškovima ručne obrade. Ako točka rentabilnosti padne nakon životnog vijeka izdanja, automatizacija tog paketa se ne isplati.trackako alat izgleda.

Stvari koje treba uzeti u obzir pri odabiru alata za upravljanje testiranjem

S obzirom na širok raspon dostupnih opcija, lako se zbuniti tijekom kupovine.ping za alat za upravljanje testiranjem. Ovo je nepristran vodič koji će vam pomoći da pronađete najbolji alat prema svoje potrebe.

U ovom vodiču pružit ću vam 5 najvažnijih, ali često zanemarenih parametara pri odabiru alata za upravljanje testiranjem. Ali prije nego počnem, dopustite mi da ponovim-

Ne uspoređujte jabuke i naranče

Nema smisla uspoređivati ​​SaaS alat od 30 USD mjesečno s komercijalnim alatom od 6000 USD punog uspjeha kada to vaš proračun ne dopušta. Važno je da svoj alat filtrirate pomoću popisa na temelju PRORAČUN prvi. Ako imate ograničen proračun, open-source je dobra opcija. Iako su komercijalni alati skupi, nude izvrsnu podršku i jednostavni su za korištenje s puno materijala za obuku.

Sljedeće što biste trebali izračunati je trošak vaše licence. Za to morate procijeniti trajanje dovršetka testa i metodu koju ćete odabrati za testiranje, to će vam pomoći da shvatite koji bi model odgovarao vašem proračunu, primjerice želite li platiti kao po registriranom korisniku, istovremenom korisniku ili trajnom korisnikuObično su trajni ili jednokratni troškovi veći zbog kapitalnih izdataka. Za određeni softver potrebna vam je licenca za izvođenje. Ne podržavaju svi dobavljači licence za izvođenje, stoga morate uzeti u obzir trošak licence za izvođenje i ako razmišljate o instalaciji na različita računala.

Nakon što ste destilirali svoje izbore na temelju proračuna, evo 5 vrlo važnih parametara za usporedbu vaših alata za upravljanje testiranjem-

Savjet #1 Alat za upravljanje testiranjem trebao bi poboljšati produktivnost

Timovi za testiranje suočavaju se s velikim izazovima kako bi pratili brze tehnološke promjene i potrebu za testiranjem na više platformi (i preglednika i uređaja). Budući da ručno testiranje zauzima većinu vremena testiranja, jedan od načina za rješavanje ovog izazova je povećanje automatizacije. No, postoje i druga područja za poboljšanje učinkovitosti alata, koja uključuju učinkovito upravljanje laboratorijem za testiranje/podacima, upravljanje izdanjima, uvidljivo izvještavanje, između ostalog. Odabir ispravnog alata za upravljanje testiranjem može uvelike pomoći u poboljšanju ovih parametara.

Pogledajmo što se traži od alata za upravljanje testiranjem sa stajališta produktivnosti-

Zrnatost testnih informacija

Alat za upravljanje testiranjem trebao bi uključivati ​​detaljna izvješća s informacijama vezana uz proces testiranja. Na primjer, u slučaju neuspjeha testnog slučaja, uvijek je korisno znati u kojem je koraku test pao, umjesto da se zna da je testni slučaj u cjelini pao. Bez obzira na manje promjene primijenjene tijekom testiranja, alat za upravljanje testiranjem trebao bi obavijestiti o promjenama odgovarajuće članove tima. Za jednostavno praćenje i brzo djelovanje, alat za upravljanje testiranjem trebao bi voditi i evidenciju promjena, uključujući potpunu verziju testnih slučajeva. Također, alat za upravljanje testiranjem trebao bi spremati rezultate testiranja kao sesiju i mora imati mogućnost usporedbe rezultata izvođenja testiranja. Ostale značajke koje se očekuju od standardnih alata za upravljanje testiranjem su dokumentiranje strategije testiranja, planiranje izvođenja testa, stvaranje nedostataka, povezivanje priča, itd. Značajka prijenosa videozapisa i API podrška bili bi šlag na torti.

Upravljanje izdanjima Tracking (DevOps)

Izdanja softvera su složena s više aktivnosti (kao što su trackralj verzije izgradnje, koordinacija tima i transparentnost izdanja) sve se događa istovremeno. Dobar alat za upravljanje testiranjem mora imati robusno upravljanje izdanjima tracsposobnost koja vodi evidenciju popisa softvera koji se testira i objavljuje, kako ne bi došlo do sukoba s drugim artefaktima testiranja. Također, trebao bi biti sposoban upravljati svim artefaktima projekta u jednom okruženju.

Alat za upravljanje testiranjem mora pružiti jedinstveni pregled zahtjeva za sve dionike. Suradnja sa dionicima jamči da se prikupljaju pravi zahtjevi. Alat bi trebao biti u mogućnosti trace veze između ostalih razvojnih sredstava i zahtjeva.

Za distribuirane timove trebao bi osigurati jedno zajedničko spremište za suradnju i dijeljenje zahtjeva, procjenu povezanih nedostataka i razumijevanje njihovog odnosa s testovima.

Za kvalitetu i dosljednost, vaš alat za upravljanje testiranjem mora provoditi standardizaciju.

Izvještavanje

Kaos je ako vaš tim za testiranje zna koliko je nedostataka otvoreno u izdanju, ali ne zna koliko će vremena trebati da se riješe. Kako bi pratili aktivnosti testiranja, inženjeri testiranja uvelike ovise o izvješćima koja generira alat za upravljanje testiranjem. Pouzdan alat za upravljanje testiranjem trebao bi u svojim izvješćima pružati sljedeće informacije kao što su napredak plana testiranja, status izrade testnog slučaja, testni slučaj nije uspio i prošao, testni status po paketima, testni status po području, testni slučaj koji će se automatizirati, i tako dalje

Vaš alat za upravljanje testiranjem trebao bi omogućiti potpunu vidljivost aktivnosti razvojnog programera i procesa životnog ciklusa od upravljanja zahtjevima do testiranja i popravljanja nedostataka.

Dobar alat za upravljanje testiranjem trebao bi se sastojati od sljedećih atributa

• Grafikon i nadzorna ploča trebali bi dati uvid u to koliko je vaših automatiziranih testova pokrenuto ili čeka na izvršenje
• Treba istaknuti uobičajene atribute testa kao što je broj položenih/neuspjelih/preskočenih testnih slučajeva, radno opterećenje korisnika itd.
• Donesite odluku o spremnosti svakog izdanja
• Pregledajte svoje automatizirane testove zajedno s rezultatima ručnih testova

Savjet #2 Agilna podrška

Potražnja za agilnim pristupom na trenutnom tržištu raste i svakim danom je sve veća. Važno je da vaš alat za upravljanje testiranjem podržava agilnu metodologiju. U agilnom pristupu zahtjevi su promjenjivi i dovršavaju se postupno, vaš alat za upravljanje testiranjem trebao bi biti u stanju prilagoditi se takvim zahtjevima. Alat za agilno upravljanje testiranjem po vašem izboru trebao bi promovirati duboko partnerstvo između programera, testera i drugih dionika (osnovni princip agilnog pristupa).

Alat za upravljanje Agilnim testiranjem trebao bi podržavati

• Stvaranje priča
• Procjena
• Sprint planiranje zaostataka
• Grafikoni brzine i druga izvješća itd.
• Scrum i Kanban

U agilnom okruženju, usporedba testova pomoću alata za upravljanje testiranjem bila bi produktivna ako se promatraju promjene u stopama grešaka po iteraciji. Također, za agilno okruženje, alat za upravljanje testiranjem morat će voditi evidenciju o izdanju proizvoda za svaku iteraciju i zaostatku.

Savjet #3 Vanjska integracija

Automatizirano izvođenje testnog slučaja može znatno smanjiti opterećenje test inženjera. Trebali biste odabrati alat za upravljanje testiranjem koji se lako integrira s alati za automatizacijuTražite mogućnost upravljanja testnim skriptama, kao i zakazivanja i pokretanja testiranja lokalno i na udaljenom hostu. Također, poželjna je mogućnost pohranjivanja rezultata automatiziranog testiranja u alatu za upravljanje testiranjem. Vaš alat za upravljanje testiranjem mora podržavati kontinuirana integracija. Glavna prednost alata za upravljanje testiranjem s CI-jem je da se testovi pokreću automatski. Pokretanje može biti potaknuto bilo čime poput preuzimanja izvornog koda od strane programera ili testnog slučaja s temeljnom automatizacijom testiranja ili planiranim zadatkom za određeno vrijeme. Kontinuirana integracija razlikuje se po vremenu, detaljima, smjeru i granularnosti.

Za svaki QA tim, integracija buba trackraljevski alat čini njihov proces testiranja vrlo jednostavnim. Standardni alat za upravljanje testiranjem koji se besprijekorno integrira s SDLC aplikacijom ili drugim bugom tracKraljevski alati poput JIRA-e, BugZille i Mantisa dodaju veću vrijednost alatu. Trebao bi omogućiti korisnicima povezivanje grešaka, pokretanje testnih slučajeva i centralizirano upravljanje procesom testiranja softvera. Također bi trebao omogućiti cijelom projektnom timu da istovremeno radi na jednom problemu.

Integracija vašeg sustav podrške je važna značajka koju bi svaki alat za upravljanje testiranjem trebao pružati. Softver za podršku ili drugačije poznat kao sustav tiketa pomaže korisnicima da dobiju trenutno rješenje za svoj problem. Pomaže korisnicima da dobiju pregled svih otvorenih i riješenih problema.

API Poželjna je podrška za prilagođene integracije.

Savjet #4 Mobilni

Vaš alat za upravljanje testiranjem trebao bi podržavati mobilne uređaje i tablet.

Mobilna podrška iznimno je korisna za timove koji su na lokaciji klijenta, a ne za stolom, ili za menadžere koji rade s timovima na različitim geografskim lokacijama.

Alat za upravljanje testiranjem mora imati potpuni (ne smanjeni) skup značajki dostupnih na mobilnom uređaju.

Podrška za više uređaja i mobilni OS je važna jer s povećanjem broja uređaja postoji više složenosti kao što su lokacija, gesta, akcelerometri i problemi s orijentacijom. Uostalom, nikada ne kupujete telefon misleći da je kompatibilan s vašim alatom za upravljanje testiranjem!

Savjet #5 Podrška

Tim za podršku dobavljača alata za upravljanje testiranjem trebao bi biti predan pomaganju svojim korisnicima na sve moguće načine. Mnogi alati za upravljanje testiranjem više su usmjereni na stvaranje sjajnih web stranica i oglasa za...tracviše kupaca. Ali za kontinuirano i ponovljeno poslovanje moraju se usredotočiti na pružanje najbolje podrške za korisnike.

Najbolji alat za upravljanje testiranjem trebao bi imati značajke poput live chat, telefonski poziv, FAQ i mrežni korisnički vodiči, informacije o dokumentaciji proizvoda, baza znanja, traženje ulaznica za pomoć itd. kako bi pomogli svojim kupcima.

Mnogi alati za upravljanje testiranjem također olakšavaju video konferencija uživo sa stručnjacima za alate kako bi se riješili upiti korisnika. Ako konferencija uživo nije izvediva, demonstracije ili snimljeni videozapisi vezani uz alat za upravljanje testiranjem trebali bi uvijek biti dostupni na stranici i dostupni u bilo kojem trenutku. Dok za razvojne programere, ako alat pruža podršku za API ili prilagođenu integraciju, potrebno je dostaviti demo skriptu i detaljnu dokumentaciju.

Iako svi gore navedeni kanali podrške možda nisu dostupni za sve alate, trebali biste odabrati alat koji vam pruža "željena” kanal podrške.

Još jedan važan i često zaboravljen parametar je je li prodavač alata Usredotočen na kupca? Evo nekoliko stvari koje treba uzeti u obzir pri odabiru alata za upravljanje testiranjem-

• Sučelje alata mora biti prilagođeno korisniku i uključivati ​​značajku integracije korisnika
• Trebao bi se prilagoditi više jezika i više vremenskih zona
• Trebao bi imati mogućnost naprednog pretraživanja

Nadamo se da će vam ovaj vodič pomoći u odabiru alata koji najbolje odgovara vašim potrebama testiranja! Za sveobuhvatnije upravljanje životnim ciklusom vaše aplikacije, možda biste trebali istražiti ovo ALM alati.

Pitanja i odgovori