Cum să selectați cel mai bun instrument de testare a automatizării?

În articol Îmbunătățirea procesului de testare, ai învățat punctele de îmbunătățire din proiect Guru99 Bank. Folosește metode automate Testarea în loc de Testarea manuală. Dar membrii echipei vă pot întreba -

Răspunsul la această întrebare este provocator, deoarece există mulți factori de luat în considerare

• Doriți să vă susțineți activitățile de testare prin intermediul unui instrument software, dar nu cunoașteți instrumentele disponibile în prezent pe piață
• Ce tip de instrument se va potrivi cel mai bine cerințelor și bugetului proiectului?
• Cine din echipă are abilitățile de a folosi instrumentul odată ce l-ați achiziționat

Importanța selecției instrumentului de testare software

Succesul în orice automatizare de testare depinde de identificarea instrumentului potrivit pentru automatizare. Selectarea instrumentului de testare „corect” pentru proiectul dumneavoastră este una dintre cele mai bune modalități de a atinge obiectivul proiectului. Următorul exemplu vă va arăta beneficiile selecției instrumentului de testare

În proiect Guru99 Bank, pentru a economisi efortul de testare, echipa de proiect a decis să utilizeze un instrument de testare automat pentru execuția testelor. După numeroase întâlniri, echipa dumneavoastră a selectat un instrument potrivit pentru proiect.

O lună mai târziu, ați primit raportul de la echipa de proiect despre acest instrument

Rezultatele sunt grozave. Noul instrument automat a dublat productivitatea testării. Înseamnă că am salvat 50% costul executării testului. Dacă sunteți interesat să explorați mai multe opțiuni pentru proiectele dvs., consultați această listă de instrumente automate de testare.

Acesta este un exemplu al beneficiului utilizării instrumentului de testare în proiect. Selectarea instrumentului de testare potrivit vă ajută să îmbunătățiți productivitatea proiectului și să economisiți costurile proiectului.

Tipul de instrumente de testare

Există multe tipuri de instrumente de testare, pe care Test Manager le poate lua în considerare atunci când selectează instrumentele de testare.

Instrumente open-source

Instrumentele open source sunt programul în care se află codul sursă deschis publicat pentru utilizare și/sau modificare față de designul său original, gratuit.

Instrumentele open-source sunt disponibile pentru aproape orice fază a procesului de testare, de la Caz de testare management la Defect tracrege. Comparativ cu instrumentele comerciale, instrumentele open source pot avea mai puține funcții.

Instrumente comerciale

Instrumentele comerciale sunt programele care sunt produse pentru vânzare sau pentru a servi în scopuri comerciale.

Instrumentele comerciale au mai mult suport și mai multe funcții de la un furnizor decât instrumentele open-source.

Instrumente personalizate

În unele proiecte de testare, mediul de testare și procesul de testare au caracteristici speciale. Niciun instrument open-source sau comercial nu poate îndeplini cerințele. Prin urmare, Managerul de testare trebuie să ia în considerare dezvoltarea instrumentului personalizat.

Exemplu: Doriți să găsiți un instrument de testare pentru proiect Guru99 Bank. Doriți ca acest instrument să îndeplinească anumite cerințe specifice ale proiectului.

Analiza de fezabilitate a automatizării

Revenind la exemplul de mai sus, echipa de proiect a decis să dezvolte un instrument personalizat care poate îndeplini cerințele proiectului. Să presupunem că li s-au dat 100 de cazuri de testare de automatizat și au estimat 5 zile pentru a dezvolta un instrument care poate automatiza toate dintre acele cazuri de testare.

Iată rezultatul muncii lor

Ca și în scenariul de mai sus, problema este că instrumentul de testare nu poate automatiza toate cazurile de testare ale specificației testului. Înseamnă că nu tot caracteristicile aplicației pot fi complet testat folosind instrumentul de testare.

Dacă funcționalitatea aplicației testate se schimba frecvent sau este prea complicat, este dificil să creați automatizare de testare pentru toate caracteristicile aplicației, deoarece fiecare instrument are propriile sale limitări.

Dacă nu doriți să vă aflați într-o astfel de situație, înainte de a selecta instrumentul de testare, trebuie să analizați cazurile de testare și să decideți care cazuri de testare ar trebui automatizate și care cazuri de testare nu. Acesta este Analiza de fezabilitate a automatizării activitate.

Analiza de fezabilitate a automatizării contribuie foarte mult la testare. În această analiză, trebuie să verificați dacă aplicația testată este calificat pentru testare automată.

Câțiva factori pe care trebuie să îi luați în considerare:

Pentru a afla mai multe despre acești factori, puteți utiliza a Lista de verificare care este inclus în acest articol

Cum să selectați cel mai bun instrument de testare a automatizării

Pentru a selecta cel mai potrivit instrument de testare pentru proiect, Managerul de testare ar trebui să urmeze procesul de selecție a instrumentelor de mai jos

Pasul 1) Identificați cerințele pentru instrumente

Cum poți selecta un instrument de testare dacă nu știi ce cauți?

Trebuie să identificați cu precizie cerințele instrumentului dvs. de testare. Toate cerințele trebuie să fie documentat și revizuite de echipele de proiect și de consiliul de conducere.

Luați în considerare următorul exemplu:

Pasul 2) Evaluați instrumentele și furnizorii

După ce a stabilit cerința instrumentului, Managerul de testare ar trebui

• Analizați instrumentele comerciale și open source care sunt disponibile pe piață, în funcție de cerințele proiectului.
• Crearea unei lista scurtă de instrumente care corespunde cel mai bine criteriilor dvs
• Un factor pe care ar trebui să îl luați în considerare este furnizori. Ar trebui să luați în considerare reputația vânzătorului, asistența post-vânzare, frecvența de actualizare a instrumentelor etc. atunci când luați decizia.
• Evaluați calitatea instrumentului luând utilizare de probă și lansarea unui pilot. Mulți furnizori fac adesea versiuni de încercare ale software-ului lor disponibile pentru descărcare

Pasul 3) Estimați costul și beneficiul

Pentru a se asigura că instrumentul de testare este benefic pentru afaceri, Managerul de testare trebuie să facă acest lucru echilibra urmatorii factori:

A analiza cost-beneficiu trebuie efectuată înainte de achiziționarea sau construirea unui instrument

Exemplu: După ce a petrecut mult timp investigând instrumentele de testare, echipa de proiect a găsit instrumentul de testare perfect pentru proiect. GuruSite-ul web al Băncii 99. Rezultatele evaluării au concluzionat că acest instrument ar putea

• Double productivitatea actuală a executării testelor
• Reduce efortul de management cu 30%

Cu toate acestea, după ce ați discutat cu furnizorul de software, ați descoperit că costa a acestui instrument este prea mare în comparație cu valoare și beneficia pe care îl poate aduce în echipă.

Într-un astfel de caz, echilibra între costul și beneficiul instrumentului poate afecta decizia finală.

Pasul 4) Luați decizia finală

Pentru a lua decizia finală, Managerul de testare trebuie să aibă:

• Ia o conștientizare puternică a instrumentului. Înseamnă că trebuie să înțelegi care este puternic punctele și slab punctele instrumentului
• Sold cost și beneficiu.

Chiar și cu ore petrecute citind manualul software și informațiile despre furnizor, este posibil să fie nevoie să încercați instrumentul în mediul dvs. de lucru real înainte de a cumpăra licența.

Ar trebui să aveți o întâlnire cu echipa de proiect, consultanți pentru a obține o cunoaștere mai profundă a instrumentului.

Decizia dumneavoastră poate avea un impact negativ asupra proiectului, a procesului de testare și a obiectivelor de afaceri; ar trebui să petreci un timp bun să te gândești bine la asta.

Lucruri de luat în considerare atunci când alegeți un instrument de management al testelor

Cu gama largă de opțiuni disponibile, este ușor să te confundai în timp ce cumperi.ping pentru un instrument de gestionare a testelor. Acesta este un ghid imparțial care vă va ajuta să identificați cel mai bun instrument conform nevoile tale.

În acest ghid, vă voi oferi 5 parametri cei mai importanți, dar adesea ignorați, atunci când vă selectați instrumentul de gestionare a testelor. Dar înainte de a începe, permiteți-mi să repet...

Nu compara Apple cu Portocale

Nu are sens să compari un instrument SaaS de 30 USD pe lună cu un instrument comercial de 6000 USD, atunci când bugetul tău nu permite acest lucru. Este important să filtrați instrumentul cu o listă bazată pe BUGET primul. Dacă aveți un buget, open-source este o opțiune bună. Deși instrumentele comerciale sunt scumpe, ele oferă un suport excelent și sunt ușor de utilizat, cu o mulțime de materiale de instruire furnizate.

Următorul lucru pe care ar trebui să-l calculați este costul pentru licență. Pentru asta trebuie să estimați durata de finalizare a testului și ce metodă optați pentru testare, acest lucru vă va ajuta să vă dați seama ce model s-ar potrivi în bugetul dvs., cum ar fi dacă doriți să plătiți ca per utilizator înregistrat, utilizator concurent sau utilizator persistent. De obicei, costurile persistente sau unice sunt mai mari din cauza cheltuielilor de capital. Pentru anumite programe, aveți nevoie de licență de rulare. Nu toți furnizorii acceptă licențe de rulare, așa că trebuie să luați în considerare cheltuielile cu licența de rulare și dacă vă gândiți să instalați pe diferite mașini.

Odată ce v-ați distilat alegerile în funcție de buget, iată 5 parametri foarte importanți pentru a vă compara instrumentele de management al testelor -

Sfatul #1 Instrumentul de management al testelor ar trebui să îmbunătățească productivitatea

Echipele de testare se confruntă cu provocări abrupte pentru a ține pasul cu schimbările tehnologice rapide și nevoia de testare pe mai multe platforme (atât browsere, cât și dispozitive). Deoarece testarea manuală ocupă cea mai mare parte a timpului de testare, o modalitate de a face față acestei provocări este intensificarea automatizării. Dar există și alte domenii pentru a îmbunătăți eficiența unui instrument, care include gestionarea eficientă a laboratorului de testare/date, managementul lansărilor, raportare perspicace, printre altele. Utilizarea ChoIt a instrumentului corect de management al testelor poate ajuta enorm la îmbunătățirea acestor parametri.

Să ne uităm la ceea ce este necesar dintr-un instrument de management al testelor din punct de vedere al productivității -

Granularitatea informațiilor de testare

Instrumentul de management al testelor ar trebui să includă rapoarte detaliate cu informații legate de procesul de testare. De exemplu, în cazul eșecului cazului de testare, este întotdeauna util să știți la ce pas testul a eșuat în loc să știți că cazul de testare a eșuat în ansamblu. Indiferent de modificările minore aplicate în timpul testării, instrumentul de management al testului ar trebui să informeze despre modificările membrilor echipei corespunzători. Pentru o urmărire ușoară și o acțiune rapidă, ar trebui să păstreze, de asemenea, o urmărire de audit a modificărilor, inclusiv versiunea completă a cazurilor de testare. De asemenea, instrumentul de management al testului ar trebui să salveze rezultatele testului ca sesiune și trebuie să aibă capacitatea de a compara rezultatele testării. Celelalte caracteristici care sunt așteptate de la un instrument standard de gestionare a testelor sunt documentarea strategiei de testare, planificarea executării testelor, crearea de defecte, legarea poveștilor, etc. O funcție de încărcare video și suport API ar fi cireașa de pe tort.

Managementul versiunilor Tracrege (DevOps)

Lansările de software sunt complexe, cu activități multiple (cum ar fi tracregele versiunii de construire, coordonarea echipei și transparența lansărilor) toate având loc simultan. Un instrument bun de gestionare a testelor trebuie să aibă un management robust al lansărilor. traco capacitate de gestionare care să păstreze evidența listei de software testat și lansat, astfel încât să nu intre în conflict cu alte artefacte de testare. De asemenea, ar trebui să fie capabil să gestioneze toate artefactele proiectului într-un singur mediu.

Instrumentul de gestionare a testelor trebuie să ofere o singură vedere asupra cerințelor pentru toate părțile interesate. Colaborarea cu părțile interesate garantează că sunt captate cerințele corecte. Instrumentul ar trebui să fie capabil să traclegăturile dintre alte active de dezvoltare și cerințe.

Pentru echipele distribuite, ar trebui să ofere un singur depozit partajat pentru a colabora și a partaja cerințele, pentru a evalua defectele legate și pentru a înțelege relația lor cu testele.

Pentru calitate și coerență, instrumentul dvs. de management al testelor trebuie să impună standardizarea.

Raportarea

Este un haos dacă echipa ta de testare știe câte defecte sunt deschise în versiune, dar nu știe cât timp va dura să o rezolve. Pentru a monitoriza activitățile de testare, inginerii de testare depind foarte mult de rapoartele generate de instrumentul de management al testelor. Un instrument de management al testelor de încredere ar trebui să ofere următoarele informații în rapoartele lor, cum ar fi progresul planului de testare, starea de creare a cazului de testare, caz de testare eșuat și promovat, starea testului pe suite, starea testului în funcție de zonă, caz de testare care urmează să fie automatizat, etc

Instrumentul dvs. de management al testelor ar trebui să permită vizibilitatea completă a activității dezvoltatorului și a proceselor ciclului de viață, de la gestionarea cerințelor până la testare și remediere a defectelor.

Un instrument bun de management al testelor ar trebui să cuprindă următoarele atribute

• Graficul și tabloul de bord ar trebui să ofere informații despre câte dintre testele dvs. automatizate au rulat sau așteaptă executarea
• Ar trebui să evidențieze atributele comune ale testului, cum ar fi numărul de cazuri de testare trecute/eșuate/sărite, volumul de lucru al utilizatorului etc.
• Luați o decizie cu privire la pregătirea fiecărei lansări
• Vizualizați testele automate împreună cu rezultatele testelor manuale

Sfatul #2 Suport Agil

Cererea de agilitate pe piața actuală este în creștere și este din ce în ce mai mare pe zi ce trece. Este important ca instrumentul dvs. de management al testelor să sprijine metodologia agilă. În Agile, cerințele sunt modificabile și completate treptat, instrumentul dvs. de management al testelor ar trebui să poată face față acestor cerințe. Instrumentul de management agil al testelor ales de dvs. ar trebui să promoveze un parteneriat profund între dezvoltatori, testeri și alte părți interesate (principiul de bază al agilității).

Instrumentul Agile de management al testelor ar trebui să fie susținut

• Crearea poveștilor
• evaluare
• Sprint planificarea restanțelor
• Diagrame de viteză și alte rapoarte etc.
• Scrum și Kanban

În timp ce într-un mediu Agile, compararea testelor cu instrumentul de management al testului ar fi productivă dacă te uiți la modificări ale ratelor de defecte pe iterație. De asemenea, pentru Agile, instrumentul de management al testelor va trebui să păstreze evidența lansării produsului pentru fiecare iterație și backlog.

Sfatul #3 Integrarea externă

Execuția automată a cazurilor de testare poate reduce o mulțime de sarcini din partea inginerilor de testare. Ar trebui să selectați un instrument de management al testelor care se integrează cu ușurință instrumente de automatizare. Căutați capacitatea de a gestiona scripturile de testare, precum și de a programa și lansa testul atât local, cât și pe gazda de la distanță. De asemenea, este de dorit capacitatea de a stoca rezultatele testelor de automatizare în instrumentul de gestionare a testelor. Instrumentul dvs. de management al testelor trebuie să fie susținut integrare continuă. Principalul avantaj al instrumentului de gestionare a testelor cu CI este că testele sunt lansate automat. Lansarea poate fi declanșată de orice, cum ar fi un cod sursă comis de la un dezvoltator sau un caz de testare cu automatizare de testare subiacentă sau o sarcină programată pentru o anumită perioadă de timp. Integrarea continuă diferă în timp, detaliu, direcție și granularitate.

Pentru orice echipă QA, integrarea bug tracinstrumentul regelui simplifică foarte mult procesul de testare. Un instrument standard de gestionare a testelor care se integrează perfect cu aplicația SDLC sau cu alte dispozitive care oferă servicii de gestionare a erorilor. tracInstrumente precum JIRA, BugZilla, Mantis adaugă mai multă valoare instrumentului. Ar trebui să permită utilizatorilor să conecteze erori, să execute cazuri de testare, pentru o gestionare centralizată a procesului de testare software. De asemenea, ar trebui să permită întregii echipe de proiect să lucreze împreună la o singură problemă în același timp.

Integrarea dvs sistem de birou suport este o caracteristică importantă pe care ar trebui să o ofere orice instrument de management al testelor. Un software de birou de asistență sau altfel cunoscut sub numele de sistem de bilete ajută utilizatorii să obțină o soluție instantanee la problema lor. Ajută clienții să obțină o imagine de ansamblu asupra tuturor problemelor deschise și închise.

API Suportul pentru integrări personalizate este de dorit.

Sfatul #4 Mobil

Instrumentul dvs. de gestionare a testelor ar trebui să accepte dispozitive mobile și tablete.

Suportul mobil este extrem de util pentru echipele care se află la locația clientului, nu la birou, sau pentru manageri, care lucrează cu echipe din diferite locații geografice.

Instrumentul de gestionare a testelor trebuie să aibă un set complet de funcții (nu redus) disponibil pe mobil.

Suportul pentru mai multe dispozitive și sistemul de operare mobil este important, deoarece odată cu creșterea numărului de dispozitive, există mai multe complexități precum locația, gesturile, accelerometrele și problemele de orientare. La urma urmei, nu cumperi niciodată un telefon crezând că este compatibil cu instrumentul tău de gestionare a testelor!

Sfatul #5 Asistență

Echipa de asistență a furnizorului de instrumente de gestionare a testelor ar trebui să se angajeze să-și ajute clienții în toate modurile posibile. Multe instrumente de gestionare a testelor sunt mai concentrate pe crearea de site-uri web strălucitoare și reclame pentru cel puțin...tracmai mulți clienți. Dar pentru o activitate continuă și repetată, trebuie să se concentreze pe furnizarea celui mai bun suport de asistență.

Cel mai bun instrument de gestionare a testelor ar trebui să aibă caracteristici precum chat live, apel telefonic, întrebări frecvente și ghiduri online ale utilizatorului, informații despre documentația produsului, bază de cunoștințe, ridicarea biletului la biroul de asistență, etc pentru a-și ajuta clienții.

Multe instrumente de gestionare a testelor facilitează, de asemenea videoconferință live cu experți în instrumente pentru a rezolva întrebările clienților. Dacă conferința live nu este fezabilă, demo-urile sau videoclipurile înregistrate legate de instrumentul de gestionare a testelor ar trebui să fie întotdeauna disponibile pe site și pot fi accesate oricând. În timp ce pentru dezvoltatori, dacă instrumentul oferă suport API sau integrare personalizată, trebuie furnizate un script demonstrativ și o documentație detaliată.

Deși este posibil ca toate canalele de asistență de mai sus să nu fie disponibile pentru toate instrumentele, ar trebui să selectați un instrument care vă oferă „preferat” canal de asistență.

Un alt parametru important și adesea uitat este dacă furnizorul de instrumente este Orientat spre client? Iată câteva lucruri de luat în considerare atunci când alegeți instrumentul dvs. de management al testelor -

• Interfața instrumentului ar trebui să fie ușor de utilizat și să includă funcția de integrare a clienților
• Ar trebui să găzduiască mai multe limbi și mai multe fusuri orare
• Ar trebui să aibă o capacitate de căutare avansată

Sper că acest ghid vă va ajuta să alegeți un instrument care se potrivește cel mai bine nevoilor dvs. de testare! Pentru o gestionare mai cuprinzătoare a ciclului de viață al aplicației dvs., vă recomandăm să le explorați Instrumente ALM.