Cum să selectați cel mai bun instrument de testare a automatizării?

În articol Îmbunătățirea procesului de testare, ai învățat punctele de îmbunătățire din proiect Guru99 Bank. Folosește metode automate Testarea în loc de Testarea manuală. Dar membrii echipei vă pot întreba -

Răspunsul la această întrebare este provocator, deoarece există mulți factori de luat în considerare

• Doriți să vă susțineți activitățile de testare prin intermediul unui instrument software, dar nu cunoașteți instrumentele disponibile în prezent pe piață
• Ce tip de instrument se va potrivi cel mai bine cerințelor și bugetului proiectului?
• Cine din echipă are abilitățile de a folosi instrumentul odată ce l-ați achiziționat

Importanța selecției instrumentului de testare software

Succesul în orice automatizare de testare depinde de identificarea instrumentului potrivit pentru automatizare. Selectarea instrumentului de testare „corect” pentru proiectul dumneavoastră este una dintre cele mai bune modalități de a atinge obiectivul proiectului. Următorul exemplu vă va arăta beneficiile selecției instrumentului de testare

În proiect Guru99 Bank, pentru a economisi efortul de testare, echipa de proiect a decis să utilizeze un instrument de testare automat pentru execuția testelor. După numeroase întâlniri, echipa dumneavoastră a selectat un instrument potrivit pentru proiect.

O lună mai târziu, ați primit raportul de la echipa de proiect despre acest instrument

Rezultatele sunt grozave. Noul instrument automat a dublat productivitatea testării. Înseamnă că am salvat 50% costul executării testului. Dacă sunteți interesat să explorați mai multe opțiuni pentru proiectele dvs., consultați această listă de instrumente automate de testare.

Acesta este un exemplu al beneficiilor utilizării instrumentului de testare în cadrul proiectului. Selectarea instrumentului de testare potrivit vă ajută să îmbunătățiți productivitatea proiectului și să economisiți costurile proiectului.

Tipul de instrumente de testare

Există multe tipuri de instrumente de testare pe care un manager de teste le poate lua în considerare atunci când selectează instrumentele de testare.

Instrumente open-source

Instrumentele open source sunt programul în care se află codul sursă deschis publicat pentru utilizare și/sau modificare față de designul său original, gratuit.

Instrumentele open-source sunt disponibile pentru aproape orice fază a procesului de testare, de la Caz de testare management la Defect tracrege. Comparativ cu instrumentele comerciale, instrumentele open source pot avea mai puține funcții.

Instrumente comerciale

Instrumentele comerciale sunt programele care sunt produse pentru vânzare sau pentru a servi în scopuri comerciale.

Instrumentele comerciale au mai mult suport și mai multe funcții de la un furnizor decât instrumentele open-source.

Instrumente personalizate

În unele proiecte de testare, mediul și procesul de testare au caracteristici speciale. Niciun instrument open-source sau comercial nu poate îndeplini această cerință. Prin urmare, managerul de testare trebuie să ia în considerare dezvoltarea unui instrument personalizat.

Exemplu: Doriți să găsiți un instrument de testare pentru proiect Guru99 Bank. Doriți ca acest instrument să îndeplinească anumite cerințe specifice ale proiectului.

Indiferent de categoria spre care te înclini, următoarea întrebare este dacă testele tale sunt potrivite pentru automatizare.

Analiza de fezabilitate a automatizării

Revenind la exemplul de mai sus, echipa de proiect a decis să dezvolte un instrument personalizat care poate îndeplini cerințele proiectului. Să presupunem că li s-au dat 100 de cazuri de testare de automatizat și au estimat 5 zile pentru a dezvolta un instrument care poate automatiza toate dintre acele cazuri de testare.

Iată rezultatul muncii lor

Ca și în scenariul de mai sus, problema este că instrumentul de testare nu poate automatiza toate cazurile de testare ale specificației testului. Înseamnă că nu tot caracteristicile aplicației pot fi complet testat folosind instrumentul de testare.

Dacă funcționalitatea aplicației testate se schimba frecvent sau este prea complicat, este dificil să creați automatizare de testare pentru toate caracteristicile aplicației, deoarece fiecare instrument are propriile sale limitări.

Dacă nu doriți să vă aflați într-o astfel de situație, înainte de a selecta instrumentul de testare, trebuie să analizați cazurile de testare și să decideți care cazuri de testare ar trebui automatizate și care cazuri de testare nu. Acesta este Analiza de fezabilitate a automatizării activitate.

Analiza de fezabilitate a automatizării contribuie foarte mult la testare. În această analiză, trebuie să verificați dacă aplicația testată este calificat pentru testare automată.

Câțiva factori pe care trebuie să îi luați în considerare:

Pentru a afla mai multe despre acești factori, puteți utiliza a Lista de verificare care este inclus în acest articol

Cum să selectați cel mai bun instrument de testare a automatizării

Pentru a selecta cel mai potrivit instrument de testare pentru proiect, Managerul de testare ar trebui să urmeze procesul de selecție a instrumentelor de mai jos

Pasul 1) Identificați cerințele pentru instrumente

Cum poți selecta un instrument de testare dacă nu știi ce cauți?

Trebuie să identificați cu precizie cerințele instrumentului de testare. Toate cerințele trebuie să fie documentat și revizuite de echipele de proiect și de consiliul de conducere.

Luați în considerare următorul exemplu:

Pasul 2) Evaluați instrumentele și furnizorii

După ce a stabilit cerința instrumentului, Managerul de testare ar trebui

• Analizați instrumentele comerciale și open source care sunt disponibile pe piață, în funcție de cerințele proiectului.
• Crearea unei lista scurtă de instrumente care corespunde cel mai bine criteriilor dvs
• Un factor pe care ar trebui să îl luați în considerare este furnizori. Ar trebui să luați în considerare reputația vânzătorului, asistența post-vânzare, frecvența de actualizare a instrumentelor etc. atunci când luați decizia.
• Evaluați calitatea instrumentului luând utilizare de probă și lansarea unui pilot. Mulți furnizori fac adesea versiuni de încercare ale software-ului lor disponibile pentru descărcare

Pasul 3) Estimați costul și beneficiul

Pentru a se asigura că instrumentul de testare este benefic pentru afacere, Managerul de Testare trebuie să echilibra urmatorii factori:

A analiza cost-beneficiu trebuie efectuată înainte de achiziționarea sau construirea unui instrument

Exemplu: După ce a petrecut mult timp investigând instrumentele de testare, echipa de proiect a găsit instrumentul de testare perfect pentru proiect. GuruSite-ul web al Băncii 99. Rezultatele evaluării au concluzionat că acest instrument ar putea

• Double productivitatea actuală a executării testelor
• Reduce efortul de management cu 30%

Cu toate acestea, după ce ați discutat cu furnizorul de software, ați descoperit că costa al acestui instrument este prea mare în comparație cu valoare și beneficia pe care îl poate aduce în echipă.

Într-un astfel de caz, echilibra Raportul dintre costul și beneficiul instrumentului poate influența decizia finală.

Pasul 4) Luați decizia finală

Pentru a lua decizia finală, Managerul de testare trebuie să aibă:

• Ia o conștientizare puternică a instrumentului. Înseamnă că trebuie să înțelegi care este puternic punctele și slab punctele instrumentului
• Sold cost și beneficiu.

Chiar și cu ore petrecute citind manualul software și informațiile despre furnizor, este posibil să fie nevoie să încercați instrumentul în mediul dvs. de lucru real înainte de a cumpăra licența.

Ar trebui să aveți o întâlnire cu echipa de proiect, consultanți pentru a obține o cunoaștere mai profundă a instrumentului.

Decizia dumneavoastră poate avea un impact negativ asupra proiectului, a procesului de testare și a obiectivelor de afaceri; ar trebui să petreci un timp bun să te gândești bine la asta.

Pasul 3 vă cere să echilibrați costul cu beneficiul. Calculul de mai jos transformă această judecată într-un număr pe care îl puteți prezenta.

Cum se calculează rentabilitatea investiției în testarea automată

O discuție cost-beneficiu tinde să se blocheze deoarece fiecare parte argumentează pe baza opiniilor. O simplă cifră a rentabilității investiției mută conversația către dovezi, iar majoritatea consiliilor de administrație se așteaptă să vadă una înainte de a aproba achiziția unei unelte.

Comparația de bază este costul executării manuale a testelor față de costul total al automatizării lor.

// Cost of one manual test cycle
Manual cost per cycle = Hours per cycle x Hourly rate

// One-off and recurring cost of automating
Automation cost = Tool licence + Script development + (Maintenance x Cycles)

// Return on investment across N cycles
ROI = ((Manual cost per cycle x N) - Automation cost) / Automation cost

Patru intrări decid dacă numărul iese pozitiv.

• Frecvența de execuție: Automatizarea se recompensează doar prin repetiție. O rulare nocturnă a unei suite atinge pragul de rentabilitate mult mai repede decât o rulare per lansare.
• Întreținerea scriptului: Acesta este costul pe care majoritatea echipelor îl uită. O interfață volatilă poate consuma mai multe ore de mentenanță decât execuția manuală pe care a înlocuit-o, exact situația pe care analiza de fezabilitate de mai sus este menită să o surprindă.
• Model de licență: Licențele per utilizator concurent, per utilizator numit și licențele perpetue unice produc totaluri foarte diferite pe o perioadă de trei ani. Modelați perioada pentru care intenționați efectiv să păstrați instrumentul.
• Beneficii care nu sunt ore: Feedback-ul mai rapid, defectele depistate mai devreme și testerii eliberați pentru muncă exploratorie au o valoare reală. Enumerați-le alături de figură, în loc să încercați să le impuneți.

💡 Sfat: Calculați pragul de rentabilitate, care este numărul de cicluri la care costul automatizării este egal cu costul manual. Dacă pragul de rentabilitate scade dincolo de durata de viață a lansării, automatizarea acelei suite nu merită însă la momentul respectiv.tractiv arată instrumentul.

Lucruri de luat în considerare atunci când alegeți un instrument de management al testelor

Cu gama largă de opțiuni disponibile, este ușor să te confundai în timp ce cumperi.ping pentru un instrument de gestionare a testelor. Acesta este un ghid imparțial care vă va ajuta să identificați cel mai bun instrument conform nevoile tale.

În acest ghid, vă voi oferi 5 parametri cei mai importanți, dar adesea ignorați, atunci când vă selectați instrumentul de gestionare a testelor. Dar înainte de a începe, permiteți-mi să repet...

Nu compara Apple cu Portocale

Nu are sens să compari un instrument SaaS de 30 USD pe lună cu un instrument comercial de 6000 USD, atunci când bugetul tău nu permite acest lucru. Este important să filtrați instrumentul cu o listă bazată pe BUGET primul. Dacă aveți un buget, open-source este o opțiune bună. Deși instrumentele comerciale sunt scumpe, acestea oferă un suport excelent și sunt ușor de utilizat, fiind furnizate o mulțime de materiale de instruire.

Următorul lucru pe care ar trebui să-l calculați este costul pentru licență. Pentru asta trebuie să estimați durata de finalizare a testului și ce metodă optați pentru testare, acest lucru vă va ajuta să vă dați seama ce model s-ar potrivi în bugetul dvs., cum ar fi dacă doriți să plătiți ca per utilizator înregistrat, utilizator concurent sau utilizator persistentDe obicei, costurile persistente sau unice sunt mai mari din cauza cheltuielilor de capital. Pentru anumite programe software, aveți nevoie de licențe runtime. Nu toți furnizorii acceptă licențe runtime, așa că trebuie să luați în considerare și cheltuielile cu licența runtime dacă vă gândiți să instalați pe mașini diferite.

Odată ce v-ați distilat alegerile în funcție de buget, iată 5 parametri foarte importanți pentru a vă compara instrumentele de management al testelor -

Sfatul #1 Instrumentul de management al testelor ar trebui să îmbunătățească productivitatea

Echipele de testare se confruntă cu provocări majore pentru a ține pasul cu schimbările tehnologice rapide și nevoia de testare pe mai multe platforme (atât browsere, cât și dispozitive). Deoarece testarea manuală ocupă cea mai mare parte a timpului de testare, o modalitate de a aborda această provocare este intensificarea automatizării. Există însă și alte domenii în care se poate îmbunătăți eficiența unui instrument, care includ gestionarea eficientă a laboratorului de testare/a datelor, gestionarea lansărilor, raportarea detaliată, printre altele. Alegerea instrumentului corect de gestionare a testelor poate ajuta enorm la îmbunătățirea acestor parametri.

Să ne uităm la ceea ce este necesar dintr-un instrument de management al testelor din punct de vedere al productivității -

Granularitatea informațiilor de testare

Instrumentul de gestionare a testelor ar trebui să includă rapoarte detaliate cu informații legate de procesul de testare. De exemplu, în cazul eșecului unui caz de testare, este întotdeauna util să se știe la ce etapă a eșuat testul, în loc să se știe că întregul caz de testare a eșuat. Indiferent de modificările minore aplicate în timpul testării, instrumentul de gestionare a testelor ar trebui să informeze membrii echipei respective despre aceste modificări. Pentru o urmărire ușoară și acțiuni rapide, ar trebui să păstreze și o evidență a modificărilor, inclusiv versiunea completă a cazurilor de testare. De asemenea, instrumentul de gestionare a testelor ar trebui să salveze rezultatele testelor ca sesiune și trebuie să aibă capacitatea de a compara rezultatele rulării testelor. Celelalte caracteristici care sunt așteptate de la un instrument standard de gestionare a testelor sunt documentarea strategiei de testare, planificarea executării testelor, crearea de defecte, legarea poveștilor, etc. O funcție de încărcare video și suport API ar fi cireașa de pe tort.

Managementul versiunilor Tracking (DevOps)

Lansările de software sunt complexe, cu activități multiple (cum ar fi tracregele versiunii de construire, coordonarea echipei și transparența lansărilor) toate având loc simultan. Un instrument bun de gestionare a testelor trebuie să aibă un management robust al lansărilor. traco capacitate de gestionare care să păstreze evidența listei de software testat și lansat, astfel încât să nu intre în conflict cu alte artefacte de testare. De asemenea, ar trebui să fie capabil să gestioneze toate artefactele proiectului într-un singur mediu.

Instrumentul de gestionare a testelor trebuie să ofere o singură vedere asupra cerințelor pentru toate părțile interesate. Colaborarea cu părțile interesate garantează că sunt captate cerințele corecte. Instrumentul ar trebui să fie capabil să traclegăturile dintre alte active de dezvoltare și cerințe.

Pentru echipele distribuite, ar trebui să ofere un singur depozit partajat pentru a colabora și a partaja cerințele, pentru a evalua defectele legate și pentru a înțelege relația lor cu testele.

Pentru calitate și coerență, instrumentul dvs. de management al testelor trebuie să impună standardizarea.

Raportarea

Este un haos dacă echipa ta de testare știe câte defecte sunt deschise în versiune, dar nu știe cât timp va dura să le rezolve. Pentru a monitoriza activitățile de testare, inginerii de testare se bazează în mare măsură pe rapoartele generate de instrumentul de management al testelor. Un instrument de management al testelor fiabil ar trebui să ofere următoarele informații în rapoartele sale, cum ar fi: progresul planului de testare, starea de creare a cazului de testare, caz de testare eșuat și promovat, starea testului pe suite, starea testului în funcție de zonă, caz de testare care urmează să fie automatizat, etc

Instrumentul dvs. de management al testelor ar trebui să permită vizibilitatea completă a activității dezvoltatorului și a proceselor ciclului de viață, de la gestionarea cerințelor până la testare și remediere a defectelor.

Un instrument bun de management al testelor ar trebui să cuprindă următoarele atribute

• Graficul și tabloul de bord ar trebui să ofere informații despre câte dintre testele dvs. automatizate au rulat sau așteaptă executarea
• Ar trebui să evidențieze atributele comune ale testului, cum ar fi numărul de cazuri de testare trecute/eșuate/sărite, volumul de lucru al utilizatorului etc.
• Luați o decizie cu privire la pregătirea fiecărei lansări
• Vizualizați testele automate împreună cu rezultatele testelor manuale

Sfatul #2 Suport Agil

Cererea pentru metodologia agilă pe piața actuală este în creștere, și este din ce în ce mai mare pe zi ce trece. Este important ca instrumentul dvs. de management al testelor să suporte metodologia agilă. În Agile, cerințele sunt mutabile și se completează incremental, iar instrumentul dvs. de management al testelor ar trebui să poată adapta astfel de cerințe. Instrumentul de management al testelor agile ales de dvs. ar trebui să promoveze un parteneriat profund între dezvoltatori, testeri și alte părți interesate (principiul de bază al agile).

Instrumentul Agile de management al testelor ar trebui să fie susținut

• Crearea poveștilor
• evaluare
• Sprint planificarea restanțelor
• Diagrame de viteză și alte rapoarte etc.
• Scrum și Kanban

Într-un mediu Agile, compararea testelor efectuate cu ajutorul instrumentului de gestionare a testelor ar fi productivă dacă se analizează modificările ratelor de defecte per iterație. De asemenea, pentru Agile, instrumentul de gestionare a testelor va trebui să țină evidența lansării produsului pentru fiecare iterație și restanțe.

Sfatul #3 Integrarea externă

Execuția automată a cazurilor de testare poate reduce o mulțime de sarcini din partea inginerilor de testare. Ar trebui să selectați un instrument de management al testelor care se integrează cu ușurință instrumente de automatizareCăutați posibilitatea de a gestiona scripturi de testare, precum și de a programa și lansa teste atât local, cât și pe gazda la distanță. De asemenea, este de dorit capacitatea de a stoca rezultatele testelor de automatizare în instrumentul de gestionare a testelor. Instrumentul dvs. de gestionare a testelor trebuie să suporte... integrare continuă. Principalul avantaj al instrumentului de gestionare a testelor cu CI este că testele sunt lansate automat. Lansarea poate fi declanșată de orice, cum ar fi un cod sursă comis de la un dezvoltator sau un caz de testare cu automatizare de testare subiacentă sau o sarcină programată pentru o anumită perioadă de timp. Integrarea continuă diferă în timp, detaliu, direcție și granularitate.

Pentru orice echipă QA, integrarea bug tracinstrumentul regelui simplifică foarte mult procesul de testare. Un instrument standard de gestionare a testelor care se integrează perfect cu aplicația SDLC sau cu alte dispozitive care oferă servicii de gestionare a erorilor. tracInstrumente precum JIRA, BugZilla, Mantis adaugă mai multă valoare instrumentului. Ar trebui să permită utilizatorilor să conecteze erori, să execute cazuri de testare, pentru o gestionare centralizată a procesului de testare software. De asemenea, ar trebui să permită întregii echipe de proiect să lucreze împreună la o singură problemă în același timp.

Integrarea dvs sistem de birou suport este o caracteristică importantă pe care ar trebui să o ofere orice instrument de gestionare a testelor. Un software de asistență tehnică sau altfel cunoscut sub numele de sistem de tichete ajută utilizatorii să obțină o soluție instantanee la problema lor. Acesta îi ajută pe clienți să obțină o imagine de ansamblu asupra tuturor problemelor deschise și închise.

API Suportul pentru integrări personalizate este de dorit.

Sfatul #4 Mobil

Instrumentul dvs. de gestionare a testelor ar trebui să accepte dispozitive mobile și tablete.

Suportul mobil este extrem de util pentru echipele care se află la locația clientului, nu la birou, sau pentru manageri, care lucrează cu echipe din diferite locații geografice.

Instrumentul de gestionare a testelor trebuie să aibă un set complet de funcții (nu redus) disponibil pe mobil.

Suportul pentru mai multe dispozitive și sistemul de operare mobil este important, deoarece odată cu creșterea numărului de dispozitive, există mai multe complexități precum locația, gesturile, accelerometrele și problemele de orientare. La urma urmei, nu cumperi niciodată un telefon crezând că este compatibil cu instrumentul tău de gestionare a testelor!

Sfatul #5 Asistență

Echipa de asistență a furnizorului de instrumente de gestionare a testelor ar trebui să se angajeze să-și ajute clienții în toate modurile posibile. Multe instrumente de gestionare a testelor sunt mai concentrate pe crearea de site-uri web strălucitoare și reclame pentru cel puțin...tracmai mulți clienți. Dar pentru o activitate continuă și repetată, trebuie să se concentreze pe furnizarea celui mai bun suport de asistență.

Cel mai bun instrument de gestionare a testelor ar trebui să aibă caracteristici precum chat live, apel telefonic, întrebări frecvente și ghiduri online ale utilizatorului, informații despre documentația produsului, bază de cunoștințe, ridicarea biletului la biroul de asistență, etc pentru a-și ajuta clienții.

Multe instrumente de gestionare a testelor facilitează, de asemenea, videoconferință live cu experți în instrumente pentru a rezolva întrebările clienților. Dacă conferința live nu este fezabilă, atunci demonstrațiile sau videoclipurile înregistrate legate de instrumentul de gestionare a testelor ar trebui să fie întotdeauna disponibile la fața locului și să poată fi accesate oricând. În cazul dezvoltatorilor, dacă instrumentul oferă suport API sau integrare personalizată, trebuie furnizat un script demonstrativ și o documentație detaliată.

Deși este posibil ca toate canalele de asistență de mai sus să nu fie disponibile pentru toate instrumentele, ar trebui să selectați un instrument care vă oferă „preferat” canal de asistență.

Un alt parametru important și adesea uitat este dacă furnizorul de instrumente este Orientat spre client? Iată câteva lucruri de luat în considerare atunci când alegeți instrumentul dvs. de management al testelor -

• Interfața instrumentului ar trebui să fie ușor de utilizat și să includă funcția de integrare a clienților
• Ar trebui să găzduiască mai multe limbi și mai multe fusuri orare
• Ar trebui să aibă o capacitate de căutare avansată

Sper că acest ghid vă va ajuta să alegeți un instrument care se potrivește cel mai bine nevoilor dvs. de testare! Pentru o gestionare mai cuprinzătoare a ciclului de viață al aplicației dvs., vă recomandăm să le explorați Instrumente ALM.

Întrebări frecvente