Îmbunătățirea procesului de testare (TPI) folosind modelul PDCA

⚡ Rezumat inteligent

Îmbunătățirea Procesului de Testare aplică ciclul PDCA testării, astfel încât fiecare proiect să lase în urmă lecții măsurabile. Această pagină explică cei patru pași PDCA, modelele de maturitate din spatele lor și indicatorii care dovedesc că îmbunătățirea a avut loc cu adevărat.

  • 🔁 Bucla PDCA: Planifică, Execută, Verifică și Acționează transformă greșelile unui proiect într-un standard repetabil.
  • 🎯 Începeți cu problemele: Enumerați defectele reale, întârzierile și depășirile de costuri înainte de a alege orice acțiune de îmbunătățire.
  • 📊 Măsurați totul: TracProductivitatea k, scurgerea defectelor și costul per caz de testare înainte și după fiecare modificare.
  • ⚠️ Urmăriți efectele secundare: Automatizarea a crescut randamentul aici, însă calitatea a scăzut până când selecția sculelor a fost corectată.
  • 🪜 Îmbunătățiți-vă treptat: Acțiunile mici secvențiate au succes mult mai des decât o rescriere completă a procesului.
  • 🏛️ Alege un model: TPI NEXT utilizează patru niveluri de maturitate; TMMi și CMMI definesc fiecare câte cinci.
  • 📝 Standardizează câștigul: Actualizați politica de testare și șabloanele astfel încât următorul proiect să moștenească câștigul.

Îmbunătățirea procesului de testare (TPI) folosind modelul PDCA

Ce este îmbunătățirea procesului de testare?

Îmbunătățirea procesului de testare este practica de măsurare a performanței unui proces de testare, identificarea punctelor sale slabe și aplicarea unor modificări controlate, astfel încât următorul proiect să ofere o calitate superioară la un cost mai mic și într-un timp mai scurt. Tratează testarea ca un proces care poate fi măsurat și ajustat, în loc de o activitate care se repetă în același mod la fiecare lansare.

Imaginează-ți GuruProiectul 99 Bank tocmai a fost finalizat. Consiliul de administrație vă apreciază munca, iar clientul este mulțumit. Chiar și așa, șeful dumneavoastră are încă întrebări pentru dumneavoastră.

Îmbunătățirea procesului de testare folosind modelul PDCA

Managerii descriu adesea testare software ca un proces dificil și incontrolabil. Privind în urmă la GuruProiectul 99 Bank, v-ați confruntat cu vreuna dintre următoarele probleme?

Probleme comune pe care le rezolvă Îmbunătățirea Procesului de Testare

Acestea sunt probleme comune în aproape orice proiect de testare. Multe organizații își dau seama că îmbunătățirea procesului de testare este singura modalitate durabilă de a le rezolva, deoarece învățarea din greșelile din trecut este ceea ce previne repetarea acelorași greșeli în următorul ciclu de lansare.

De ce testarea îmbunătățirii procesului?

Următorul scenariu arată de ce este importantă îmbunătățirea procesului de testare. GuruProiectul 99 Bank este finalizat, calitatea testelor a fost excelentă și ați primit feedback pozitiv din partea clientului.

De ce este necesară îmbunătățirea procesului de testare - scenariu de comparare a concurenței

Care este lecția învățată din acest scenariu? Este pur și simplu „Încercă mereu să faci mai bine”Chiar și atunci când crezi că ai făcut o treabă bună, există întotdeauna alții care o fac mai bine, pentru că au găsit idei și soluții mai bune decât ale tale.

Fiecare afacere își dorește ca proiectul să fie finalizat cu cea mai mare calitate, la cel mai mic cost și în cel mai scurt timpul de livrare. Îmbunătățirea procesului de testare este ceea ce ajută o echipă de testare să se îndrepte către toate cele trei obiective în același timp.

Obiectivele îmbunătățirii procesului de testare - calitate, cost și timp

Cum se implementează îmbunătățirea procesului de testare?

Pentru a implementa îmbunătățirea procesului de testare pe GuruProiectul 99 Bank, Managerul de Testare poate urmări PDCA model. PDCA (Plan-Do-Check-Act - Planifică-Efectuează-Verifică-Acționează) este o metodă de management în patru etape utilizată în afaceri pentru controlul și îmbunătățirea continuă a unui proces. Fiecare trecere prin buclă este un singur ciclu de îmbunătățire, iar rezultatul lui Act devine intrarea următorului Plan.

Modelul PDCA utilizat pentru implementarea îmbunătățirii procesului de testare

💡 Sfat: Rulați bucla PDCA pentru o singură problemă restrânsă la un moment dat. Un ciclu care vizează un singur punct sensibil măsurabil, cum ar fi timpul de execuție al regresiei, se termină suficient de repede pentru a afișa un rezultat într-o singură lansare.

Pasul 1) Planifică

Faza de Planificare este cea în care se proiectează îmbunătățirea. Aceasta este împărțită în trei etape mai mici.

Trei pași ai fazei de planificare în îmbunătățirea procesului de testare

Pasul 1.1) Identificați problema

Prima activitate a unui proces de îmbunătățire a testelor este identificarea problemele apărute în proiectul actual. Problemele din acest proiect se pot întâmpla din nou în alt proiect. Rezolvarea problemelor și găsirea soluțiilor pentru a le evita în viitor este scopul principal al îmbunătățirii testelor.

Acum, înapoi la proiect GuruSite-ul 99 Bank, ați găsit probleme sau puncte de îmbunătățire? Selectați mai jos

Sr nr Problemă Descriere Selectați
1 Calitate Clientul a mai găsit câteva Defect după eliberare
2 Livrare Proiectul a fost amânat
3 Echipa PGC Unii angajați nu au cooperat cu alți membri ai echipei
4 Aptitudini Membrul echipei nu avea abilitățile dorite pentru a-și îndeplini sarcinile
5 Management Test Manager nu a monitorizat bine progresul, ceea ce a cauzat întârzierea unor proiecte
6 Comunicarea Fără contact constant cu clientul; înțelegerea greșită a cerinței clientului
7 Costat Costul proiectului a fost depășit dincolo de bugetul stabilit

Ai o problemă cu Calitate Livrare Echipa PGC ,Aptitudini ,Management , Comunicare ,Cost

Pasul 1.2) Determinați ținta

Înțelegeți problema și dificultățile apărute în cadrul proiectului. Acesta este modul în care determinați punctele de îmbunătățire și fazele de testare care merită atenție în primul rând.

Să presupunem că ați identificat că a durat și faza de execuție a testului mult timpul și costul finalizării. Ar putea fi testarea făcută mai rapidă și mai ieftină? Această întrebare devine ținta ciclului. O țintă utilă este enunțată sub forma unui număr și a unui termen limită, de exemplu „reduceți efortul de execuție a regresiei cu 30% înainte de următoarea lansare”.

Pasul 1.3) Definiți acțiunile de îmbunătățire

Pe baza obiectivului convenit, se stabilesc acțiunile de îmbunătățire. Aceste acțiuni ar trebui să fie graduale și introduse treptat, deoarece nu este realist să schimbi totul imediat.

De exemplu, pentru a face testarea mai rapidă și mai ieftină, următoarele acțiuni sunt candidate.

Definirea acțiunilor de îmbunătățire pentru testare mai rapidă și mai ieftină

În exemplul de mai sus, atât opțiunile A, cât și cele B duc la o testare mai rapidă și mai ieftină. Opțiunea C ar face testarea mai rapidă, dar ar costa mai mult, deoarece un tester mai experimentat ar cere un salariu mai mare. Acest compromis este exact motivul pentru care fiecare acțiune a candidatului trebuie judecată în funcție de țintă, nu în funcție de intuiție.

Pasul 2) Faceți

Ați definit deja punctele de îmbunătățire. Acum este momentul să construiți un plan care să le implementeze. Acest plan trebuie să răspundă la următoarele întrebări.

  • Ce puncte de îmbunătățire trebuie implementate și în ce ordine?
  • Când trebuie finalizat planul?
  • Ce pași trebuie parcurși pentru a realiza planul?
  • Cine deține fiecare pas și cum va fi confirmată finalizarea?

Efectuați acțiuni de îmbunătățire

Odată ce planul este stabilit, acesta trebuie implementat. Activitățile de îmbunătățire pot perturba activitatea de testare care este deja în desfășurare, așa că un Manager de Testare trebuie să plătească atenţie lor pentru a evitați nedoritele consecințe.

Luați în considerare următorul scenariu. Pe GuruProiectul 99 Bank, pentru a face testarea mai rapidă și mai ieftină, ați decis să utilizați testarea automatizării în locul unui bloc mare de teste de regresie manuale. După aplicarea acțiunii, productivitatea a crescut semnificativ.

Pasul 3) Verificați

În pasul de verificare, faceți trei lucruri.

  • Evaluează eficiență a acțiunilor de îmbunătățire a testului
  • Măsoară cum eficace solutia a fost
  • Analizați dacă ar putea fi îmbunătățit mai mult

Scopul acestei faze este de a confirma că acțiunile de îmbunătățire au fost implementate cu succes și de a evalua dacă obiectivul stabilit în Plan a fost atins.

Cea mai bună modalitate de a realiza această evaluare este cu metricsMetricile sunt esențiale pentru un management organizațional de succes. Managerul de teste colectează date și le folosește pentru a măsura parametri precum productivitatea, calitatea și costul.

De exemplu, înainte de aplicarea automatizării la proiect, testarea productivității era 10 de cazuri de testare pe oră de lucruDupă aplicarea automatizării, productivitatea a fost măsurată la 20 de cazuri de testare pe oră de lucru.

Verificarea productivității înainte și după acțiunea de îmbunătățire

Dar, odată cu acel câștig, a apărut o problemă nedorită.

Efectul secundar al unei acțiuni de îmbunătățire - calitatea scade pe măsură ce productivitatea crește

În acest caz, aplicarea automatizării a crescut productivitatea testării, ci și calitatea testării scăzutPrin urmare, o acțiune de îmbunătățire poate cauza probleme grave consecințe în altă parte. Într-un astfel de scenariu, instrumentul de testare trebuie selectat mult mai atent, iar suita automatizată trebuie revizuită cu aceeași rigoare ca și codul de producție. O evaluare structurată a instrumentelor candidate, cum ar fi cea descrisă în Selenium tutorial, împiedică adoptarea unui instrument doar pentru că este popular.

⚠️ Atenție: Nu judeca niciodată o acțiune de îmbunătățire pe baza unei singure metrici. O schimbare care dublează randamentul de execuție, reducând în același timp detectarea defectelor, a făcut procesul mai rapid și mai rău în același timp. Asociați întotdeauna o metrică de viteză cu o metrică de calitate.

Luați în considerare din nou același scenariu. GuruCostul proiectului a fost de 99 depăși pentru că membrii echipei au luat prea mult mult timp pentru a executa cazurile de testare. Folosind instrumentul de testare automatizat, ați salvat 30 la sută din costul proiectului. Aceasta este o îmbunătățire bună, dar șeful tău așteaptă mai mult.

Conducerea se așteaptă la o reducere suplimentară a costurilor după primul ciclu de îmbunătățire

Prin urmare, trebuie să căutați întotdeauna soluții mai noi care să îmbunătățească și mai mult procesul de testare. În acest scenariu, alte opțiuni pot economisi costuri suplimentare ale proiectului.

  • Gestionează-ți eficient resursele umane, astfel încât testerii calificați să fie folosiți acolo unde adaugă cea mai mare valoare.
  • Negociați termeni comerciali mai buni cu furnizorii dvs. de instrumente și personal
  • Retrageți cazurile de testare duplicate sau cu valoare redusă în loc să le automatizați

Pasul 4) Acționează

Când acțiunile de îmbunătățire au fost implementate cu succes și obiectivul a fost atins, Managerul de Testare ar trebui să finalizeze bucla cu următoarele activități.

Activități din faza de acțiune din ciclul de îmbunătățire a procesului de testare PDCA

  • Recenzie activitățile de îmbunătățire și acționarea pe baza lecțiilor învățate
  • Standardiza punctul de îmbunătățire din cadrul procesului de management al testelor
  • Actualizează documentele de politică, șabloanele planului de testare și documentele standard ale procesului
  • Determina când și unde vor fi aplicate aceste modificări în următorul proiect

Dacă obiectivul nu a fost atins, ciclul nu se oprește. Obiectivul neatins este preluat într-o nouă fază de Planificare, împreună cu tot ceea ce a dezvăluit faza de Verificare despre motivul pentru care acțiunea a avut performanțe slabe.

TPI NEXT, TMMi și CMMI comparate

PDCA este motorul îmbunătățirii, dar un model de referință vă spune cum arată „mai bine”. Trei modele sunt utilizate în mod obișnuit și sunt adesea confundate între ele.

TPI NEXT este un model de referință specific testelor, publicat de Sogeti. Acesta evaluează 16 domenii cheie, organizate în trei grupe, pe baza a patru niveluri de maturitate: Inițial, Controlat, Eficient și Optimizare. Deoarece evaluarea se face domeniu cheie cu domeniu cheie, o echipă poate fi Eficientă într-un domeniu, în timp ce Controlată în altul.

TMMi, întreținut de TMMi Foundation, este un model de maturitate a testelor etapizate cu cinci niveluri: Inițial, Gestionat, Definit, Măsurat și Optimizare. O organizație atinge un nivel numai după ce satisface domeniile de proces ale acelui nivel.

CMMI Nu este deloc un model de testare. Acoperă întreaga organizație de dezvoltare, iar reprezentarea sa etapizată are, de asemenea, cinci niveluri de maturitate: Inițial, Gestionat, Definit, Gestionat cantitativ și Optimizare. TMMi a fost conceput pentru a completa CMMI, mai degrabă decât pentru a-l înlocui.

Model domeniu Structure Niveluri de maturitate
TPI NEXT Numai procesul de testare 16 zone cheie în 3 grupuri, cu puncte de control și clustere 4 — Inițial, Controlat, Eficient, Optimizare
TMMi Numai procesul de testare Etapificat, cu zone de proces atribuite fiecărui nivel 5 — Inițial, Gestionat, Definit, Măsurat, Optimizare
CMMI Întreaga organizație de dezvoltare Reprezentare etapizată sau continuă 5 (etapate) — Inițial, Gestionat, Definit, Gestionat cantitativ, Optimizare

Metrici care dovedesc îmbunătățirea procesului de testare

Faza de verificare se încheie fără numere. Un set mic și stabil de metrici, colectate înainte și după fiecare ciclu, este suficient, iar aceleași definiții trebuie utilizate de ambele părți ale comparației.

  • Productivitatea execuției testelor — cazuri de testare executate pe oră-om
  • Procentul de detectare a defectelor (DDP) — defectele găsite în timpul testării ca pondere din totalul defectelor găsite, inclusiv cele raportate după lansare
  • Costul per caz de testare executat — costul total al efortului de testare împărțit la cazurile de testare executate
  • Acoperirea cerințelor — cerințe cu cel puțin unul legat caz de testare
  • Remedierea defectelor — vârsta medie a unui defect pe parcursul ciclul de viață al defectelor

Utilizarea GuruConform cifrelor 99 Bank, unde s-au găsit 180 de defecte în timpul testelor și 20 au fost raportate de client după lansare, calculul este simplu.

# Defect Detection Percentage and improvement deltas
def ddp(found_in_test, found_after_release):
    return found_in_test / (found_in_test + found_after_release) * 100

def delta(before, after):
    return (after - before) / before * 100

print("Defect Detection Percentage: %.1f%%" % ddp(180, 20))
print("Productivity gain: %.1f%%" % delta(10, 20))
print("Test cost change: %.1f%%" % delta(50000, 35000))

ieșire:

Defect Detection Percentage: 90.0%
Productivity gain: 100.0%
Test cost change: -30.0%

Un DDP de 90% înseamnă că un defect din zece a scăpat clientului, așadar obiectivul de calitate nu a fost atins pe deplin, chiar dacă productivitatea s-a dublat, iar costurile au scăzut cu 30%. Această singură perspectivă este cea care împiedică o echipă să declare victoria prea devreme.

Greșeli frecvente în îmbunătățirea procesului de testare

Majoritatea programelor de îmbunătățire eșuează din motive organizatorice, mai degrabă decât tehnice. Următoarele greșeli explică majoritatea inițiativelor abandonate.

  • Îmbunătățire fără o bază de referință. Dacă nimeni nu a măsurat procesul înainte de schimbare, nimeni nu poate dovedi că schimbarea a ajutat. Captați nivelul de referință în timpul planificării, nu ulterior.
  • Urmărirea unui nivel de maturitate în loc de un motor al afacerii. Un certificat care nu reduce costurile, defectele sau timpul de execuție este o cheltuială, nu o îmbunătățire.
  • Schimbă prea multe deodată. Când cinci acțiuni apar în aceeași versiune, nu se poate realiza o regresie. tracadresat oricăruia dintre ele.
  • Automatizarea unui proces defect. Automatizarea multiplică orice proces la care este aplicată, inclusiv designul slab al testelor și criteriile de intrare neclare.
  • Săriping faza de Act. O îmbunătățire care nu este niciodată inclusă în politica de testare și ciclul de viață al testării software documentele moare odată cu echipa de proiect care le-a inventat.
  • Excluzând testerii. Persoanele care nu au fost consultate cu privire la o schimbare găsesc în mod fiabil modalități de a o ocoli.

Pentru a aprofunda aceste idei, revedeți fazele ciclul de viață al testării software, strângeți-vă caz de testare proiectarea, formalizarea procesul de management al defectelor, evaluați unde testarea automatizării oferă un randament real și vedeți cum un instrument precum HP ALM poate conține valorile de care depinde faza de verificare.

Întrebări frecvente

Imediat după o lansare, cât timp datele retrospective sunt încă proaspete și nimeni nu se află sub presiunea livrării, începerea la mijlocul sprintului concurează cu lansarea în sine, iar începerea cu câteva luni mai târziu înseamnă că cifrele privind efortul, defectele și costurile nu mai sunt demne de încredere.

Managerul de Testare deține ciclul și indicatorii, dar fiecare acțiune necesită un proprietar numit din echipa care efectuează lucrarea. Îmbunătățirile atribuite unui grup, mai degrabă decât unei persoane, sunt cele care se blochează în liniște.

Retrospectivele acoperă bine remedierile locale, dar rareori abordează deficiențele la nivelul întregii organizații, cum ar fi furnizarea datelor de testare sau disponibilitatea mediului. Un model de referință oferă echipelor Agile un vocabular comun pentru acele probleme interechipe, fără a înlocui retrospectiva.

Indicatorii de execuție, cum ar fi productivitatea sau timpul de ciclu, se modifică de obicei în cadrul unei singure versiuni. Indicatorii de calitate, cum ar fi scurgerea de defecte, necesită două sau trei versiuni, deoarece defectele ocolite sunt luate în considerare numai după ce clienții au utilizat software-ul în producție.

Da, pentru detectarea tiparelor. Modelele antrenate pe baza istoricului defectelor, a jurnalelor de compilare și a înregistrărilor de execuție pot scoate la iveală teste instabile, cazuri redundante și module cu erori repetate. Decizia asupra cărei constatări merită să acționăm rămâne o judecată umană cu privire la riscul afacerii.

Volumul poate fi confundat cu acoperirea. IA poate produce mii de cazuri care umflă numărul de execuții, testând în mod repetat aceleași căi. Tracdetectarea defectelor k împreună cu numărul de cazuri și revizuirea cazurilor generate înainte ca acestea să intre în suita de regresie.

Rezumați această postare cu: