Testprocesverbetering (TPI) met behulp van het PDCA-model

⚡ Slimme samenvatting

Testprocesverbetering past de PDCA-cyclus toe op testen, zodat elk project meetbare lessen oplevert. Deze pagina legt de vier PDCA-stappen uit, de volwassenheidsmodellen die eraan ten grondslag liggen en de meetwaarden die aantonen dat er daadwerkelijk verbetering heeft plaatsgevonden.

  • 🔁 PDCA-cyclus: Plannen, Uitvoeren, Controleren en Handelen transformeert de fouten van een project in een herhaalbare standaard.
  • 🎯 Begin met de problemen: Breng de daadwerkelijke gebreken, vertragingen en kostenoverschrijdingen in kaart voordat u verbeteringsmaatregelen kiest.
  • 📊 Meet alles: Track productiviteit, defectlekkage en kosten per testgeval vóór en na elke wijziging.
  • ⚠️ Let op de bijwerkingen: Automatisering verhoogde hier de doorvoer, maar de kwaliteit daalde totdat de gereedschapskeuze werd gecorrigeerd.
  • 🪜 Verbeter geleidelijk: Kleine, opeenvolgende acties hebben veel vaker succes dan een volledige herziening van een proces.
  • ️ Kies een model: TPI NEXT hanteert vier volwassenheidsniveaus; TMMi en CMMI definiëren er elk vijf.
  • 📝 Standaardiseer de overwinning: Werk het testbeleid en de sjablonen bij, zodat het volgende project de behaalde resultaten overneemt.

Verbetering van het testproces (TPI) met behulp van het PDCA-model

Wat is testprocesverbetering?

Verbetering van testprocessen Testen is de praktijk waarbij wordt gemeten hoe een testproces presteert, de zwakke punten worden geïdentificeerd en gecontroleerde wijzigingen worden doorgevoerd, zodat het volgende project een hogere kwaliteit levert tegen lagere kosten en in minder tijd. Het beschouwt testen als een proces dat kan worden gemeten en geoptimaliseerd, in plaats van een activiteit die op elke release op dezelfde manier wordt herhaald.

Stel je het GuruHet 99 Bank-project is zojuist afgerond. De directie waardeert uw werk en de klant is tevreden. Toch heeft uw baas nog een paar vragen voor u.

Procesverbetering testen met behulp van het PDCA-model

Managers beschrijven vaak software testen als een lastig en oncontroleerbaar proces. Terugkijkend op de GuruHeeft u bij het 99 Bank-project met een van de volgende problemen te maken gehad?

Veelvoorkomende problemen die worden opgelost door het verbeteren van het testproces.

Dit zijn veelvoorkomende problemen in vrijwel elk testproject. Veel organisaties beseffen dat het verbeteren van het testproces de enige duurzame manier is om ze op te lossen, omdat leren van fouten uit het verleden voorkomt dat dezelfde fouten zich herhalen in de volgende releasecyclus.

Waarom testprocesverbetering?

Het volgende scenario laat zien waarom het verbeteren van het testproces belangrijk is. GuruHet 99 Bank-project is afgerond, de kwaliteit van de tests was uitstekend en u heeft goede feedback van de klant ontvangen.

Waarom verbetering van het testproces nodig is - scenario met concurrentievergelijking

Wat is de les die we uit dit scenario kunnen trekken? Simpelweg “Probeer altijd het beter te doen”Zelfs als je denkt dat je goed werk hebt geleverd, zijn er altijd anderen die het beter doen, omdat zij betere ideeën en oplossingen hebben gevonden dan jij.

Elk bedrijf wil dat het project met de juiste resultaten wordt afgerond. hoogst kwaliteit, bij de laagste kosten, en in de kortste levertijd. Testprocesverbetering helpt een testteam om alle drie de doelen tegelijkertijd te bereiken.

Doelstellingen van procesverbetering bij testen: kwaliteit, kosten en tijd.

Hoe implementeer je verbetering van het testproces?

Om de verbetering van het testproces te implementeren op de GuruBij het 99 Bank-project kan de testmanager de volgende stappen volgen: PDCA PDCA (Plan-Do-Check-Act) is een managementmethode in vier stappen die in het bedrijfsleven wordt gebruikt voor de beheersing en continue verbetering van een proces. Elke cyclus vormt een verbeteringscyclus en de uitkomst van de Act-fase is de input voor de volgende Plan-fase.

Het PDCA-model wordt gebruikt om de verbetering van het testproces te implementeren.

💡Tip: Voer de PDCA-cyclus uit op één specifiek probleem tegelijk. Een cyclus die zich richt op één meetbaar pijnpunt, zoals de uitvoeringstijd van regressietests, is snel genoeg afgerond om binnen één release resultaat te laten zien.

Stap 1) Plannen

In de planningsfase wordt de verbetering ontworpen. Deze fase is onderverdeeld in drie kleinere stappen.

Drie stappen van de planningsfase in het verbeteren van testprocessen

Stap 1.1) Identificeer het probleem

De eerste activiteit van een testverbeteringsproces is het identificeren van de problemen die zich in het huidige project hebben voorgedaan. De problemen in dit project kunnen zich in een ander project opnieuw voordoen. Het oplossen van problemen en het vinden van oplossingen om ze in de toekomst te voorkomen, is het primaire doel van Testverbetering.

Nu terug naar het project. GuruZijn er problemen of verbeterpunten te vinden op de website van 99 Bank? Selecteer hieronder.

Sorry. Nee probleem Beschrijving Selecteren
1 Kwaliteit Klant heeft er nog een paar gevonden Defect na vrijlating
2 Verzending Het project liep vertraging op
3 Team Sommige werknemers werkten niet samen met andere teamleden
4 Skills Het teamlid miste de gewenste vaardigheden om zijn taken uit te voeren
5 Management De testmanager heeft de voortgang niet goed in de gaten gehouden, waardoor sommige projecten vertraging opliepen
6 Communicatie Geen constant contact met de klant; het verkeerd begrijpen van de eis van de klant
7 Kosten De projectkosten overschreden het vastgestelde budget

Je hebt een probleem met Kwaliteit Verzending Team ,Vaardigheden ,Beheer , Communicatie ,Kosten

Stap 1.2) Bepaal het doel

Begrijp het probleem en de knelpunten die zich in het project hebben voorgedaan. Zo bepaal je de verbeterpunten en de testfasen die als eerste aandacht verdienen.

Stel dat u heeft vastgesteld dat de fase van de testuitvoering ook heeft geduurd veel De benodigde tijd en kosten voor de voltooiing van de tests. Zou het testen sneller en goedkoper kunnen? Die vraag vormt het doel van de cyclus. Een nuttig doel wordt geformuleerd als een getal met een deadline, bijvoorbeeld: "verminder de inspanning voor het uitvoeren van regressietests met 30 procent vóór de volgende release".

Stap 1.3) Definieer de verbeteracties

Op basis van het overeengekomen doel worden de verbeteringsmaatregelen bepaald. Deze maatregelen moeten geleidelijk en stapsgewijs worden ingevoerd, omdat het niet realistisch is om alles in één keer te veranderen.

Om het testen bijvoorbeeld sneller en goedkoper te maken, zijn de volgende acties mogelijk.

Verbeteringsacties definiëren voor sneller en goedkoper testen.

In het bovenstaande voorbeeld zorgen zowel optie A als B ervoor dat testen sneller en goedkoper wordt. Optie C zou testen weliswaar sneller maken, maar het kost meer, omdat een meer ervaren tester een hoger salaris vraagt. Die afweging is precies de reden waarom elke mogelijke actie moet worden afgewogen tegen het doel, en niet tegen intuïtie.

Stap 2) Doen

Je hebt de verbeterpunten al vastgesteld. Nu is het tijd om een ​​plan te maken voor de uitvoering ervan. Dit plan moet de volgende vragen beantwoorden.

  • Welke verbeterpunten moeten worden doorgevoerd, en in welke volgorde?
  • Wanneer moet het plan afgerond zijn?
  • Welke stappen moeten worden voltooid om het plan te realiseren?
  • Wie is verantwoordelijk voor elke stap, en hoe wordt de voltooiing bevestigd?

Verbeteracties uitvoeren

Zodra het plan is opgesteld, moet het worden uitgevoerd. Verbeteringsactiviteiten kunnen het lopende testwerk verstoren, dus een testmanager moet hier rekening mee houden. aandacht aan hen om vermijd ongewenste gevolgen.

Stel je het volgende scenario voor. Op de GuruOm het testen sneller en goedkoper te maken, heeft u bij het 99 Bank-project besloten om gebruik te maken van... automatisering testen in plaats van een groot aantal handmatige regressietests. Na de implementatie van deze maatregel nam de productiviteit aanzienlijk toe.

Stap 3) Controleer

In de controlefase doe je drie dingen.

  • Evalueer de efficiëntie van de testverbeteringsacties
  • Meet hoe effectief de oplossing was
  • Analyseer of het mogelijk is verbeterd verder

Het doel van deze fase is te bevestigen dat de verbeteringsmaatregelen succesvol zijn doorgevoerd en te evalueren of de in het plan gestelde doelstelling daadwerkelijk is bereikt.

De beste manier om die evaluatie uit te voeren is met metriekMetrieken zijn essentieel voor succesvol organisatiemanagement. De testmanager verzamelt gegevens en gebruikt deze om parameters zoals productiviteit, kwaliteit en kosten te meten.

Voordat automatisering op het project werd toegepast, was de testproductiviteit bijvoorbeeld 10 testgevallen per manuurNa de implementatie van automatisering werd de productiviteit gemeten op... 20 testgevallen per manuur.

De productiviteit controleren vóór en na de verbeteringsactie.

Maar naast die winst dook er ook een ongewenst probleem op.

Een neveneffect van een verbeteringsmaatregel: de kwaliteit daalt naarmate de productiviteit stijgt.

In dit geval gaat het om het toepassen van automatisering. meer De productiviteit van het testen, maar de kwaliteit van het testen. verminderdeEen verbeteringsmaatregel kan daarom ernstige gevolgen hebben. gevolgen elders. In zo'n scenario moet de testtool veel zorgvuldiger worden geselecteerd en moet de geautomatiseerde testsuite met dezelfde nauwkeurigheid worden beoordeeld als productiecode. Een gestructureerde evaluatie van potentiële tools, zoals die beschreven in de Selenium zelfstudieDit voorkomt dat een tool puur en alleen wordt overgenomen omdat hij populair is.

⚠️ Waarschuwing: Beoordeel een verbetering nooit op basis van één enkele parameter. Een wijziging die de uitvoeringssnelheid verdubbelt en tegelijkertijd de foutdetectie verlaagt, heeft het proces sneller én slechter gemaakt. Combineer een snelheidsparameter altijd met een kwaliteitsparameter.

Laten we hetzelfde scenario nog eens bekijken. Guru99 projectkosten hadden overspoeld omdat teamleden te veel tijd om de testgevallen uit te voeren. Door gebruik te maken van de geautomatiseerde testtool bespaarde u 30 procent van de projectkosten. Dat is een goede verbetering, maar je baas verwacht meer.

Het management verwacht na de eerste verbeteringscyclus verdere kostenbesparingen.

Je moet daarom altijd op zoek naar nieuwe oplossingen die het testproces verder verbeteren. In dit geval kunnen andere opties extra projectkosten besparen.

  • Beheer uw personeelsbestand effectief, zodat bekwame testers worden ingezet waar ze de meeste waarde toevoegen.
  • Onderhandel over betere commerciële voorwaarden met uw leveranciers van gereedschap en personeel.
  • Verwijder dubbele of weinig waardevolle testgevallen in plaats van ze te automatiseren.

Stap 4) Handelen

Wanneer de verbeteringsmaatregelen succesvol zijn doorgevoerd en het doel is bereikt, dient de testmanager de cyclus te voltooien met de volgende activiteiten.

Activiteiten in de Act-fase van de PDCA-testprocesverbeteringscyclus

  • Beoordeling de verbeteringsactiviteiten en het handelen naar de geleerde lessen.
  • Standaardiseren het verbeterpunt binnen het testmanagementproces
  • bijwerken de beleidsdocumenten, de sjablonen voor testplannen en de standaardprocesdocumenten
  • Bepalen wanneer en waar deze wijzigingen zullen worden toegepast in het volgende project.

Als het doel niet is bereikt, stopt de cyclus niet. Het niet-bereikte doel wordt meegenomen naar een nieuwe planningsfase, samen met alles wat de controlefase heeft onthuld over de redenen waarom de actie ondermaats presteerde.

Vergelijking van TPI NEXT, TMMi en CMMI

PDCA is de motor achter verbetering, maar een referentiemodel laat zien hoe "beter" eruitziet. Er worden doorgaans drie modellen gebruikt, die vaak met elkaar worden verward.

TPI NEXT Dit is een testspecifiek referentiemodel, gepubliceerd door Sogeti. Het beoordeelt 16 kerngebieden, georganiseerd in drie groepen, aan de hand van vier volwassenheidsniveaus: Initieel, Gecontroleerd, Efficiënt en Optimaliserend. Omdat de beoordeling per kerngebied plaatsvindt, kan een team in het ene gebied Efficiënt zijn, terwijl het in een ander gebied nog steeds Gecontroleerd is.

TMMi, onderhouden door de TMMi FoundationHet is een gefaseerd testvolwassenheidsmodel met vijf niveaus: Initieel, Beheerd, Gedefinieerd, Gemeten en Optimalisatie. Een organisatie bereikt een niveau pas nadat aan de procesonderdelen van dat niveau is voldaan.

CMMI Het is absoluut geen testmodel. Het omvat de hele ontwikkelingsorganisatie en de gefaseerde weergave ervan kent ook vijf volwassenheidsniveaus: Initieel, Beheerd, Gedefinieerd, Kwantitatief Beheerd en Optimaliserend. TMMi is ontworpen als aanvulling op CMMI, niet als vervanging ervan.

Model strekking Structuur Volwassenheidsniveaus
TPI NEXT Testproces alleen 16 belangrijke gebieden in 3 groepen, met controlepunten en clusters. 4 — Initieel, Gecontroleerd, Efficiënt, Optimaliserend
TMMi Testproces alleen Gefaseerd, waarbij procesgebieden aan elk niveau zijn toegewezen. 5 — Initieel, Beheerd, Gedefinieerd, Gemeten, Optimalisatie
CMMI Organisatie voor integrale ontwikkeling Geënsceneerde of continue weergave 5 (gefaseerd) — Initieel, Beheerd, Gedefinieerd, Kwantitatief Beheerd, Optimaliserend

Metrieken die aantonen dat het testproces is verbeterd.

De controlefase stort in zonder cijfers. Een kleine, stabiele set meetwaarden, verzameld vóór en na elke cyclus, is voldoende, en dezelfde definities moeten aan beide zijden van de vergelijking worden gebruikt.

  • Productiviteit van testuitvoering — testgevallen uitgevoerd per manuur
  • Percentage defectdetectie (DDP) — defecten die tijdens het testen zijn gevonden, uitgedrukt als percentage van alle gevonden defecten, inclusief defecten die na de release zijn gemeld.
  • Kosten per uitgevoerde testcase — totale testinspanningskosten gedeeld door het aantal uitgevoerde testgevallen
  • Vereistendekking — vereisten met ten minste één gekoppelde testcase
  • Doorlooptijd voor defectreparatie — gemiddelde leeftijd van een defect in de defectlevenscyclus

De GuruBij 99 Bank, waar tijdens het testen 180 defecten werden gevonden en na de release 20 door de klant werden gemeld, is de berekening eenvoudig.

# Defect Detection Percentage and improvement deltas
def ddp(found_in_test, found_after_release):
    return found_in_test / (found_in_test + found_after_release) * 100

def delta(before, after):
    return (after - before) / before * 100

print("Defect Detection Percentage: %.1f%%" % ddp(180, 20))
print("Productivity gain: %.1f%%" % delta(10, 20))
print("Test cost change: %.1f%%" % delta(50000, 35000))

Output:

Defect Detection Percentage: 90.0%
Productivity gain: 100.0%
Test cost change: -30.0%

Een DDP van 90 procent betekent dat één op de tien defecten nog steeds bij de klant terechtkomt, waardoor de kwaliteitsdoelstelling niet volledig is gehaald, ondanks een verdubbeling van de productiviteit en een kostenverlaging van 30 procent. Juist die beperkte blik weerhoudt een team ervan om te vroeg de overwinning uit te roepen.

Veelvoorkomende fouten bij het verbeteren van testprocessen

De meeste verbeteringsprogramma's mislukken om organisatorische redenen in plaats van technische. De volgende fouten zijn verantwoordelijk voor het merendeel van de afgebroken initiatieven.

  • Verbetering zonder uitgangspunt. Als niemand het proces vóór de verandering heeft gemeten, kan niemand bewijzen dat de verandering heeft geholpen. Leg de beginsituatie vast tijdens de planning, niet achteraf.
  • Het nastreven van een volwassenheidsniveau in plaats van een zakelijke drijfveer. Een certificaat dat de kosten, gebreken of doorlooptijd niet verlaagt, is een kostenpost in plaats van een verbetering.
  • Te veel tegelijk veranderen. Wanneer vijf acties in dezelfde release worden opgenomen, kan er geen sprake zijn van een regressie. traced aan een van hen.
  • Een defect proces automatiseren. Automatisering vermenigvuldigt elk proces waarop het wordt toegepast, inclusief zwakke testontwerpen en onduidelijke toelatingscriteria.
  • overslaanping de Act-fase. Een verbetering die nooit in het testbeleid is opgenomen en de levenscyclus van softwaretests Documenten verdwijnen met het projectteam dat ze heeft bedacht.
  • Exclusief de testers. Mensen die niet geraadpleegd worden over een verandering vinden steevast manieren om die te omzeilen.

Om deze ideeën verder uit te werken, bekijk de fasen van de levenscyclus van softwaretests, draai je testcase ontwerp, formaliseer de defectbeheerprocesevalueer waar automatisering testen geeft een echt rendement, en zie hoe een tool zoals HP ALM kan de meetgegevens bevatten waarop uw controlefase is gebaseerd.

Veelgestelde vragen

Direct na een release, wanneer de retrospectieve gegevens nog vers zijn en niemand onder tijdsdruk staat, is een startmoment ideaal. Beginnen midden in een sprint concurreert met de release zelf, en maanden later beginnen betekent dat de cijfers over inspanning, defecten en kosten niet langer betrouwbaar zijn.

De testmanager is verantwoordelijk voor de cyclus en de meetwaarden, maar elke actie moet een aangewezen verantwoordelijke hebben binnen het team dat het werk uitvoert. Verbeteringen die aan een groep in plaats van aan een persoon worden toegewezen, lopen vaak stilletjes vast.

Retrospectieven zijn goed voor het oplossen van lokale problemen, maar pakken zelden organisatiebrede zwakheden aan, zoals de beschikbaarheid van testdata of de testomgeving. Een referentiemodel biedt Agile-teams een gedeelde terminologie voor dergelijke teamoverstijgende problemen, zonder de retrospectieve te vervangen.

Uitvoeringsstatistieken zoals productiviteit of doorlooptijd worden meestal binnen één release bijgewerkt. Kwaliteitsstatistieken zoals defectlekkage vereisen twee of drie releases, omdat ontsnapte defecten pas worden meegeteld nadat klanten de software in productie hebben gebruikt.

Ja, voor patroonherkenning. Modellen die getraind zijn op defectgeschiedenissen, buildlogs en uitvoeringsgegevens kunnen onbetrouwbare tests, redundante gevallen en modules met herhaalde ontsnappingsfouten aan het licht brengen. Beslissen op welke bevinding actie nodig is, blijft een menselijke afweging van het bedrijfsrisico.

Volume kan worden verward met dekking. AI kan duizenden testgevallen genereren die het aantal uitgevoerde tests kunstmatig verhogen, terwijl dezelfde paden herhaaldelijk worden getest. TracDetecteer defecten naast het aantal gevallen en beoordeel de gegenereerde gevallen voordat ze de regressietestsuite binnenkomen.

Vat dit bericht samen met: