Testprozessverbesserung (TPI) mithilfe des PDCA-Modells

Was ist Testprozessverbesserung?

Verbesserung des Testprozesses Die Methode besteht darin, die Leistung eines Testprozesses zu messen, Schwachstellen zu identifizieren und gezielte Änderungen vorzunehmen, um im nächsten Projekt höhere Qualität zu geringeren Kosten und in kürzerer Zeit zu erzielen. Testen wird dabei als messbarer und optimierbarer Prozess betrachtet, nicht als eine Aktivität, die bei jeder Version gleich wiederholt wird.

Stell dir das vor GuruDas Projekt der 99 Bank ist soeben abgeschlossen worden. Die Geschäftsleitung lobt Ihre Arbeit, und der Kunde ist zufrieden. Trotzdem hat Ihr Chef noch einige Fragen an Sie.

Manager beschreiben oft Softwaretest als ein problematischer und unkontrollierbarer Prozess. Rückblickend auf GuruGab es beim Projekt „99 Bank“ eines der folgenden Probleme?

Dies sind häufige Probleme in nahezu jedem Testprojekt. Viele Organisationen erkennen, dass die Verbesserung des Testprozesses der einzig nachhaltige Weg ist, diese Probleme zu lösen, denn nur wer aus Fehlern der Vergangenheit lernt, kann verhindern, dass dieselben Fehler im nächsten Release-Zyklus wiederholt werden.

Warum Prozessverbesserung testen?

Das folgende Szenario verdeutlicht, warum die Verbesserung von Testprozessen wichtig ist. GuruDas Projekt „99 Bank“ ist abgeschlossen, die Testqualität war hervorragend, und Sie haben positives Feedback vom Kunden erhalten.

Welche Lehre lässt sich aus diesem Szenario ziehen? Ganz einfach: „Versuche immer, dich zu verbessern“Selbst wenn man glaubt, gute Arbeit geleistet zu haben, gibt es immer andere, die es besser machen, weil sie bessere Ideen und bessere Lösungen gefunden haben als die eigenen.

Jedes Unternehmen wünscht sich, dass das Projekt fristgerecht abgeschlossen wird. höchste Qualität, bei der niedrigste Kosten und in der kürzeste Lieferzeit. Die Verbesserung des Testprozesses hilft einem Testteam dabei, alle drei Ziele gleichzeitig zu erreichen.

Wie lässt sich eine Verbesserung des Testprozesses implementieren?

Um die Testprozessverbesserung umzusetzen GuruIm Projekt „99 Bank“ kann der Testmanager dem folgenden Ablauf folgen: PDCA Das PDCA-Modell (Planen-Durchführen-Überprüfen-Anpassen) ist eine vierstufige Managementmethode, die in Unternehmen zur Steuerung und kontinuierlichen Verbesserung von Prozessen eingesetzt wird. Jeder Durchlauf des Zyklus stellt einen einzelnen Verbesserungszyklus dar, und das Ergebnis der Handlungsphase dient als Grundlage für die nächste Planungsphase.

Schritt 1) ​​Planen

In der Planungsphase wird die Verbesserung entworfen. Sie ist in drei kleinere Schritte unterteilt.

Schritt 1.1) ​​Identifizieren Sie das Problem

Die erste Aktivität eines Testverbesserungsprozesses ist Identifizierung  die im aktuellen Projekt aufgetretenen Probleme. Die Probleme in diesem Projekt können in anderen Projekten erneut auftreten. Das Hauptziel der Testverbesserung besteht darin, Probleme zu lösen und Lösungen zu finden, um sie in Zukunft zu vermeiden.

Nun zurück zum Projekt GuruWebsite der 99 Bank: Gibt es Probleme oder Verbesserungsvorschläge? Bitte unten auswählen.

Schritt 1.2) Bestimmen Sie das Ziel

Verstehen Sie das Problem und die im Projekt aufgetretenen Schwierigkeiten. So ermitteln Sie die Verbesserungspunkte und die Testphasen, die vorrangig Aufmerksamkeit verdienen.

Angenommen, Sie haben festgestellt, dass auch die Testausführungsphase in Anspruch genommen wurde viel Zeitaufwand und Kosten für die Durchführung. Könnten die Tests schneller und kostengünstiger gestaltet werden? Diese Frage wird zum Ziel des Testzyklus. Ein sinnvolles Ziel wird als Zahl und Frist formuliert, zum Beispiel „Reduzierung des Aufwands für Regressionstests um 30 Prozent bis zum nächsten Release“.

Schritt 1.3) Definieren Sie die Verbesserungsmaßnahmen

Auf Grundlage des vereinbarten Ziels werden die Verbesserungsmaßnahmen festgelegt. Diese Maßnahmen sollten schrittweise und nach und nach eingeführt werden, da es unrealistisch ist, alles sofort zu ändern.

Um beispielsweise die Tests schneller und kostengünstiger zu gestalten, kommen folgende Maßnahmen in Frage.

Im obigen Beispiel führen die Optionen A und B beide zu schnelleren und kostengünstigeren Tests. Option C würde die Tests zwar beschleunigen, wäre aber teurer, da erfahrenere Tester ein höheres Gehalt verlangen. Genau aus diesem Grund muss jede Vorgehensweise eines Kandidaten anhand des Ziels und nicht nach Intuition beurteilt werden.

Schritt 2) Tun Sie es

Sie haben die Verbesserungspunkte bereits definiert. Nun ist es an der Zeit, einen Plan zu erstellen, der diese umsetzt. Dieser Plan muss die folgenden Fragen beantworten.

• Welche Verbesserungspunkte müssen umgesetzt werden und in welcher Reihenfolge?
• Wann muss der Plan fertiggestellt sein?
• Welche Schritte müssen abgeschlossen werden, um den Plan zu verwirklichen?
• Wem ist jeder einzelne Schritt zuzuordnen und wie wird die Fertigstellung bestätigt?

Führen Sie Verbesserungsmaßnahmen durch

Sobald der Plan steht, muss er umgesetzt werden. Verbesserungsmaßnahmen können die laufenden Testarbeiten stören, daher muss ein Testmanager dafür sorgen, dass die Testarbeit reibungslos verläuft. Aufmerksamkeit um ihnen zu Unerwünschte Dinge vermeiden Folgen.

Betrachten Sie folgendes Szenario. GuruUm das Testen schneller und kostengünstiger zu gestalten, haben Sie sich für das 99 Bank-Projekt entschieden. Automatisierungstests Anstelle eines großen Blocks manueller Regressionstests. Nach der Umsetzung der Maßnahme stieg die Produktivität deutlich an.

Schritt 3) Überprüfen

Im Schritt „Prüfen“ führen Sie drei Schritte aus.

• Bewerten Effizienz der Testverbesserungsmaßnahmen
• Messen Sie wie wirksam Die Lösung war
• Analysieren Sie, ob es möglich sein könnte verbessert weiter

Ziel dieser Phase ist es, zu bestätigen, dass die Verbesserungsmaßnahmen erfolgreich umgesetzt wurden, und zu bewerten, ob das im Plan festgelegte Ziel tatsächlich erreicht wurde.

Die beste Methode, diese Auswertung durchzuführen, ist mit MetrikenKennzahlen sind für ein erfolgreiches Organisationsmanagement unerlässlich. Der Testmanager sammelt Daten und nutzt sie, um Parameter wie Produktivität, Qualität und Kosten zu messen.

Bevor beispielsweise die Automatisierung im Projekt eingeführt wurde, war die Testproduktivität 10 Testfälle pro MannstundeNach der Einführung der Automatisierung wurde die Produktivität gemessen bei 20 Testfälle pro Mannstunde.

Doch neben diesem Gewinn tauchte ein unerwünschtes Problem auf.

In diesem Fall wird Automatisierung angewendet hat die Produktivität des Testens, aber die Qualität des Testens verringertEine Verbesserungsmaßnahme kann daher schwerwiegende Folgen haben. Konsequenzen andernorts. In einem solchen Szenario muss das Testwerkzeug wesentlich sorgfältiger ausgewählt und die automatisierte Testsuite mit der gleichen Strenge wie der Produktionscode geprüft werden. Eine strukturierte Evaluierung von Kandidatenwerkzeugen, wie sie beispielsweise im Abschnitt [Referenz einfügen] beschrieben wird, ist daher unerlässlich. Selenium Lernprogrammverhindert, dass ein Werkzeug nur deshalb übernommen wird, weil es populär ist.

Betrachten wir dasselbe Szenario noch einmal. Guru99 Projektkosten hatten überlaufen weil die Teammitglieder zu viel nahmen viel Zeit um die Testfälle auszuführen. Durch die Verwendung des automatisierten Testtools haben Sie gespart 30 Prozent der Projektkosten. Das ist eine gute Verbesserung, aber Ihr Chef erwartet mehr.

Daher müssen Sie stets nach neueren Lösungen suchen, die den Testprozess weiter verbessern. In diesem Fall können alternative Optionen zusätzliche Projektkosten einsparen.

• Setzen Sie Ihre Personalressourcen effektiv ein, damit qualifizierte Tester dort eingesetzt werden, wo sie den größten Mehrwert schaffen.
• Verhandeln Sie bessere Geschäftsbedingungen mit Ihren Werkzeug- und Personallieferanten.
• Doppelte oder wenig wertvolle Testfälle sollten ausgemustert werden, anstatt sie zu automatisieren.

Schritt 4) Handeln

Wenn die Verbesserungsmaßnahmen erfolgreich umgesetzt wurden und das Ziel erreicht wurde, sollte der Testmanager den Kreislauf mit den folgenden Aktivitäten abschließen.

• Bewertung die Verbesserungsmaßnahmen und die gewonnenen Erkenntnisse umsetzen
• Standardisieren der Verbesserungspunkt innerhalb des Testmanagementprozesses
• Update die Richtliniendokumente, die Testplanvorlagen und die Standardprozessdokumente
• Bestimmen wann und wo diese Änderungen im nächsten Projekt angewendet werden

Wurde das Ziel nicht erreicht, wird der Zyklus nicht unterbrochen. Das nicht erreichte Ziel wird zusammen mit allen Erkenntnissen aus der Prüfphase, die die Gründe für die unzureichende Leistung der Maßnahme aufzeigen, in eine neue Planungsphase übernommen.

Vergleich von TPI NEXT, TMMi und CMMI

Der PDCA-Zyklus ist der Motor für Verbesserungen, aber ein Referenzmodell zeigt, wie „besser“ aussieht. Drei Modelle sind gebräuchlich und werden häufig miteinander verwechselt.

TPI NEXT ist ein von Sogeti veröffentlichtes, testspezifisches Referenzmodell. Es bewertet 16 Schlüsselbereiche, die in drei Gruppen unterteilt sind, anhand von vier Reifegraden: Initial, Controlled, Effizient und Optimierend. Da die Bewertung Schlüsselbereich für Schlüsselbereich erfolgt, kann ein Team in einem Bereich effizient, in einem anderen jedoch noch kontrolliert sein.

TMMi, verwaltet von der TMMi FoundationEs handelt sich um ein stufenweises Reifegradmodell mit fünf Stufen: Initial, Managed, Defined, Measured und Optimization. Eine Organisation erreicht eine Stufe erst, wenn sie die Prozessbereiche dieser Stufe erfüllt.

CMMI TMMi ist kein Testmodell. Es umfasst die gesamte Entwicklungsorganisation und ist in fünf Reifegrade unterteilt: Initial, Managed, Defined, Quantitatively Managed und Optimizing. TMMi wurde als Ergänzung zu CMMI und nicht als Ersatz dafür entwickelt.

Kennzahlen, die die Verbesserung des Testprozesses belegen

Die Prüfphase bricht ohne Zahlen zusammen. Ein kleiner, stabiler Satz von Kennzahlen, der vor und nach jedem Zyklus erfasst wird, genügt, und auf beiden Seiten des Vergleichs müssen dieselben Definitionen verwendet werden.

• Produktivität der Testausführung — Anzahl der pro Mannstunde ausgeführten Testfälle
• Fehlererkennungsrate (DDP) — Anteil der im Test festgestellten Fehler an allen gefundenen Fehlern, einschließlich der nach der Veröffentlichung gemeldeten Fehler
• Kosten pro ausgeführtem Testfall — Gesamtkosten des Testaufwands geteilt durch die Anzahl der ausgeführten Testfälle
• Anforderungsabdeckung — Anforderungen mit mindestens einem verknüpften Testfall
• Bearbeitungszeit für die Fehlerbehebung — Durchschnittsalter eines Defekts über die Defektlebenszyklus

Verwendung der GuruBei den Zahlen der Bank 99, wo 180 Mängel bei Tests festgestellt und 20 weitere nach der Markteinführung vom Kunden gemeldet wurden, ist die Berechnung unkompliziert.

# Defect Detection Percentage and improvement deltas
def ddp(found_in_test, found_after_release):
    return found_in_test / (found_in_test + found_after_release) * 100

def delta(before, after):
    return (after - before) / before * 100

print("Defect Detection Percentage: %.1f%%" % ddp(180, 20))
print("Productivity gain: %.1f%%" % delta(10, 20))
print("Test cost change: %.1f%%" % delta(50000, 35000))

Ausgang:

Defect Detection Percentage: 90.0%
Productivity gain: 100.0%
Test cost change: -30.0%

Eine Fehlerquote von 90 Prozent bedeutet, dass immer noch jeder zehnte Fehler beim Kunden ankam. Das Qualitätsziel wurde also nicht vollständig erreicht, obwohl sich die Produktivität verdoppelte und die Kosten um 30 Prozent sanken. Diese Sichtweise bewahrt ein Team davor, zu früh den Erfolg zu verkünden.

Häufige Fehler bei der Verbesserung von Testprozessen

Die meisten Verbesserungsprogramme scheitern aus organisatorischen, nicht aus technischen Gründen. Folgende Fehler sind für die Mehrzahl der abgebrochenen Initiativen verantwortlich.

• Verbesserung ohne Ausgangslage. Wenn niemand den Prozess vor der Änderung gemessen hat, kann auch niemand beweisen, dass die Änderung geholfen hat. Erfassen Sie den Ausgangszustand während der Planungsphase, nicht im Nachhinein.
• Anstatt sich auf einen Geschäftstreiber zu konzentrieren, strebt man nach einem Reifegrad. Ein Zertifikat, das weder Kosten, Mängel noch Lieferzeiten reduziert, ist eine Ausgabe, keine Verbesserung.
• zu viel auf einmal ändern. Wenn fünf Aktionen in derselben Version landen, kann keine Regression vorliegen. traczu einem von ihnen.
• Automatisierung eines fehlerhaften Prozesses. Die Automatisierung vervielfacht jeden Prozess, auf den sie angewendet wird, einschließlich schwacher Testkonzepte und unklarer Eintrittskriterien.
• überspringenping die Handlungsphase. Eine Verbesserung, die niemals in die Testrichtlinie aufgenommen wird und die Lebenszyklus von Softwaretests Dokumente sterben mit dem Projektteam, das sie entwickelt hat.
• Ausgenommen die Tester. Menschen, die bei einer Änderung nicht befragt wurden, finden zuverlässig Wege, diese zu umgehen.

Um diese Ideen weiterzuentwickeln, sollten Sie die Phasen des Lebenszyklus von Softwaretests, zieh deine Testfall entwerfen, formalisieren Fehlermanagementprozess, beurteilen, wo Automatisierungstests bietet einen echten Mehrwert, und sehen Sie, wie ein Tool wie HP ALM kann die Metriken enthalten, von denen Ihre Prüfphase abhängt.

Häufig gestellte Fragen