Metriken für Softwaretests: Was ist, Typen und Beispiele
Thomas Hamilton
⚡ Intelligente Zusammenfassung
Softwaretestmetriken sind quantitative Messgrößen für Fortschritt, Qualität und Produktivität eines Testprozesses. Dieser Leitfaden behandelt die drei Metriktypen, die Unterscheidung zwischen Basis- und berechneten Metriken, den Lebenszyklus von Metriken sowie ein Formelglossar zur direkten Anwendung.
Was sind Softwaretestmetriken?
Metriken für Softwaretests sind die quantitativen Messgrößen, die zur Schätzung des Fortschritts, der Qualität, der Produktivität und des Zustands des Softwaretestprozesses verwendet werden. Das Ziel von Softwaretestmetriken besteht darin, die Effizienz und Effektivität des Softwaretestprozesses zu verbessern und durch die Bereitstellung zuverlässiger Daten über den Testprozess dabei zu helfen, bessere Entscheidungen für den weiteren Testprozess zu treffen.
Eine Kennzahl drückt quantitativ aus, inwieweit ein System, eine Komponente oder ein Prozess eine bestimmte Eigenschaft aufweist. Ein einfaches Beispiel hierfür ist der tatsächliche wöchentliche Kraftstoffverbrauch eines Autos im Vergleich zu den Angaben des Herstellers.
Metriken für Softwaretests – Verbessert die Effizienz und Effektivität eines Softwaretestprozesses.
Softwaretestmetriken oder Softwaretestmessungen sind die quantitative Angabe des Umfangs, der Kapazität, der Dimension, der Menge oder der Größe eines Attributs eines Prozesses oder Produkts.
Beispiel für eine Softwaretestmessung: Gesamtzahl der Mängel
Warum sind Testmetriken wichtig?
„Was wir nicht messen können, können wir nicht verbessern.“ Testmetriken dienen dazu, den Testprozess messbar zu machen.
- Entscheiden Sie, wie die nächste Phase der Aktivitäten aussehen soll.
- Belegen Sie eine Behauptung oder eine Vorhersage über die Qualität.
- Ermitteln Sie, welche Art von Verbesserung erforderlich ist.
- Begründen Sie eine Änderung des Verfahrens oder der Technologie
Lesen Sie mehr darüber Bedeutung von Testmetriken
Arten von Testmetriken
- Prozessmetriken: Es kann verwendet werden, um die Prozesseffizienz des SDLC zu verbessern (Lebenszyklus der Softwareentwicklung)
- Produktkennzahlen: Es geht um die Qualität des Softwareprodukts
-
Projektmetriken: Es kann verwendet werden, um die Effizienz eines Projektteams oder eines anderen zu messen Testwerkzeuge von den Teammitgliedern genutzt werden
Die Auswahl der richtigen Kennzahlen ist wichtiger als deren Erfassung. Bevor Sie sich für eine bestimmte Gruppe entscheiden, sollten Sie Folgendes beachten:
- Legen Sie die Zielgruppe für die Metrikvorbereitung fest
- Definieren Sie das Ziel für Metriken
- Führen Sie alle relevanten Kennzahlen basierend auf den Projektanforderungen ein
- Wägen Sie Kosten und Nutzen jeder Kennzahl sowie die Projektlebenszyklusphase ab, in der sie den größten Nutzen bringt.
Manuelle Testmetriken
In Software Engineering, Manuelle Testmetriken werden in zwei Klassen eingeteilt
- Basismetriken
- Berechnete Metriken
Basismetriken sind die Rohdaten, die der Test Analyst während der Entwicklung und Ausführung des Testfalls sammelt (Anzahl der ausgeführten Testfälle, Anzahl der Testfälle). Während berechnete Metriken aus den in Basismetriken gesammelten Daten abgeleitet werden. Berechnete Metriken werden normalerweise vom Testmanager zu Testberichtszwecken verfolgt (% abgeschlossen, % Testabdeckung).
Je nach Projekt oder Geschäftsmodell sind die wichtigsten Kennzahlen in der Regel:
- Kennzahlen zur Produktivität der Testfallausführung
- Produktivitätsmetriken für die Vorbereitung von Testfällen
- Fehlermetriken
- Mängel nach Priorität
- Mängel nach Schweregrad
- Fehlerschlupfverhältnis
Kennzahlen für manuelle vs. automatisierte Tests
Die oben beschriebenen Metriken setzen eine manuell ausgeführte Testsuite voraus. Eine automatisierte Testsuite wird anders gemessen, da der Ausführungsaufwand nicht mehr die einschränkende Größe ist.
| Eigenschaften | Kennzahlen für manuelles Testen | Kennzahlen für automatisierte Tests |
|---|---|---|
| Hauptfokus | Aufwand und Fortschritt bei der Ausführung | Abdeckung, Stabilität und Laufzeit |
| Typisches Maß | pro Tag ausgeführte Testfälle | Automatisierungsabdeckung in Prozent |
| Qualitätssignal | Gefundene Fehler pro Teststunde | Fehlerhafte Testrate, der Anteil instabiler Tests |
| Kostenmaß | Testerstunden | Skriptwartungsstunden pro Release |
| Geschwindigkeitsmessung | Zyklusdauer in Tagen | Ausführungszeit der Suite in Minuten |
Automation Coverage = (Test cases automated / Total test cases) x 100 Flaky Test Rate = (Tests with inconsistent results / Total automated tests) x 100
Eine unzuverlässige Testrate erfordert besondere Aufmerksamkeit. Sobald sie etwa 5 Prozent überschreitet, beginnen Teams, fehlerhafte Builds zu ignorieren, und ab diesem Zeitpunkt liefert die Testsuite keine Informationen mehr, unabhängig davon, wie hoch ihre Abdeckung ist.
Lebenszyklus von Testmetriken in der Softwareentwicklung
| Verschiedene Phasen des Metrik-Lebenszyklus | Schritte während jeder Phase |
|---|---|
| Analyse |
|
| Kommunizieren |
|
| Evaluierung |
|
| Profil melden |
|
Wie berechnet man eine Testmetrik?
| Herr# | Schritte zum Testen von Metriken | Beispiel |
|---|---|---|
| 1 | Identifizieren Sie den Schlüssel Softwaretest zu messende Prozesse | Testfortschritt tracKönigs Prozess |
| 2 | In diesem Schritt verwendet der Tester die Daten als Grundlage für die Definition der Metriken | Die Anzahl der Testfälle, die pro Tag ausgeführt werden sollen |
| 3 | Bestimmung der zu verfolgenden Informationen, einer Häufigkeit von tracKönig und die verantwortliche Person | Die tatsächliche Testdurchführung pro Tag wird am Ende des Tages vom Testmanager erfasst |
| 4 | Effektive Berechnung, Verwaltung und Interpretation der definierten Kennzahlen | Die tatsächlich pro Tag ausgeführten Testfälle |
| 5 | Identifizieren Sie die Verbesserungsbereiche abhängig von der Interpretation definierter Metriken | If Testfall Wird das vereinbarte Ziel nicht erreicht, untersuchen Sie die Ursache und schlagen Sie Korrekturmaßnahmen vor. |
Beispiel einer Testmetrikberechnung
Nehmen wir den Prozentsatz der ausgeführten Testfälle als Beispiel. Um den Ausführungsstatus als Prozentsatz auszudrücken, verwenden Sie die folgende Formel:
Percentage test cases executed= (No of test cases executed/ Total no of test cases written) X 100
Wenn 250 Testfälle geschrieben und 175 davon ausgeführt wurden, ist das Ergebnis (175 / 250) x 100 = 70 Prozent.
Das gleiche Muster gilt für alle anderen Ausführungsparameter: nicht ausgeführte, bestandene, fehlgeschlagene und blockierte Testfälle. Jeder Parameter ist lediglich ein anderer Zähler über demselben Nenner.
Wichtigste Testmetriken Track
Das Glossar am Ende dieses Tutorials listet alle gängigen Formeln auf. In der Praxis benötigt ein Reporting-Paket selten mehr als acht. Diese Formeln sind in der Regel ausschlaggebend für Entscheidungen.
| Metrisch | Was es beantwortet | Achten Sie auf |
|---|---|---|
| Prozentsatz der Testfallausführungen | Wie weit sind wir im geplanten Ablauf? | Sagt nichts über Qualität aus, nur über Fortschritt. |
| Defektdichte | Fehler pro Größeneinheit – welches Modul ist das schwächste? | Hängt von einer einheitlichen Größenmessung ab. |
| Effizienz der Defektbeseitigung | Welchen Anteil an Fehlern haben wir vor der Veröffentlichung entdeckt? | Kann erst nach Eingang der Produktionsdaten endgültig festgelegt werden. |
| Defektleckage | Wie viele Mängel erreichten den Kunden? | Das mit Abstand wichtigste Qualitätssignal |
| Testabdeckung | In welchem Umfang werden die Anforderungen erfüllt? | Hohe Berichterstattung bei schwachen Behauptungen beweist nichts |
| Schweregradindex für Defekte | Handelt es sich bei den offenen Mängeln um schwerwiegende oder rein kosmetische Mängel? | Fehler zu zählen, ohne sie zu gewichten, führt zu Irreführung. |
| Mittlere Reparaturzeit | Wie schnell kann das Team einen Fehler beheben? | Verzerrt durch einige wenige, lang anhaltende Mängel |
| Produktivität der Testausführung | Wie viele Fälle bearbeitet ein Tester pro Tag? | Fördert oberflächliche Tests, wenn es als Ziel verwendet wird |
Zwei Formeln, die es wert sind, ins Glossar aufgenommen zu werden, da sie von der Geschäftsleitung angefordert werden:
Defect Removal Efficiency = (Defects found before release / Total defects found) x 100
Defect Leakage = (Defects found in production / Defects found before release) x 100
Die Messfalle. Jede Kennzahl, die als Zielvorgabe verwendet wird, verliert ihre Aussagekraft. Setzt man beispielsweise ein Produktivitätsziel von 30 Testfällen pro Tag, schreiben die Tester 30 triviale. Kennzahlen sollten immer als Gruppe und niemals isoliert dargestellt werden. Jede Produktivitätskennzahl sollte mit einer Qualitätskennzahl verknüpft werden.
Glossar der Formeln für Softwaretestmetriken
- Verhältnis des Nacharbeitsaufwands = (Tatsächlicher Nacharbeitsaufwand in dieser Phase/tatsächlicher Gesamtaufwand in dieser Phase) X 100
- Anforderungskriechen = (Gesamtzahl der hinzugefügten Anforderungen/Anzahl der anfänglichen Anforderungen)X100
- Zeitplanabweichung = (Tatsächliches Lieferdatum – Geplantes Lieferdatum)
- Kosten für die Feststellung eines Fehlers beim Testen = (Gesamtaufwand für Tests/Fehler, die beim Testen festgestellt wurden)
- Zeitplan Slippage = (Tatsächliches Enddatum – Geschätztes Enddatum) / (Geplantes Enddatum – Geplantes Startdatum) X 100
- Prozentsatz bestandener Testfälle = (Anzahl bestandener Tests/Gesamtzahl ausgeführter Tests) x 100
- Prozentsatz fehlgeschlagener Testfälle = (Anzahl fehlgeschlagener Tests/Gesamtzahl der ausgeführten Tests) x 100
- Prozentsatz blockierter Testfälle = (Anzahl der blockierten Tests/Gesamtzahl der ausgeführten Tests) x 100
- Prozentsatz der behobenen Mängel = (Behobene Mängel/Gemeldete Mängel) X 100
- Prozentsatz akzeptierter Mängel = (Vom Entwicklungsteam als gültig akzeptierte Mängel /Gesamtzahl der gemeldeten Mängel) X 100
- Prozentsatz der aufgeschobenen Mängel = (Für zukünftige Versionen zurückgestellte Mängel/Gesamtzahl der gemeldeten Mängel) x 100
- Prozentsatz kritischer Fehler = (Kritische Mängel / Gesamtzahl der gemeldeten Mängel) x 100
- Durchschnittliche Zeit, die ein Entwicklungsteam für die Behebung von Fehlern benötigt = (Gesamtzeit für Bugfixes/Anzahl der Bugs)
- Anzahl der pro Zeitraum ausgeführten Tests = Anzahl der durchgeführten Tests/Gesamtzeit
- Testen Sie die Designeffizienz = Anzahl der entworfenen Tests / Gesamtzeit
- Effizienz der Testüberprüfung = Anzahl der überprüften Tests / Gesamtzeit
- Fehlerfindungsrateoder Fehler pro Teststunde = Gesamtzahl der Fehler / Gesamtzahl der Teststunden
