Μετρήσεις δοκιμών λογισμικού: Τι είναι, τύποι και παράδειγμα
Τόμας Χάμιλτον
⚡ Έξυπνη Σύνοψη
Οι μετρήσεις δοκιμών λογισμικού είναι ποσοτικά μέτρα της προόδου, της ποιότητας και της παραγωγικότητας μιας διαδικασίας δοκιμών. Αυτός ο οδηγός καλύπτει τους τρεις τύπους μετρήσεων, τη βασική και την υπολογισμένη διάκριση, τον κύκλο ζωής των μετρήσεων και ένα γλωσσάρι τύπων που μπορείτε να εφαρμόσετε απευθείας.
Τι είναι οι μετρήσεις δοκιμών λογισμικού;
Μετρικές δοκιμών λογισμικού είναι τα ποσοτικά μέτρα που χρησιμοποιούνται για την εκτίμηση της προόδου, της ποιότητας, της παραγωγικότητας και της υγείας της διαδικασίας δοκιμής λογισμικού. Ο στόχος των μετρήσεων δοκιμών λογισμικού είναι να βελτιώσουν την αποδοτικότητα και την αποτελεσματικότητα στη διαδικασία δοκιμών λογισμικού και να βοηθήσουν στη λήψη καλύτερων αποφάσεων για περαιτέρω διαδικασία δοκιμών παρέχοντας αξιόπιστα δεδομένα σχετικά με τη διαδικασία δοκιμής.
Μια μετρική εκφράζει, με ποσοτικούς όρους, τον βαθμό στον οποίο ένα σύστημα, ένα εξάρτημα ή μια διαδικασία διαθέτει ένα δεδομένο χαρακτηριστικό. Μια απλή αναλογία είναι η πραγματική εβδομαδιαία κατανάλωση καυσίμου ενός αυτοκινήτου σε σύγκριση με την τιμή που αναφέρει ο κατασκευαστής.
Μετρήσεις δοκιμών λογισμικού – Βελτιώνει την αποδοτικότητα και την αποτελεσματικότητα μιας διαδικασίας δοκιμής λογισμικού.
Οι μετρήσεις δοκιμής λογισμικού ή η μέτρηση δοκιμής λογισμικού είναι η ποσοτική ένδειξη της έκτασης, της χωρητικότητας, της διάστασης, της ποσότητας ή του μεγέθους κάποιου χαρακτηριστικού μιας διαδικασίας ή προϊόντος.
Παράδειγμα για μέτρηση δοκιμής λογισμικού: Συνολικός αριθμός ελαττωμάτων
Γιατί είναι σημαντικές οι μετρήσεις δοκιμών;
«Δεν μπορούμε να βελτιώσουμε αυτό που δεν μπορούμε να μετρήσουμε». Υπάρχουν μετρήσεις δοκιμών για να καθιστούν τη διαδικασία δοκιμών μετρήσιμη.
- Αποφασίστε ποια θα πρέπει να είναι η επόμενη φάση των δραστηριοτήτων
- Παροχή αποδεικτικών στοιχείων για έναν ισχυρισμό ή μια πρόβλεψη σχετικά με την ποιότητα
- Προσδιορίστε το είδος της βελτίωσης που απαιτείται
- Δικαιολογήστε μια αλλαγή στη διαδικασία ή στην τεχνολογία
Διαβάστε περισσότερα για αυτό Σημασία των μετρήσεων δοκιμής
Τύποι μετρήσεων δοκιμής
- Μετρήσεις διαδικασίας: Μπορεί να χρησιμοποιηθεί για τη βελτίωση της αποτελεσματικότητας της διαδικασίας του SDLC (Κύκλος ζωής ανάπτυξης λογισμικού)
- Μετρήσεις προϊόντος: Ασχολείται με την ποιότητα του προϊόντος λογισμικού
-
Μετρήσεις έργου: Μπορεί να χρησιμοποιηθεί για τη μέτρηση της αποτελεσματικότητας μιας ομάδας έργου ή οποιασδήποτε άλλης εργαλεία δοκιμής χρησιμοποιείται από τα μέλη της ομάδας
Η επιλογή των κατάλληλων μετρήσεων έχει μεγαλύτερη σημασία από τη συλλογή πολλών από αυτές. Λάβετε υπόψη τα ακόλουθα πριν καταλήξετε σε ένα σύνολο:
- Διορθώστε το κοινό-στόχο για την προετοιμασία της μέτρησης
- Καθορίστε τον στόχο για τις μετρήσεις
- Εισαγάγετε όλες τις σχετικές μετρήσεις με βάση τις ανάγκες του έργου
- Ζυγίστε το κόστος και το όφελος κάθε μετρικής, καθώς και τη φάση του κύκλου ζωής του έργου στην οποία προσφέρει τη μεγαλύτερη αξία.
Μη αυτόματες μετρήσεις δοκιμής
In Τεχνολογία Λογισμικού, Οι μη αυτόματες μετρήσεις δοκιμών ταξινομούνται σε δύο κατηγορίες
- Βασικές μετρήσεις
- Υπολογιζόμενες μετρήσεις
Οι μετρήσεις βάσης είναι τα ακατέργαστα δεδομένα που συλλέγονται από τον Αναλυτή δοκιμών κατά την ανάπτυξη και εκτέλεση της υπόθεσης δοκιμής (# υποθέσεων δοκιμής που εκτελέστηκαν, # υποθέσεων δοκιμών). Ενώ οι υπολογισμένες μετρήσεις προέρχονται από τα δεδομένα που συλλέγονται στις βασικές μετρήσεις. Οι υπολογισμένες μετρήσεις συνήθως ακολουθούνται από τον διαχειριστή δοκιμών για σκοπούς αναφοράς δοκιμών (% Ολοκληρωμένη, % Κάλυψη δοκιμής).
Ανάλογα με το έργο ή το επιχειρηματικό μοντέλο, οι μετρήσεις που έχουν τη μεγαλύτερη σημασία είναι συνήθως:
- Μετρήσεις παραγωγικότητας εκτέλεσης δοκιμαστικών περιπτώσεων
- Μετρήσεις παραγωγικότητας προετοιμασίας δοκιμών
- Μετρήσεις ελαττωμάτων
- Βλάβες κατά προτεραιότητα
- Ελαττώματα κατά σοβαρότητα
- Λόγος ολίσθησης ελαττώματος
Μετρήσεις δοκιμής χειροκίνητης έναντι αυτοματοποιημένης δοκιμής
Οι μετρήσεις που περιγράφονται παραπάνω υποθέτουν μια χειροκίνητα εκτελούμενη σουίτα. Μια αυτοματοποιημένη σουίτα μετριέται διαφορετικά, επειδή η προσπάθεια εκτέλεσης δεν αποτελεί πλέον τον περιορισμό.
| Κριτήρια | Μετρήσεις χειροκίνητης δοκιμής | Μετρήσεις Δοκιμών Αυτοματισμού |
|---|---|---|
| Πρωτεύουσα εστίαση | Πρόοδος προσπάθειας και εκτέλεσης | Κάλυψη, σταθερότητα και χρόνος εκτέλεσης |
| Τυπικό μέτρο | Δοκιμαστικές υποθέσεις που εκτελούνται ανά ημέρα | Ποσοστό κάλυψης αυτοματισμού |
| Σήμα ποιότητας | Ελαττώματα που εντοπίστηκαν ανά ώρα δοκιμής | Ασταθές ποσοστό δοκιμών, το μερίδιο των ασταθών δοκιμών |
| Μέτρο κόστους | Ώρες δοκιμαστών | Ώρες συντήρησης σεναρίου ανά έκδοση |
| Μέτρο ταχύτητας | Διάρκεια κύκλου σε ημέρες | Χρόνος εκτέλεσης σουίτας σε λεπτά |
Automation Coverage = (Test cases automated / Total test cases) x 100 Flaky Test Rate = (Tests with inconsistent results / Total automated tests) x 100
Το ασταθές ποσοστό δοκιμών αξίζει ιδιαίτερης προσοχής. Μόλις ξεπεράσει περίπου το 5%, οι ομάδες αρχίζουν να αγνοούν τις κόκκινες εκδόσεις και σε αυτό το σημείο η σουίτα σταματά να παρέχει πληροφορίες ανεξάρτητα από το πόσο υψηλή είναι η κάλυψή της.
Test Metrics Life Cycle in Software Engineering
| Διαφορετικά στάδια του κύκλου ζωής του Metrics | Βήματα σε κάθε στάδιο |
|---|---|
| Ανάλυση |
|
| Επικοινωνώ |
|
| Εκτίμηση |
|
| Αναφορά |
|
Πώς να υπολογίσετε μια μετρική δοκιμής
| Sr# | Βήματα για τη δοκιμή μετρήσεων | Παράδειγμα |
|---|---|---|
| 1 | Προσδιορίστε το κλειδί δοκιμές λογισμικού διαδικασίες που πρέπει να μετρηθούν | Πρόοδος δοκιμών tracδιαδικασία βασιλιά |
| 2 | Σε αυτό το Βήμα, ο ελεγκτής χρησιμοποιεί τα δεδομένα ως βάση για να καθορίσει τις μετρήσεις | Ο αριθμός των δοκιμαστικών περιπτώσεων που προγραμματίζονται να εκτελούνται ανά ημέρα |
| 3 | Προσδιορισμός των πληροφοριών που πρέπει να ακολουθούνται, συχνότητα tracβασιλιάς και ο υπεύθυνος | Η πραγματική εκτέλεση δοκιμών ανά ημέρα θα καταγραφεί από τον υπεύθυνο δοκιμών στο τέλος της ημέρας |
| 4 | Αποτελεσματικός υπολογισμός, διαχείριση και ερμηνεία των καθορισμένων μετρήσεων | Οι πραγματικές περιπτώσεις δοκιμών που εκτελούνται ανά ημέρα |
| 5 | Προσδιορίστε τους τομείς βελτίωσης ανάλογα με την ερμηνεία των καθορισμένων μετρήσεων | If περίπτωση δοκιμής η εκτέλεση υπολείπεται του συμφωνημένου στόχου, διερευνήστε την αιτία και προτείνετε διορθωτικά μέτρα |
Παράδειγμα υπολογισμού μετρικής δοκιμής
Πάρτε το ποσοστό των δοκιμαστικών περιπτώσεων που εκτελέστηκαν ως ένα λειτουργικό παράδειγμα. Για να εκφράσετε την κατάσταση εκτέλεσης ως ποσοστό, χρησιμοποιήστε τον τύπο:
Percentage test cases executed= (No of test cases executed/ Total no of test cases written) X 100
Αν γράφτηκαν 250 περιπτώσεις δοκιμών και εκτελέστηκαν 175, το αποτέλεσμα είναι (175 / 250) x 100 = 70 τοις εκατό.
Το ίδιο μοτίβο ισχύει και για κάθε άλλη παράμετρο εκτέλεσης: περιπτώσεις δοκιμών που δεν εκτελέστηκαν, πέρασαν με επιτυχία, απέτυχαν και μπλοκαρίστηκαν. Κάθε μία είναι απλώς ένας διαφορετικός αριθμητής πάνω από τον ίδιο παρονομαστή.
Οι πιο σημαντικές μετρήσεις δοκιμών για Track
Το γλωσσάρι στο τέλος αυτού του σεμιναρίου παραθέτει κάθε τύπο που χρησιμοποιείται συνήθως. Στην πράξη, ένα πακέτο αναφορών σπάνια χρειάζεται περισσότερους από οκτώ. Αυτοί είναι που καθοδηγούν σταθερά μια απόφαση.
| Μετρικός | Τι απαντά | Πρόσεχε για |
|---|---|---|
| Ποσοστό εκτέλεσης δοκιμαστικής περίπτωσης | Πόσο μακριά έχουμε φτάσει από την προγραμματισμένη διαδρομή; | Δεν λέει τίποτα για ποιότητα, μόνο για πρόοδο |
| Πυκνότητα ελαττωμάτων | Ελαττώματα ανά μονάδα μεγέθους, άρα ποια ενότητα είναι η πιο αδύναμη; | Εξαρτάται από ένα σταθερό μέτρο μεγέθους |
| Αποτελεσματικότητα αφαίρεσης ελαττωμάτων | Τι ποσοστό ελαττωμάτων εντοπίσαμε πριν από την κυκλοφορία; | Μπορεί να οριστικοποιηθεί μόνο μετά την άφιξη των δεδομένων παραγωγής |
| Διαρροή λόγω ελαττώματος | Πόσα ελαττώματα έφτασαν στον πελάτη; | Το πιο σημαντικό σήμα ποιότητας |
| Δοκιμή κάλυψης | Πόσο από το σύνολο απαιτήσεων ασκείται; | Η υψηλή κάλυψη με αδύναμους ισχυρισμούς δεν αποδεικνύει τίποτα |
| Δείκτης σοβαρότητας ελαττώματος | Είναι τα ανοιχτά ελαττώματα σοβαρά ή αισθητικά; | Η καταμέτρηση ελαττωμάτων χωρίς στάθμιση παραπλανά |
| Μέσος χρόνος για επισκευή | Πόσο γρήγορα η ομάδα διορθώνει το πρόβλημα; | Παραμορφωμένο από μερικά μακροχρόνια ελαττώματα |
| Παραγωγικότητα εκτέλεσης δοκιμών | Πόσες υποθέσεις ολοκληρώνει ένας δοκιμαστής την ημέρα; | Ενθαρρύνει τις επιφανειακές δοκιμές εάν χρησιμοποιηθεί ως στόχος |
Δύο τύποι που αξίζει να προστεθούν στο γλωσσάρι, επειδή είναι αυτοί που ζητά η διοίκηση:
Defect Removal Efficiency = (Defects found before release / Total defects found) x 100
Defect Leakage = (Defects found in production / Defects found before release) x 100
Η παγίδα μέτρησης. Οποιαδήποτε μέτρηση χρησιμοποιείται ως στόχος παύει να είναι ένα καλό μέτρο. Ορίστε έναν στόχο παραγωγικότητας 30 δοκιμαστικών περιπτώσεων ανά ημέρα και οι δοκιμαστές θα γράψουν 30 ασήμαντες. Αναφέρετε τις μετρήσεις ως σύνολο, ποτέ μεμονωμένα, και αντιστοιχίστε κάθε τιμή παραγωγικότητας με μια τιμή ποιότητας.
Γλωσσάρι τύπων μετρήσεων δοκιμών λογισμικού
- Rework Effort Ratio = (Πραγματικές προσπάθειες επανάληψης που δαπανήθηκαν σε αυτήν τη φάση/συνολικές πραγματικές προσπάθειες που δαπανήθηκαν σε αυτήν τη φάση) X 100
- Απαίτηση ερπυσμός = (Συνολικός αριθμός απαιτήσεων που προστέθηκαν/Αριθμός αρχικών απαιτήσεων)X100
- Χρονοδιάγραμμα Διακύμανση = (Πραγματική Ημερομηνία Παράδοσης – Προγραμματισμένη Ημερομηνία Παράδοσης)
- Κόστος εύρεσης ελαττώματος στη δοκιμή = (Συνολική προσπάθεια που δαπανήθηκε για δοκιμές / ελαττώματα που βρέθηκαν στις δοκιμές)
- Πρόγραμμα διολίσθησης = (Πραγματική ημερομηνία λήξης – Εκτιμώμενη ημερομηνία λήξης) / (Προγραμματισμένη ημερομηνία λήξης – Προγραμματισμένη ημερομηνία έναρξης) X 100
- Ποσοστό επιτυχημένων δοκιμαστικών περιπτώσεων = (Αριθμός επιτυχών δοκιμών/Συνολικός αριθμός δοκιμών που εκτελέστηκαν) X 100
- Ποσοστό αποτυχημένων περιπτώσεων δοκιμής = (Αριθμός αποτυχημένων δοκιμών/Συνολικός αριθμός δοκιμών που εκτελέστηκαν) X 100
- Ποσοστό αποκλεισμένων δοκιμαστικών περιπτώσεων = (Αριθμός αποκλεισμένων δοκιμών/Συνολικός αριθμός δοκιμών που εκτελέστηκαν) X 100
- Διορθώθηκε Ποσοστό Βλαβών = (Διορθώθηκαν ελαττώματα/Αναφερθέντα ελαττώματα) X 100
- Ποσοστό αποδεκτών ελαττωμάτων = (Ελαττώματα που έγιναν δεκτά ως έγκυρα από την ομάδα προγραμματιστών /Σύνολο ελαττωμάτων που αναφέρθηκαν) X 100
- Ελαττώματα Αναβαλλόμενο Ποσοστό = (Αναβλήθηκαν ελαττώματα για μελλοντικές εκδόσεις /Σύνολο ελαττωμάτων που αναφέρθηκαν) X 100
- Ποσοστό κρίσιμων ελαττωμάτων = (Κρίσιμα ελαττώματα / Συνολικά ελαττώματα που αναφέρθηκαν) X 100
- Μέσος χρόνος για μια ομάδα ανάπτυξης για την επιδιόρθωση ελαττωμάτων = (Συνολικός χρόνος για διορθώσεις σφαλμάτων/Αριθμός σφαλμάτων)
- Αριθμός δοκιμών που εκτελούνται ανά χρονική περίοδο = Αριθμός δοκιμών που εκτελέστηκαν/Συνολικός χρόνος
- Δοκιμή απόδοσης σχεδιασμού = Αριθμός σχεδιασμένων τεστ /Συνολικός χρόνος
- Δοκιμή αποτελεσματικότητας αναθεώρησης = Αριθμός δοκιμών που εξετάστηκαν /Συνολικός χρόνος
- Ποσοστό εύρεσης σφαλμάτων, ή ελαττώματα ανά ώρα δοκιμής = Συνολικός αριθμός ελαττωμάτων / Συνολικός αριθμός ωρών δοκιμής
