Test Process Improvement (TPI) με χρήση μοντέλου PDCA
Τόμας Χάμιλτον
⚡ Έξυπνη Σύνοψη
Η Βελτίωση Διαδικασίας Δοκιμών εφαρμόζει τον κύκλο PDCA στις δοκιμές, έτσι ώστε κάθε έργο να αφήνει πίσω του μετρήσιμα μαθήματα. Αυτή η σελίδα εξηγεί τα τέσσερα βήματα PDCA, τα μοντέλα ωριμότητας πίσω από αυτά και τις μετρήσεις που αποδεικνύουν ότι η βελτίωση όντως συνέβη.
Τι είναι η Βελτίωση της Διαδικασίας Δοκιμών;
Βελτίωση της διαδικασίας δοκιμής είναι η πρακτική της μέτρησης της απόδοσης μιας διαδικασίας δοκιμών, του εντοπισμού των αδύναμων σημείων της και της εφαρμογής ελεγχόμενων αλλαγών, έτσι ώστε το επόμενο έργο να προσφέρει υψηλότερη ποιότητα με χαμηλότερο κόστος και σε λιγότερο χρόνο. Αντιμετωπίζει τις δοκιμές ως μια διαδικασία που μπορεί να μετρηθεί και να ρυθμιστεί, αντί για μια δραστηριότητα που επαναλαμβάνεται με τον ίδιο τρόπο σε κάθε έκδοση.
Φανταστείτε το GuruΤο έργο της Τράπεζας 99 μόλις ολοκληρώθηκε. Το διοικητικό συμβούλιο εκτιμά την εργασία σας και ο πελάτης είναι ικανοποιημένος. Παρόλα αυτά, ο προϊστάμενός σας έχει ακόμα ερωτήσεις για εσάς.
Οι διευθυντές συχνά περιγράφουν δοκιμές λογισμικού ως μια προβληματική και ανεξέλεγκτη διαδικασία. Κοιτάζοντας πίσω στο Guru99 Bank project, αντιμετωπίσατε κάποιο από τα ακόλουθα προβλήματα;
Αυτά είναι συνηθισμένα προβλήματα σε σχεδόν οποιοδήποτε έργο δοκιμών. Πολλοί οργανισμοί συνειδητοποιούν ότι η βελτίωση της διαδικασίας δοκιμών είναι ο μόνος βιώσιμος τρόπος για την επίλυσή τους, επειδή η μάθηση από λάθη του παρελθόντος είναι αυτή που εμποδίζει την επανάληψη των ίδιων λαθών στον επόμενο κύκλο έκδοσης.
Γιατί η βελτίωση της διαδικασίας δοκιμής;
Το ακόλουθο σενάριο δείχνει γιατί η Βελτίωση της Διαδικασίας Δοκιμών έχει σημασία. GuruΤο έργο της 99 Bank ολοκληρώθηκε, η ποιότητα των δοκιμών ήταν εξαιρετική και λάβατε θετικά σχόλια από τον πελάτη.
Ποιο είναι το μάθημα που αντλείται από αυτό το σενάριο; Είναι απλώς «Πάντα να προσπαθείς για το καλύτερο»Ακόμα και όταν πιστεύεις ότι έχεις κάνει καλή δουλειά, υπάρχουν πάντα άλλοι που την κάνουν καλύτερα, επειδή έχουν βρει καλύτερες ιδέες και καλύτερες λύσεις από τις δικές σου.
Κάθε επιχείρηση θέλει το έργο να ολοκληρωθεί με το υψηλότερο ποιότητα, στο χαμηλότερο κόστος, και στο συντομότερη χρόνος παράδοσης. Η Βελτίωση της Διαδικασίας Δοκιμών είναι αυτό που βοηθά μια ομάδα δοκιμών να προχωρήσει προς και τους τρεις στόχους ταυτόχρονα.
Πώς να εφαρμόσετε τη βελτίωση της διαδικασίας δοκιμών;
Για την εφαρμογή της Βελτίωσης της Διαδικασίας Δοκιμών στο Guru99 Bank project, ο Test Manager μπορεί να ακολουθήσει το PDCA μοντέλο. Η PDCA (Σχεδιασμός-Εφαρμογή-Έλεγχος-Ενέργεια) είναι μια μέθοδος διαχείρισης τεσσάρων βημάτων που χρησιμοποιείται στις επιχειρήσεις για τον έλεγχο και τη συνεχή βελτίωση μιας διαδικασίας. Κάθε πέρασμα από τον βρόχο αποτελεί έναν μόνο κύκλο βελτίωσης και το αποτέλεσμα της Δράσης γίνεται η είσοδος του επόμενου Σχεδίου.
💡 Συμβουλές: Εκτελέστε τον βρόχο PDCA σε ένα συγκεκριμένο πρόβλημα κάθε φορά. Ένας κύκλος που στοχεύει σε ένα μόνο μετρήσιμο σημείο πόνου, όπως ο χρόνος εκτέλεσης παλινδρόμησης, ολοκληρώνεται αρκετά γρήγορα ώστε να εμφανίσει ένα αποτέλεσμα μέσα σε μία έκδοση.
Βήμα 1) Σχεδιάστε
Η φάση του Σχεδιασμού είναι η φάση όπου σχεδιάζεται η βελτίωση. Χωρίζεται σε τρία μικρότερα βήματα.
Βήμα 1.1) Προσδιορίστε το πρόβλημα
Η πρώτη δραστηριότητα μιας διαδικασίας βελτίωσης δοκιμής είναι προσδιορισμό τα προβλήματα που παρουσιάστηκαν στο τρέχον έργο. Τα προβλήματα σε αυτό το έργο μπορεί να επαναληφθούν σε άλλο έργο. Η επίλυση προβλημάτων και η εξεύρεση λύσεων για την αποφυγή τους στο μέλλον είναι ο πρωταρχικός στόχος του Test Improvement.
Τώρα πίσω στο έργο GuruΙστότοπος 99 Bank, εντοπίζετε κάποια προβλήματα ή σημεία βελτίωσης; Επιλέξτε παρακάτω
| Sr No. | Πρόβλημα | Περιγραφή | Αγορά |
|---|---|---|---|
| 1 | Ποιότητα | Ο πελάτης βρήκε ακόμα μερικά Ελάττωμα μετά την απελευθέρωση | |
| 2 | Παράδοση | Το έργο καθυστέρησε | |
| 3 | Η ομάδα μας | Μερικοί υπάλληλοι δεν συνεργάστηκαν με άλλα μέλη της ομάδας | |
| 4 | Δεξιότητες | Το μέλος της ομάδας δεν είχε τις επιθυμητές δεξιότητες για να ολοκληρώσει τα καθήκοντά του | |
| 5 | Κοινωνικών Δικτύων | Ο Υπεύθυνος Δοκιμών δεν παρακολούθησε καλά την πρόοδο, γεγονός που προκάλεσε καθυστέρηση ορισμένου έργου | |
| 6 | Επικοινωνία | Καμία συνεχής επαφή με τον πελάτη. παρανόηση της απαίτησης του πελάτη | |
| 7 | Κόστος | Το κόστος του έργου ξεπέρασε τον καθορισμένο προϋπολογισμό |
Βήμα 1.2) Προσδιορίστε τον στόχο
Κατανοήστε το πρόβλημα και τα ζητήματα που προέκυψαν στο έργο. Έτσι καθορίζετε τα σημεία βελτίωσης και τις φάσεις δοκιμής που χρήζουν πρώτης προσοχής.
Ας υποθέσουμε ότι έχετε εντοπίσει ότι η φάση εκτέλεσης της δοκιμής χρειάστηκε επίσης πολύ χρόνος και κόστος ολοκλήρωσης. Θα μπορούσε η δοκιμή να γίνει ταχύτερα και φθηνότερα; Αυτό το ερώτημα γίνεται ο στόχος για τον κύκλο. Ένας χρήσιμος στόχος ορίζεται ως ένας αριθμός και μια προθεσμία, για παράδειγμα «μείωση της προσπάθειας εκτέλεσης παλινδρόμησης κατά 30 τοις εκατό πριν από την επόμενη έκδοση».
Βήμα 1.3) Καθορίστε τις ενέργειες βελτίωσης
Με βάση τον συμφωνημένο στόχο, καθορίζονται οι δράσεις βελτίωσης. Αυτές οι δράσεις θα πρέπει να είναι σταδιακές και να εφαρμόζονται σταδιακά, επειδή δεν είναι ρεαλιστικό να αλλάξουν τα πάντα αμέσως.
Για παράδειγμα, για να γίνουν οι δοκιμές ταχύτερες και φθηνότερες, οι ακόλουθες ενέργειες είναι υποψήφιες.
Στο παραπάνω παράδειγμα, οι επιλογές Α και Β ωθούν τις δοκιμές προς ταχύτερες και φθηνότερες. Η επιλογή Γ θα έκανε τις δοκιμές ταχύτερες, αλλά κοστίζει περισσότερο, επειδή ένας πιο έμπειρος δοκιμαστής απαιτεί υψηλότερο μισθό. Αυτός ο συμβιβασμός είναι ακριβώς ο λόγος για τον οποίο κάθε ενέργεια του υποψηφίου πρέπει να κρίνεται με βάση τον στόχο, όχι με βάση τη διαίσθηση.
Βήμα 2) Κάντε
Έχετε ήδη ορίσει τα σημεία βελτίωσης. Ήρθε η ώρα να δημιουργήσετε ένα σχέδιο που θα τα υλοποιεί. Αυτό το σχέδιο πρέπει να απαντά στις ακόλουθες ερωτήσεις.
- Ποια σημεία βελτίωσης πρέπει να εφαρμοστούν και με ποια σειρά;
- Πότε πρέπει να ολοκληρωθεί το σχέδιο;
- Ποια βήματα πρέπει να ολοκληρωθούν για να επιτευχθεί το σχέδιο;
- Ποιος είναι υπεύθυνος για κάθε βήμα και πώς θα επιβεβαιωθεί η ολοκλήρωσή του;
Εκτελέστε ενέργειες βελτίωσης
Μόλις καταρτιστεί το σχέδιο, πρέπει να εφαρμοστεί. Οι δραστηριότητες βελτίωσης μπορούν να διαταράξουν το δοκιμαστικό έργο που βρίσκεται ήδη σε εξέλιξη, επομένως ένας Διαχειριστής Δοκιμών πρέπει να πληρώσει. προσοχή σε αυτούς προκειμένου να αποφύγετε ανεπιθύμητα συνέπειες.
Σκεφτείτε το ακόλουθο σενάριο. Guru99 Bank project, προκειμένου να κάνετε τις δοκιμές ταχύτερες και φθηνότερες, αποφασίσατε να χρησιμοποιήσετε δοκιμές αυτοματισμού στη θέση ενός μεγάλου μπλοκ χειροκίνητων δοκιμών παλινδρόμησης. Μετά την εφαρμογή της ενέργειας, η παραγωγικότητα αυξήθηκε σημαντικά.
Βήμα 3) Ελέγξτε
Στο βήμα ελέγχου κάνετε τρία πράγματα.
- Αξιολογήστε το αποδοτικότητα των ενεργειών βελτίωσης της δοκιμής
- Μετρήστε πώς η λύση ήταν
- Αναλύστε αν θα μπορούσε να είναι βελτιωθεί περαιτέρω
Στόχος αυτής της φάσης είναι να επιβεβαιωθεί ότι οι δράσεις βελτίωσης εφαρμόστηκαν με επιτυχία και να αξιολογηθεί εάν ο στόχος που είχε τεθεί στο Σχέδιο έχει πράγματι επιτευχθεί.
Ο καλύτερος τρόπος για να πραγματοποιηθεί αυτή η αξιολόγηση είναι με μετρήσειςΟι μετρήσεις είναι απαραίτητες για την επιτυχή διαχείριση του οργανισμού. Ο Διαχειριστής Δοκιμών συλλέγει δεδομένα και τα χρησιμοποιεί για τη μέτρηση παραμέτρων όπως η παραγωγικότητα, η ποιότητα και το κόστος.
Για παράδειγμα, πριν εφαρμοστεί ο αυτοματισμός στο έργο, ο έλεγχος της παραγωγικότητας ήταν 10 περιπτώσεις δοκιμών ανά ανθρωποώραΜετά την εφαρμογή του αυτοματισμού, η παραγωγικότητα μετρήθηκε σε 20 περιπτώσεις δοκιμών ανά ανθρωποώρα.
Αλλά ένα ανεπιθύμητο πρόβλημα εμφανίστηκε παράλληλα με αυτό το κέρδος.
Σε αυτήν την περίπτωση, εφαρμόζεται αυτοματοποίηση αυξημένη η παραγωγικότητα των δοκιμών, αλλά και η ποιότητα των δοκιμών μειώθηκεΜια βελτιωτική ενέργεια μπορεί επομένως να προκαλέσει σοβαρά συνέπειες αλλού. Σε ένα τέτοιο σενάριο, το εργαλείο δοκιμών πρέπει να επιλεγεί πολύ πιο προσεκτικά και η αυτοματοποιημένη σουίτα πρέπει να αναθεωρηθεί με την ίδια αυστηρότητα όπως ο κώδικας παραγωγής. Μια δομημένη αξιολόγηση των υποψήφιων εργαλείων, όπως αυτή που περιγράφεται στο Selenium φροντιστήριο, εμποδίζει την υιοθέτηση ενός εργαλείου αποκλειστικά και μόνο επειδή είναι δημοφιλές.
⚠️ Προειδοποίηση: Ποτέ μην κρίνετε μια ενέργεια βελτίωσης με βάση ένα μόνο μέτρο. Μια αλλαγή που διπλασιάζει την απόδοση εκτέλεσης, ενώ παράλληλα μειώνει τον εντοπισμό ελαττωμάτων, έχει κάνει τη διαδικασία ταχύτερη και χειρότερη ταυτόχρονα. Συνδυάζετε πάντα ένα μέτρο ταχύτητας με ένα μέτρο ποιότητας.
Σκεφτείτε ξανά το ίδιο σενάριο. GuruΤο κόστος του έργου ανήλθε στο 99% Υπέρβαση επειδή τα μέλη της ομάδας πήραν επίσης πολύς χρόνος για την εκτέλεση των δοκιμαστικών περιπτώσεων. Χρησιμοποιώντας το αυτοματοποιημένο εργαλείο δοκιμής, αποθηκεύσατε 30 τοις εκατό του κόστους του έργου. Αυτή είναι μια καλή βελτίωση, αλλά το αφεντικό σας περιμένει περισσότερα.
Συνεπώς, πρέπει πάντα να αναζητάτε νεότερες λύσεις που βελτιώνουν περαιτέρω τη διαδικασία δοκιμών. Σε αυτό το σενάριο, άλλες επιλογές μπορούν να εξοικονομήσουν πρόσθετο κόστος έργου.
- Διαχειριστείτε αποτελεσματικά το ανθρώπινο δυναμικό σας, έτσι ώστε οι έμπειροι δοκιμαστές να χρησιμοποιούνται εκεί που προσθέτουν τη μεγαλύτερη αξία
- Διαπραγματευτείτε καλύτερους εμπορικούς όρους με τους προμηθευτές εργαλείων και στελέχωσης
- Απόσυρση διπλότυπων ή χαμηλής αξίας δοκιμαστικών περιπτώσεων αντί για αυτοματοποίησή τους
Βήμα 4) Δράσε
Όταν οι ενέργειες βελτίωσης έχουν εφαρμοστεί με επιτυχία και ο στόχος έχει επιτευχθεί, ο Διαχειριστής Δοκιμών θα πρέπει να ολοκληρώσει τον κύκλο με τις ακόλουθες δραστηριότητες.
- Βαθμολογία Κριτικής τις δραστηριότητες βελτίωσης και να ενεργείτε βάσει των διδαγμάτων που αντλήσατε
- Τυποποιώ το σημείο βελτίωσης εντός της διαδικασίας διαχείρισης δοκιμών
- Ενημέρωση τα έγγραφα πολιτικής, τα πρότυπα σχεδίων δοκιμών και τα τυποποιημένα έγγραφα διαδικασίας
- Προσδιορίστε πότε και πού θα εφαρμοστούν αυτές οι αλλαγές στο επόμενο έργο
Εάν ο στόχος δεν επιτευχθεί, ο κύκλος δεν σταματά. Ο μη επιτευχθείς στόχος μεταφέρεται σε μια νέα φάση Σχεδιασμού μαζί με όλα όσα αποκάλυψε η φάση Ελέγχου σχετικά με το γιατί η ενέργεια δεν είχε απόδοση.
Σύγκριση TPI NEXT, TMMi και CMMI
Το PDCA είναι η κινητήρια δύναμη της βελτίωσης, αλλά ένα μοντέλο αναφοράς σας λέει πώς μοιάζει το «καλύτερο». Τρία μοντέλα χρησιμοποιούνται συνήθως και συχνά συγχέονται μεταξύ τους.
TPI NEXT είναι ένα μοντέλο αναφοράς ειδικά για δοκιμές που δημοσιεύεται από την Sogeti. Αξιολογεί 16 βασικούς τομείς, οργανωμένους σε τρεις ομάδες, σε σχέση με τέσσερα επίπεδα ωριμότητας: Αρχικό, Ελεγχόμενο, Αποδοτικό και Βελτιστοποιητικό. Επειδή η αξιολόγηση γίνεται ανά βασικό τομέα, μια ομάδα μπορεί να είναι Αποτελεσματική σε έναν τομέα ενώ εξακολουθεί να Ελεγχόμενη σε έναν άλλο.
TMMi, που συντηρείται από το TMMi Foundation, είναι ένα μοντέλο ωριμότητας σταδιακής δοκιμής με πέντε επίπεδα: Αρχικό, Διαχειριζόμενο, Ορισμένο, Μετρούμενο και Βελτιστοποίηση. Ένας οργανισμός φτάνει σε ένα επίπεδο μόνο αφού ικανοποιήσει τους τομείς διεργασιών αυτού του επιπέδου.
CMMI Δεν είναι καθόλου ένα μοντέλο δοκιμών. Καλύπτει ολόκληρο τον οργανισμό ανάπτυξης και η σταδιακή αναπαράστασή του έχει επίσης πέντε επίπεδα ωριμότητας: Αρχικό, Διαχειριζόμενο, Ορισμένο, Ποσοτικά Διαχειριζόμενο και Βελτιστοποιημένο. Το TMMi σχεδιάστηκε για να συμπληρώσει το CMMI και όχι να το αντικαταστήσει.
| Μοντέλο | Scope | Structure | Επίπεδα ωριμότητας |
|---|---|---|---|
| TPI NEXT | Μόνο διαδικασία δοκιμής | 16 βασικές περιοχές σε 3 ομάδες, με σημεία ελέγχου και συστάδες | 4 — Αρχικό, Ελεγχόμενο, Αποδοτικό, Βελτιστοποιητικό |
| TMMi | Μόνο διαδικασία δοκιμής | Σταδιακά, με περιοχές διεργασίας που έχουν αντιστοιχιστεί σε κάθε επίπεδο | 5 — Αρχική, Διαχειριζόμενη, Ορισμένη, Μετρημένη, Βελτιστοποίηση |
| CMMI | Ολόκληρος ο οργανισμός ανάπτυξης | Σταδιακή ή συνεχής αναπαράσταση | 5 (σταδιακή) — Αρχική, Διαχειριζόμενη, Ορισμένη, Ποσοτικά Διαχειριζόμενη, Βελτιστοποίηση |
Μετρήσεις που αποδεικνύουν τη βελτίωση της διαδικασίας δοκιμών
Η φάση ελέγχου καταρρέει χωρίς αριθμούς. Ένα μικρό, σταθερό σύνολο μετρήσεων που συλλέγεται πριν και μετά από κάθε κύκλο είναι αρκετό και οι ίδιοι ορισμοί πρέπει να χρησιμοποιούνται και στις δύο πλευρές της σύγκρισης.
- Παραγωγικότητα εκτέλεσης δοκιμών — δοκιμαστικές περιπτώσεις που εκτελούνται ανά ανθρωποώρα
- Ποσοστό ανίχνευσης ελαττωμάτων (DDP) — ελαττώματα που εντοπίστηκαν κατά τις δοκιμές ως ποσοστό όλων των ελαττωμάτων που εντοπίστηκαν, συμπεριλαμβανομένων εκείνων που αναφέρθηκαν μετά την κυκλοφορία
- Κόστος ανά εκτελεσμένη δοκιμαστική περίπτωση — συνολικό κόστος προσπάθειας δοκιμής διαιρούμενο με τις εκτελέσεις περιπτώσεων δοκιμών
- Κάλυψη απαιτήσεων — απαιτήσεις με τουλάχιστον μία συνδεδεμένη περίπτωση δοκιμής
- Επιδιόρθωση ελαττωμάτων — μέση ηλικία ενός ελαττώματος σε ολόκληρο το ελαττωματικό κύκλο ζωής
Χρήση του GuruΜε βάση τα στοιχεία της τράπεζας 99, όπου εντοπίστηκαν 180 ελαττώματα κατά τις δοκιμές και 20 αναφέρθηκαν από τον πελάτη μετά την κυκλοφορία, ο υπολογισμός είναι απλός.
# Defect Detection Percentage and improvement deltas def ddp(found_in_test, found_after_release): return found_in_test / (found_in_test + found_after_release) * 100 def delta(before, after): return (after - before) / before * 100 print("Defect Detection Percentage: %.1f%%" % ddp(180, 20)) print("Productivity gain: %.1f%%" % delta(10, 20)) print("Test cost change: %.1f%%" % delta(50000, 35000))
Παραγωγή:
Defect Detection Percentage: 90.0% Productivity gain: 100.0% Test cost change: -30.0%
Ένα DDP 90% σημαίνει ότι ένα ελάττωμα στα δέκα παρέμενε στον πελάτη, επομένως ο στόχος ποιότητας δεν επιτεύχθηκε πλήρως, παρόλο που η παραγωγικότητα διπλασιάστηκε και το κόστος μειώθηκε κατά 30%. Αυτή η μοναδική οπτική γωνία είναι που εμποδίζει μια ομάδα να ανακηρύξει τη νίκη πολύ νωρίς.
Συνήθη λάθη βελτίωσης της διαδικασίας δοκιμών
Τα περισσότερα προγράμματα βελτίωσης αποτυγχάνουν για οργανωτικούς και όχι για τεχνικούς λόγους. Τα ακόλουθα λάθη ευθύνονται για την πλειονότητα των εγκαταλελειμμένων πρωτοβουλιών.
- Βελτίωση χωρίς σημείο αναφοράς. Αν κανείς δεν μέτρησε τη διαδικασία πριν από την αλλαγή, κανείς δεν μπορεί να αποδείξει ότι η αλλαγή βοήθησε. Καταγράψτε την αρχική τιμή κατά τη διάρκεια του Σχεδίου, όχι μετά.
- Κυνηγώντας ένα επίπεδο ωριμότητας αντί για έναν επιχειρηματικό μοχλό. Ένα πιστοποιητικό που δεν μειώνει το κόστος, τα ελαττώματα ή τον χρόνο παράδοσης αποτελεί έξοδο και όχι βελτίωση.
- Αλλάζοντας πάρα πολλά ταυτόχρονα. Όταν πέντε ενέργειες καταλήγουν στην ίδια έκδοση, δεν μπορεί να υπάρξει παλινδρόμηση. tracσε οποιονδήποτε από αυτούς.
- Αυτοματοποίηση μιας προβληματικής διαδικασίας. Ο αυτοματισμός πολλαπλασιάζει οποιαδήποτε διαδικασία στην οποία εφαρμόζεται, συμπεριλαμβανομένου του αδύναμου σχεδιασμού δοκιμών και των ασαφών κριτηρίων εισόδου.
- Μετάβασηping η φάση του Νόμου. Μια βελτίωση που δεν εγγράφεται ποτέ στην πολιτική δοκιμών και στο κύκλος ζωής δοκιμής λογισμικού Τα έγγραφα πεθαίνουν μαζί με την ομάδα έργου που τα εφηύρε.
- Εξαιρούνται οι δοκιμαστές. Άτομα που δεν συμβουλεύτηκαν για μια αλλαγή βρίσκουν αξιόπιστα τρόπους να την παρακάμψουν.
Για να αναπτύξετε περαιτέρω αυτές τις ιδέες, εξετάστε τις φάσεις του κύκλος ζωής δοκιμής λογισμικού, σφίξτε το περίπτωση δοκιμής σχεδιασμός, επισημοποίηση του διαδικασία διαχείρισης ελαττωμάτων, αξιολογήστε πού δοκιμές αυτοματισμού δίνει μια πραγματική απόδοση και δείτε πώς ένα εργαλείο όπως HP ALM μπορεί να περιέχει τις μετρήσεις από τις οποίες εξαρτάται η φάση ελέγχου σας.
