Τι είναι η δοκιμή ορθογωνικής διάταξης; (Παράδειγμα)

Δοκιμή ορθογωνικής διάταξης

Δοκιμή ορθογωνικής διάταξης (OAT) είναι μια τεχνική δοκιμής λογισμικού που χρησιμοποιεί ορθογώνιους πίνακες για τη δημιουργία δοκιμαστικών περιπτώσεων. Είναι μια στατιστική προσέγγιση δοκιμής και είναι ιδιαίτερα χρήσιμη όταν το υπό δοκιμή σύστημα δέχεται μεγάλο αριθμό εισόδων δεδομένων. Ο έλεγχος ορθογώνιων πινάκων μεγιστοποιεί την κάλυψη των δοκιμών συνδυάζοντας και συνδυάζοντας τις εισόδους, έτσι ώστε το σύστημα να ασκείται με συγκριτικά λιγότερες δοκιμαστικές περιπτώσεις και λιγότερο χρόνο εκτέλεσης.

Για παράδειγμα, όταν πρέπει να επαληθευτεί ένα εισιτήριο τρένου, πρέπει να ελεγχθούν παράγοντες όπως ο αριθμός των επιβατών, ο αριθμός του εισιτηρίου, οι αριθμοί θέσεων και οι αριθμοί των τρένων. Η δοκιμή κάθε παράγοντα ξεχωριστά είναι περίπλοκη. Είναι πιο αποτελεσματική όταν ο μηχανικός διασφάλισης ποιότητας συνδυάζει πολλά δεδομένα εισόδου και τα ελέγχει σε μία μόνο εκτέλεση. Σε τέτοιες περιπτώσεις, μπορούμε να χρησιμοποιήσουμε τη μέθοδο δοκιμής Orthogonal Array.

Αυτός ο τύπος ζεύξης ή συνδυασμού εισόδων για εξοικονόμηση χρόνου ονομάζεται ζευγαρωτή δοκιμή και η τεχνική OATS είναι ένας τρόπος παραγωγής ενός ζευγαρωτού συνόλου δοκιμών. Επειδή η τεχνική λειτουργεί αποκλειστικά με βάση τις τιμές εισόδου και τα αναμενόμενα αποτελέσματα, χωρίς καμία προβολή του εσωτερικού κώδικα, ανήκει στην κατηγορία δοκιμή μαύρου κουτιού οικογένεια.

Γιατί OAT (Orthogonal Array Testing);

Στο παρόν σενάριο, η παράδοση ενός ποιοτικού προϊόντος λογισμικού στον πελάτη έχει γίνει πρόκληση λόγω της πολυπλοκότητας του κώδικα.

Στη συμβατική μέθοδο, οι σουίτες δοκιμών περιλαμβάνουν δοκιμαστικές περιπτώσεις που προέρχονται από κάθε συνδυασμό τιμών εισόδου και προϋποθέσεων. Ως αποτέλεσμα, πρέπει να καλυφθεί n αριθμός δοκιμαστικών περιπτώσεων.

Αλλά σε ένα πραγματικό σενάριο, οι δοκιμαστές δεν θα έχουν τον ελεύθερο χρόνο να εκτελέσουν όλες τις δοκιμαστικές περιπτώσεις για να αποκαλύψουν τα ελαττώματα, καθώς υπάρχουν και άλλες δραστηριότητες όπως η τεκμηρίωση, οι προτάσεις και τα σχόλια από τον πελάτη που πρέπει να ληφθούν υπόψη κατά τη φάση των δοκιμών.

Ως εκ τούτου, οι υπεύθυνοι δοκιμών ήθελαν να βελτιστοποιήσουν τον αριθμό και την ποιότητα των περιπτώσεων δοκιμών για να εξασφαλίσουν το μέγιστο Δοκιμή κάλυψης με ελάχιστη προσπάθεια. Αυτή η προσπάθεια ονομάζεται Βελτιστοποίηση Δοκιμαστικής Περίπτωσης.

• Συστηματικός και στατιστικός τρόπος για τον έλεγχο των αλληλεπιδράσεων ανά ζεύγη.
• Οι αλληλεπιδράσεις και τα σημεία ολοκλήρωσης αποτελούν σημαντική πηγή ελαττωμάτων.
• Εκτελέστε ένα σαφώς καθορισμένο, συνοπτικό σύνολο δοκιμαστικών περιπτώσεων που είναι πιθανό να αποκαλύψουν τα περισσότερα (όχι όλα) σφάλματα.
• Η ορθογώνια προσέγγιση εγγυάται την κάλυψη όλων των μεταβλητών ανά ζεύγη.

Συνεπώς, η τεχνική αυτή βρίσκεται δίπλα στις άλλες μεθόδους μείωσης των εισροών που ήδη χρησιμοποιεί μια ομάδα. Διαμερισμός ισοδυναμίας και ανάλυση οριακών τιμών αποφασίζουν ποιες τιμές αξίζει να ελεγχθούν για ένα μόνο πεδίο. Οι ορθογώνιοι πίνακες αποφασίζουν ποιες από αυτές τις τιμές πρέπει να ελεγχθούν μαζί.

Πώς αναπαρίσταται ο έλεγχος ορθογώνιων πινάκων

Ένας ορθογώνιος πίνακας περιγράφεται από έναν σύντομο τύπο και όχι από το περιεχόμενό του. Το παρακάτω διάγραμμα δείχνει πώς οι τρεις ποσότητες σε αυτόν τον τύπο σχετίζονται με το σχήμα του πίνακα.

• Τρεξίματα (Β) – Αριθμός γραμμών στον πίνακα, ο οποίος μεταφράζεται στον αριθμό των δοκιμαστικών περιπτώσεων που θα δημιουργηθούν.
• Παράγοντες (Κ) – Αριθμός στηλών στον πίνακα, ο οποίος μεταφράζεται στον μέγιστο αριθμό μεταβλητών που μπορούν να αντιμετωπιστούν.
• Επίπεδα (V) – Ο μέγιστος αριθμός τιμών που μπορούν να ληφθούν για οποιονδήποτε μεμονωμένο παράγοντα.

Ένας μεμονωμένος παράγοντας συνήθως έχει 2 έως 3 εισροές προς έλεγχο. Αυτός ο μέγιστος αριθμός εισροών καθορίζει τα Επίπεδα.

Διαβάστε το όνομα του πίνακα από αριστερά προς τα δεξιά. Στο L9(3)⁴) το 9 είναι ο αριθμός των εκτελέσεων, το 3 είναι ο αριθμός των επιπέδων που μπορεί να λάβει κάθε παράγοντας και ο εκθέτης 4 είναι ο αριθμός των παραγόντων. Το ίδιο άρθρο χρησιμοποιεί L4(2)³), που είναι τέσσερις εκτελέσεις για τρεις παράγοντες που ο καθένας έχει δύο επίπεδα.

Δύο ιδιότητες καθιστούν έναν πίνακα ορθογώνιο και πρέπει να ισχύουν και οι δύο πριν να είναι αξιόπιστος ο αριθμός εκτελέσεων:

• Ισορροπία: Κάθε επίπεδο ενός παράγοντα εμφανίζεται τον ίδιο αριθμό φορών στη δική του στήλη.
• Πληρότητα ανά ζεύγη: Για οποιεσδήποτε δύο στήλες, κάθε συνδυασμός ενός επιπέδου από κάθε μία εμφανίζεται τον ίδιο αριθμό φορών.

Εάν η δεύτερη ιδιότητα αποτύχει, ο πίνακας είναι απλώς ένα συντομευμένο σύνολο δοκιμών, όχι ένας ορθογώνιος πίνακας, και η εγγύηση ανά ζεύγη που δικαιολογεί τη μείωση δεν ισχύει πλέον.

Πώς να κάνετε δοκιμή ορθογωνικής διάταξης: Παραδείγματα

1. Προσδιορίστε την ανεξάρτητη μεταβλητή για το σενάριο.
2. Βρείτε τον μικρότερο πίνακα με τον αριθμό των εκτελέσεων.
3. Αντιστοιχίστε τους παράγοντες στον πίνακα.
4. Επιλέξτε τις τιμές για τυχόν επίπεδα "υπολειμμάτων".
5. Μεταγράψτε τα Runs σε περιπτώσεις δοκιμής, προσθέτοντας τυχόν ιδιαίτερα ύποπτους συνδυασμούς που δεν δημιουργούνται.

Τα δύο παρακάτω επεξεργασμένα παραδείγματα εφαρμόζουν αυτά τα πέντε βήματα, πρώτα σε ένα μικρό πρόβλημα δύο επιπέδων και στη συνέχεια σε ένα μεγαλύτερο πρόβλημα τριών επιπέδων.

Παράδειγμα 1

Μια ιστοσελίδα έχει τρία ξεχωριστά τμήματα (Επάνω, Μεσαίο, Κάτω) που μπορούν να εμφανιστούν ή να κρυφτούν ξεχωριστά από έναν χρήστη.

• Αριθμός παραγόντων = 3 (επάνω, μεσαίο, κάτω)
• Αριθμός επιπέδων (ορατότητα) = 2 (κρυφό ή εμφανιζόμενο)
• Τύπος πίνακα = L4(2³)

(4 είναι ο αριθμός των εκτελέσεων που πραγματοποιούνται μετά τη δημιουργία του πίνακα OAT)

Αν επιλέξουμε τη συμβατική τεχνική αλλαγής ενός τμήματος κάθε φορά, χρειαζόμαστε δοκιμαστικές περιπτώσεις όπως 2 X 3 = 6 Δοκιμαστικές Περιπτώσεις.

Test Cases	Σενάρια	Αξίες προς δοκιμή
Δοκιμή #1	HIDDEN	Κορυφή
Δοκιμή #2	ΑΠΕΙΚΟΝΙΖΕΤΑΙ	Κορυφή
Δοκιμή #3	HIDDEN	Κάτω μέρος
Δοκιμή #4	ΑΠΕΙΚΟΝΙΖΕΤΑΙ	Κάτω μέρος
Δοκιμή #5	HIDDEN	Μέσο
Δοκιμή #6	ΑΠΕΙΚΟΝΙΖΕΤΑΙ	Μέσο

Αυτές οι έξι εκτελέσεις ποικίλλουν κατά ένα τμήμα κάθε φορά και δεν τοποθετούν ποτέ δύο τμήματα στην ίδια επιλεγμένη κατάσταση μαζί. Η δοκιμή κάθε συνδυασμού θα διαρκούσε 2³ = 8 τρεξίματα.

Αν πάμε για δοκιμή OAT χρειαζόμαστε 4 περιπτώσεις δοκιμής όπως φαίνεται παρακάτω:

Test Cases	ΚΟΡΥΦΉ	Μέσο	Κάτω μέρος
Δοκιμή #1	κρυμμένο	κρυμμένο	κρυμμένο
Δοκιμή #2	κρυμμένο	Ορατός	Ορατός
Δοκιμή #3	Ορατός	κρυμμένο	Ορατός
Δοκιμή #4	Ορατός	Ορατός	κρυμμένο

Ελέγξτε ότι δύο οποιεσδήποτε στήλες αυτού του πίνακα και όλα τα τέσσερα ζεύγη Κρυφό/Ορατό εμφανίζονται ακριβώς μία φορά, η οποία είναι η ιδιότητα ορθογωνιότητας στη μικρότερη μορφή της.

Παράδειγμα 2

Η λειτουργικότητα ενός μικροεπεξεργαστή πρέπει να ελεγχθεί:

• Θερμοκρασία: 100C, 150C και 200C.
• Πίεση: 2 psi, 5 psi και 8 psi
• Doping Ποσό: 4%, 6% και 8%
• Ρυθμός εναπόθεσης: 0.1 mg/s, 0.2 mg/s και 0.3 mg/s

Χρησιμοποιώντας την συμβατική μέθοδο χρειαζόμαστε 3⁴ = 81 περιπτώσεις δοκιμής για την κάλυψη όλων των εισροών. Ας εργαστούμε με τη μέθοδο OATS:

Αριθμός παραγόντων = 4 (θερμοκρασία, πίεση,ping ποσότητα και ρυθμός εναπόθεσης)

Επίπεδα = 3 επίπεδα ανά παράγοντα (η θερμοκρασία έχει 3 επίπεδα – 100C, 150C και 200C – και ομοίως οι άλλοι παράγοντες έχουν επίσης 3 επίπεδα ο καθένας)

Δημιουργήστε έναν πίνακα όπως παρακάτω:

1. Στήλες με τον Αριθμό συντελεστών

Δοκιμαστική περίπτωση #	Θερμοκρασία	Πίεση	Doping ποσό	Ποσοστό κατάθεσης

2. Εισαγάγετε τον αριθμό των γραμμών που ισούνται με τα επίπεδα ανά παράγοντα. δηλαδή, η θερμοκρασία έχει 3 επίπεδα. Επομένως, εισαγάγετε 3 γραμμές για κάθε επίπεδο θερμοκρασίας,

Δοκιμαστική περίπτωση #	Θερμοκρασία	Πίεση	Doping ποσό	Ποσοστό κατάθεσης
1	100C
2	100C
3	100C
4	150C
5	150C
6	150C
7	200C
8	200C
9	200C

3. Τώρα μοιράστε την πίεση, κάντεping ποσότητα και τα ποσοστά εναπόθεσης στις στήλες.

Για παράδειγμα: Εισαγάγετε 2 psi σε θερμοκρασίες 100C, 150C και 200C, και ομοίως εισαγάγετε doping ποσό 4% για 100C, 150C και 200C και ούτω καθεξής.

Δοκιμαστική περίπτωση #	Θερμοκρασία	Πίεση	Doping ποσό	Ποσοστό κατάθεσης
1	100C	2 psi	4%	0.1 mg/s
2	100C	5 psi	6%	0.2 mg/s
3	100C	8 psi	8%	0.3 mg/s
4	150C	2 psi	4%	0.1 mg/s
5	150C	5 psi	6%	0.2 mg/s
6	150C	8 psi	8%	0.3 mg/s
7	200C	2 psi	4%	0.1 mg/s
8	200C	5 psi	6%	0.2 mg/s
9	200C	8 psi	8%	0.3 mg/s

Ως εκ τούτου, στις ΟΑ, χρειαζόμαστε 9 δοκιμαστικές περιπτώσεις για κάλυψη.

Σημείωση ακρίβειας: γεμίζοντας τις υπόλοιπες τρεις στήλες κατευθείαν προς τα κάτω, όπως κάνει το βήμα 3, επαναλαμβάνει την ίδια πίεση, κάντεping και τριπλή εναπόθεση μέσα σε κάθε μπλοκ θερμοκρασίας. Πίεση καιping επομένως, η ποσότητα κινείται μαζί, και ζεύγη όπως 2 psi με 6% δεν εμφανίζονται ποτέ, επομένως οι εννέα γραμμές παραπάνω είναι ένα μειωμένο σύνολο δοκιμών και όχι ένας πραγματικός ορθογώνιος πίνακας. Το ισορροπημένο L9(3⁴) ο παρακάτω πίνακας διατηρεί τις ίδιες εννέα εκτελέσεις ενώ καλύπτει και τα εννέα ζεύγη επιπέδων μεταξύ κάθε δύο παραγόντων.

Δοκιμαστική περίπτωση #	Θερμοκρασία	Πίεση	Doping ποσό	Ποσοστό κατάθεσης
1	100C	2 psi	4%	0.1 mg/s
2	100C	5 psi	6%	0.2 mg/s
3	100C	8 psi	8%	0.3 mg/s
4	150C	2 psi	6%	0.3 mg/s
5	150C	5 psi	8%	0.1 mg/s
6	150C	8 psi	4%	0.2 mg/s
7	200C	2 psi	8%	0.2 mg/s
8	200C	5 psi	4%	0.3 mg/s
9	200C	8 psi	6%	0.1 mg/s

Δοκιμή ορθογώνιων πινάκων έναντι δοκιμής ανά ζεύγη (όλα τα ζεύγη)

Οι δύο όροι χρησιμοποιούνται εναλλακτικά σε πολλές ομάδες, ωστόσο δεν είναι πανομοιότυποι. Και οι δύο στοχεύουν στην κάλυψη ζευγών τιμών, αλλά διαφέρουν ως προς το πόσο αυστηρά περιορίζεται ο πίνακας που προκύπτει.

Άποψη	Δοκιμή ορθογώνιων πινάκων	Δοκιμή ανά ζεύγη (όλα τα ζεύγη)
Υποκείμενη δομή	Ορθογώνιος πίνακας, δανεισμένος από το σχεδιασμό πειραμάτων	Πίνακας κάλυψης, που δημιουργείται από έναν αλγόριθμο αναζήτησης
Κανόνας κάλυψης	Κάθε ζευγάρι εμφανίζεται ίσο αριθμό φορών	Κάθε ζευγάρι εμφανίζεται τουλάχιστον μία φορά
Παράγοντες με άνισα επίπεδα	Χρειάζεται έναν πίνακα μικτού επιπέδου, ο οποίος ενδέχεται να μην υπάρχει για το απαιτούμενο σχήμα	Χειρίζεται απευθείας από τη γεννήτρια
Τυπικός αριθμός εκτελέσεων	Ίσο ή ελαφρώς υψηλότερο, λόγω της απαίτησης ισορροπίας	Ίση ή χαμηλότερη για τις ίδιες εισόδους
Περιορισμοί μεταξύ τιμών	Δύσκολο να εκφραστεί μέσα στον πίνακα	Υποστηρίζεται από τις περισσότερες σύγχρονες γεννήτριες

Στην πράξη, ένας ισορροπημένος ορθογώνιος πίνακας είναι το πιο σαφές μοντέλο διδασκαλίας και η ασφαλέστερη επιλογή όταν οι παράγοντες μοιράζονται το ίδιο επίπεδο, ενώ ένας πίνακας κάλυψης είναι αυτό που παράγουν τα περισσότερα εργαλεία για πραγματικά έργα με αδέξιες, άνισες εισόδους. Και τα δύο είναι συμπληρωματικά προς δοκιμή πίνακα αποφάσεων και δοκιμές μετάβασης κατάστασης, τα οποία στοχεύουν σε επιχειρηματικούς κανόνες και ακολουθία και όχι σε συνδυασμούς τιμών.

Εργαλεία δοκιμής ορθογώνιων πινάκων

Η χειροκίνητη δημιουργία ενός πίνακα είναι πρακτική μόνο για τα μικρά παραδείγματα παραπάνω. Πέρα από τέσσερις ή πέντε παράγοντες, οι ομάδες χρησιμοποιούν μια γεννήτρια και το εργαλείο αποφασίζει τον αριθμό των εκτελέσεων για αυτές.

• ΕΙΚΟΝΑ: μια γεννήτρια γραμμής εντολών ανοιχτού κώδικα από MicrosoftΟι παράμετροι και οι τιμές τους γράφονται σε ένα αρχείο μοντέλου απλού κειμένου και το εργαλείο εκτυπώνει το σύνολο συνδυασμών. Υποστηρίζονται περιορισμοί και υπομοντέλα, κάτι που έχει σημασία όταν ορισμένα ζεύγη τιμών δεν είναι έγκυρα. Δείτε το Αποθετήριο PICT.
• ΠΡΑΞΕΙΣ: ένα ερευνητικό εργαλείο από το NIST που δημιουργεί καλύπτουσες συστοιχίες για αμφίδρομη έως και εξαμερή κάλυψη και δημοσιεύει επίσης μια βιβλιοθήκη προ-υπολογισμένων συστοιχιών. Είναι διαθέσιμο από το Έργο συνδυαστικών δοκιμών NIST.
• Εμπορικές συνδυαστικές πλατφόρμες: απαίτηση προσθήκης φιλοξενούμενων εργαλείων tracδυνατότητα, αναμενόμενα αποτελέσματα και εξαγωγή σε ένα σύστημα διαχείρισης δοκιμών, το οποίο ταιριάζει σε μεγαλύτερες ομάδες που χρειάζονται ίχνος ελέγχου.
• Δημοσιευμένες βιβλιοθήκες πινάκων: Οι τυπικοί πίνακες όπως οι L4, L8, L9, L16 και L18 παρουσιάζονται σε πίνακες και μπορούν να αντιγραφούν απευθείας όταν οι αριθμοί των παραγόντων και των επιπέδων ταιριάζουν.

Όποιο εργαλείο και αν παράγει τον πίνακα, οι γραμμές που δημιουργούνται πρέπει να μετατραπούν σε εκτελέσιμες περιπτώσεις με πραγματικά δεδομένα και αναμενόμενα αποτελέσματα και στη συνέχεια να προγραμματιστούν όπως οποιαδήποτε άλλη σουίτα μέσα. τεχνικές δοκιμής λογισμικού που χρησιμοποιούνται ήδη στο έργο.

Πλεονεκτήματα της δοκιμής ορθογώνιων πινάκων

• Εγγυάται τη δοκιμή των συνδυασμών ανά ζεύγη όλων των επιλεγμένων μεταβλητών.
• Μειώνει τον αριθμό των δοκιμαστικών περιπτώσεων.
• Δημιουργεί λιγότερες δοκιμαστικές περιπτώσεις που εξακολουθούν να καλύπτουν την αλληλεπίδραση κάθε ζεύγους μεταβλητών.
• Μπορεί να αντιμετωπιστεί ένας πολύπλοκος συνδυασμός μεταβλητών.
• Είναι πιο απλό στη δημιουργία και λιγότερο επιρρεπές σε σφάλματα από τα σετ δοκιμών που δημιουργούνται με το χέρι.
• Είναι χρήσιμο για Δοκιμή ολοκλήρωσηςκαι εξίσου χρήσιμο για δοκιμή διαμόρφωσης, όπου οι συνδυασμοί προγραμμάτων περιήγησης, λειτουργικού συστήματος και συσκευών πολλαπλασιάζονται γρήγορα.
• Βελτιώνει την παραγωγικότητα λόγω μειωμένων κύκλων δοκιμών και χρόνων δοκιμών.

Οι ενώσεις εξοικονόμησης κατά τη διάρκεια δοκιμή παλινδρόμησης, επειδή μια μικρότερη ισορροπημένη σουίτα είναι αρκετά φθηνή για να επαναλαμβάνει κάθε κύκλο, ενώ μια εξαντλητική συνδυαστική σουίτα συνήθως εκτελείται μία φορά και στη συνέχεια εγκαταλείπεται αθόρυβα.

Μειονεκτήματα της δοκιμής ορθογώνιων πινάκων

• Καθώς αυξάνονται οι εισαγωγές δεδομένων, αυξάνεται και η πολυπλοκότητα του σχεδιασμού της δοκιμαστικής περίπτωσης. Ως αποτέλεσμα, αυξάνεται η χειροκίνητη προσπάθεια και ο χρόνος που δαπανάται, και οι δοκιμαστές πρέπει να επιδιώξουν Δοκιμές Αυτοματισμού.
• Η κάλυψη ανά ζεύγη δεν είναι πλήρης κάλυψη. Ένα ελάττωμα που εμφανίζεται μόνο όταν τρεις συγκεκριμένες τιμές εμφανίζονται μαζί μπορεί να περάσει από τον πίνακα ανέπαφο.
• Οι παράγοντες με διαφορετικό αριθμό επιπέδων δεν αντιστοιχίζονται καθαρά σε έναν τυπικό πίνακα, επομένως απαιτείται ένας πίνακας μικτών επιπέδων ή μια γεννήτρια συστοιχιών κάλυψης.
• Η επιλογή των επιπέδων είναι μια κρίσιμη απόφαση. Εάν μια τιμή που έχει σημασία παραλειφθεί από το μοντέλο εισόδου, κανένας πίνακας δεν μπορεί να την ανακτήσει.
• Οι περιορισμοί μεταξύ τιμών, όπως μια μέθοδος πληρωμής που ισχύει μόνο σε μία χώρα, είναι δύσκολο να εκφραστούν και συνήθως παράγουν μη έγκυρες γραμμές που πρέπει να αφαιρεθούν χειροκίνητα.

Κανένας από αυτούς τους περιορισμούς δεν αποκλείει την τεχνική. Απλώς θέτουν τα όριά της. Οι ορθογώνιοι πίνακες μειώνουν το πρόβλημα συνδυασμού, ενώ η ανάλυση κινδύνου και δοκιμή τομέα αποφασίστε ποιοι παράγοντες αξίζουν μια θέση στο μοντέλο εξαρχής.

Λάθη ή λάθη κατά την εκτέλεση OAT

• Κατεύθυνση της προσπάθειας δοκιμών σε λάθος περιοχή της εφαρμογής.
• Επιλογή λανθασμένων παραμέτρων για συνδυασμό.
• Χρήση ορθογώνιων δοκιμών σε πίνακες όπου το σύνολο εισόδου είναι αρκετά μικρό για εξαντλητική δοκιμή.
• Εφαρμογή ορθογώνιων δοκιμών σε πίνακες χειροκίνητα σε ένα μοντέλο αρκετά μεγάλο ώστε να χρειάζεται γεννήτρια.
• Βασιζόμενη αποκλειστικά σε δοκιμές ορθογώνιων συστοιχιών για εφαρμογές υψηλού κινδύνου, όπου απαιτείται βαθύτερη κάλυψη.

Το τελευταίο στοιχείο είναι αυτό που προκαλεί τη μεγαλύτερη ζημιά στην πράξη. Σε ένα χαρακτηριστικό κρίσιμο για την ασφάλεια ή οικονομικό, το σύνολο ανά ζεύγη είναι ένα κατώτατο όριο και όχι ένα ανώτατο όριο, και συνήθως συμπληρώνεται με στοχευμένες περιπτώσεις σε δοκιμή συστήματος επίπεδο και με το ευρύτερο σχέδιο που περιγράφεται στο είδη δοκιμών λογισμικού.

Συχνές Ερωτήσεις