Τι είναι οι Καταστροφικές Δοκιμές στο Λογισμικό;
Τόμας Χάμιλτον
⚡ Έξυπνη Σύνοψη
Οι καταστροφικές δοκιμές ωθούν σκόπιμα μια εφαρμογή λογισμικού μέχρι να αποτύχει, εκθέτοντας τα ακριβή σημεία όπου η ανθεκτικότητα καταρρέει υπό ακατάλληλη χρήση, μη έγκυρη είσοδο και απρόβλεπτη συμπεριφορά, στα οποία οι συνήθεις λειτουργικοί έλεγχοι δεν φτάνουν ποτέ.
Τι είναι ο καταστροφικός έλεγχος;
Καταστροφικές δοκιμές είναι μια μέθοδος δοκιμής λογισμικού που χρησιμοποιείται για την εύρεση σημείων αστοχίας σε ένα πρόγραμμα λογισμικού. Σε αυτήν την τεχνική, μια εφαρμογή αποτυγχάνει σκόπιμα, έτσι ώστε να μπορεί να ελεγχθεί η ανθεκτικότητά της και να εντοπιστούν τα σημεία αστοχίας της. Σε αντίθεση με τις μεθόδους δοκιμής που επαληθεύουν τι υποτίθεται ότι κάνει η εφαρμογή, οι καταστροφικές δοκιμές εξετάζουν την απρόβλεπτη συμπεριφορά των χρηστών μέσα στην εφαρμογή.
Η γνώση των αρχικών απαιτήσεων δεν είναι απαραίτητη για τις καταστροφικές δοκιμές. Ωστόσο, ορισμένες γνώσεις βοηθούν στην ανάπτυξη.ping μια καλή στρατηγική δοκιμών.
Η παρακάτω εικόνα αποτυπώνει την ιδέα — ο δοκιμαστής εργάζεται εναντίον του προϊόντος και όχι με αυτό.
Γιατί να κάνετε καταστροφικές δοκιμές;
- Βοηθά στην κατανόηση της προβλέψιμης συμπεριφοράς του λογισμικού όταν το λογισμικό χρησιμοποιείται ακατάλληλα.
- Βοηθά στον έλεγχο της ευρωστίας ενός προϊόντος λογισμικού.
- Αναδεικνύει σπάνια ελαττώματα που οι απλοί χρήστες δεν ενεργοποιούν ποτέ, αλλά εμφανίζονται αργότερα στην παραγωγή.
Καταστροφικές δοκιμές έναντι μη καταστροφικών δοκιμών
Οι δύο προσεγγίσεις είναι συμπληρωματικές, όχι αντίπαλες. Μη καταστρεπτική δοκιμή — που ονομάζεται επίσης θετική δοκιμή ή δοκιμή ευτυχούς διαδρομής — αλληλεπιδρά σωστά με το λογισμικό και αφήνει την κατασκευή άθικτη. Η καταστροφική δοκιμή κάνει το αντίθετο: τροφοδοτεί μη έγκυρα δεδομένα και λανθασμένες ακολουθίες μέχρι να χαλάσει κάτι.
| Άποψη | Καταστροφικές δοκιμές | Μη καταστρεπτική δοκιμή |
| Πρόθεση | Αναγκάστε την εφαρμογή να αποτύχει | Επιβεβαιώστε ότι η εφαρμογή λειτουργεί όπως ορίζεται |
| Χρησιμοποιήθηκε εισαγωγή | Μη έγκυρο, λανθασμένης μορφής, εκτός εύρους, εκτός ακολουθίας | Έγκυρα δεδομένα εντός του αναμενόμενου εύρους |
| Η ερώτηση απαντήθηκε | Πού και πώς σπάει; | Κάνει αυτό που πρέπει; |
| Γνώσεις απαιτήσεων | Προαιρετικός | Ουσιώδης |
| Τυπικό κόστος | Ανώτερο — διερευνητικό και ανοιχτό | Κάτω — γραμμένο σε σενάριο και επαναλήψιμο |
| Αποτέλεσμα | Σημεία αστοχίας, όρια εμβέλειας, συμπεριφορά ανάκτησης | Επιτυχία ή αποτυχία στην προδιαγραφή |
Τι ελέγχετε στις καταστροφικές δοκιμές;
Οι καταστροφικές δοκιμές εξετάζουν και τις δύο πλευρές του ορίου συμπεριφοράς:
- Σωστή συμπεριφορά λογισμικού
- Ακατάλληλη συμπεριφορά λογισμικού
- Ακατάλληλη χρήση
- Λανθασμένα δεδομένα εισαγωγής
- Σωστά δεδομένα εξόδου
Δύο προϋποθέσεις πρέπει να ισχύουν καθ' όλη τη διάρκεια της άσκησης:
- Το λογισμικό δεν θα επεξεργάζεται ή δεν θα δέχεται ποτέ μη έγκυρα δεδομένα εισόδου.
- Ανεξάρτητα από την εγκυρότητα ή την ορθότητα των δεδομένων εισόδου, το λογισμικό θα πρέπει πάντα να παράγει σωστά δεδομένα εξόδου.
Πώς να κάνετε καταστροφικές δοκιμές;
Οι καταστροφικές δοκιμές περιλαμβάνουν πολλές δραστηριότητες, όπως ο σχεδιασμός ενός συνόλου σεναρίων δοκιμών, η εκτέλεση αυτών των σεναρίων, η ανίχνευση σφαλμάτων, το κλείσιμο σφαλμάτων και η παροχή μετρήσεων επιτυχίας ή αποτυχίας στους ενδιαφερόμενους στο τέλος της επανάληψης.
Υπάρχουν πολλοί τρόποι για να το εκτελέσετε. Ακολουθούν μερικά παραδείγματα.
- Μέθοδος ανάλυσης σημείου αστοχίας: μια αναλυτική παρουσίαση του συστήματος που αξιολογεί τι θα μπορούσε να πάει στραβά σε διάφορα σημεία. Βοήθεια από έναν επιχειρηματικός αναλυτής μπορούν να ληφθούν υπόψη για αυτήν τη στρατηγική.
- Αξιολόγηση από ομότιμους ελεγκτές: Πάρε το δικό σου περιπτώσεις δοκιμής αναλυθεί ή αξιολογηθεί από έναν συνάδελφο δοκιμαστή που είναι λιγότερο εξοικειωμένος με το σύστημα ή τη λειτουργία.
- Επιχειρηματική ανασκόπηση δοκιμαστικών περιπτώσεων: Οι τελικοί χρήστες ή οι ειδικοί συχνά σκέφτονται έγκυρα σενάρια που οι δοκιμαστές παραβλέπουν, επειδή η προσοχή του ελεγκτή εστιάζει στις δηλωμένες απαιτήσεις.
- Διεξαγωγή διερευνητικών δοκιμών χρησιμοποιώντας φύλλα εκτέλεσης: διερευνητικές δοκιμές Με τα φύλλα εκτέλεσης καταγράφονται τα αποτελέσματα των εξετάσεων, επιτρέπεται η επανάληψη των δοκιμών και διατηρείται η κάλυψη των δοκιμών υπό έλεγχο.
- Χρησιμοποιήστε άλλη πηγή: ζητήστε από κάποιον άλλο να αναλύσει το λογισμικό και να αναλύσει τα σενάρια που θα βρει.
Παράδειγμα Καταστροφικών Δοκιμών
Σκεφτείτε τις οθόνες σύνδεσης και προφίλ μιας τραπεζικής εφαρμογής. Ένα καταστροφικό πέρασμα θα λειτουργούσε σε περιπτώσεις όπως αυτές:
- Επικολλήστε μια συμβολοσειρά 5,000 χαρακτήρων σε ένα πεδίο με περιορισμό 50 χαρακτήρων και επιβεβαιώστε ότι το πεδίο την απορρίπτει αντί να την περικόψει σιωπηλά.
- Υποβάλετε γράμματα, σύμβολα και αρνητικές τιμές σε ένα αριθμητικό πεδίο ποσότητας.
- Διακόψτε την αναμενόμενη ακολουθία — ανοίξτε απευθείας τη σελίδα επιβεβαίωσης πληρωμής χωρίς να ολοκληρώσετε το προηγούμενο βήμα.
- Πατήστε επανειλημμένα και γρήγορα το κουμπί υποβολής για να δείτε εάν δημιουργούνται διπλότυπες εγγραφές.
- Αποσυνδέστε το δίκτυο κατά τη διάρκεια της συναλλαγής και ελέγξτε εάν η εφαρμογή ανακτά την ολοκλήρωσή της ή αφήνει μερικό αρχείο.
Κάθε περίπτωση έχει μια καθορισμένη προσδοκία: ένα σαφές μήνυμα επικύρωσης, καμία αλλοίωση δεδομένων και καμία ανεπίλυτη εξαίρεση. Οτιδήποτε άλλο αποτελεί σημείο αποτυχίας που αξίζει να αναφερθεί ως ελάττωμα.
Καταστροφικές μέθοδοι δοκιμών
Οι ακόλουθες μέθοδοι χρησιμοποιούνται στη μηχανική λογισμικού για την εξυπηρέτηση στόχων καταστροφικών δοκιμών:
- Δοκιμές Άλφα / Βήτα
- Δοκιμή παλινδρόμησης
- Δοκιμή διεπαφής
- Διαμερισμός ισοδυναμίας
- Δοκιμή βρόχου
- Δοκιμές αποδοχής και ούτω καθεξής
Τεχνικές καταστροφικών δοκιμών
Οι παρακάτω τεχνικές μπορούν να χρησιμοποιηθούν με τροποποιήσεις:
- Δοκιμή λευκού κουτιού
- Δοκιμές ασφαλείας
- Δοκιμή ελαττωμάτων
- Δοκιμή καπνού, και ούτω καθεξής
Οι γειτονικές τεχνικές που αξίζει να προστεθούν όταν ο στόχος είναι η ανθεκτικότητα είναι αρνητικό τεστ, προσομοίωσης ακραίων καταστάσεων, δοκιμή ανάκτησης και fuzz testing.
Πλεονεκτήματα και μειονεκτήματα των καταστροφικών δοκιμών
Το συμβιβασμό αξίζει να δηλωθεί ξεκάθαρα πριν η τεχνική σχεδιαστεί σε μια έκδοση.
Πλεονεκτήματα
- Revκαλύπτει σημεία αποτυχίας στα οποία δεν φτάνουν ποτέ οι δοκιμές που βασίζονται στις προδιαγραφές.
- Καθορίζει πραγματικά όρια εμβέλειας, ώστε το προϊόν να μπορεί να λειτουργήσει μέσα σε αυτά με σιγουριά.
- Αποκαλύπτει σπάνια ελαττώματα που εμφανίζονται στην παραγωγή πολύ μετά την κυκλοφορία του.
- Ελέγχει την ανθεκτικότητα, την ανακτησιμότητα και τον χειρισμό σφαλμάτων σε περίπτωση κατάχρησης.
Μειονεκτήματα
- Ανοιχτού τύπου, επομένως η κάλυψη δεν μπορεί να εγγυηθεί ή να μετρηθεί εύκολα.
- Χρονοβόρο και εξαρτάται από την εμπειρία και τη δημιουργικότητα του ελεγκτή.
- Τα ευρήματα μπορεί να είναι δύσκολο να αναπαραχθούν χωρίς προσεκτική καταγραφή των βημάτων που χρησιμοποιήθηκαν.
- Οι κακώς ελεγχόμενες εκτελέσεις μπορούν να καταστρέψουν τα κοινόχρηστα δεδομένα δοκιμών, επομένως απαιτείται ένα απομονωμένο περιβάλλον.
