Διαφορά μεταξύ χειροκίνητης και αυτοματοποιημένης δοκιμής
Τόμας Χάμιλτον
Δοκιμή αυτοματισμού έναντι χειροκίνητης δοκιμής: Βασική διαφορά
- Η χειροκίνητη δοκιμή γίνεται με μη αυτόματο τρόπο από αναλυτή QA (Human) ενώ η δοκιμή Αυτοματισμού γίνεται με τη χρήση εργαλείων σεναρίου, κώδικα και αυτοματισμού (υπολογιστή) από έναν ελεγκτή.
- Η διαδικασία χειροκίνητης δοκιμής δεν είναι ακριβής λόγω των πιθανοτήτων ανθρώπινων σφαλμάτων, ενώ η διαδικασία Αυτοματισμού είναι αξιόπιστη επειδή βασίζεται σε κώδικα και σενάρια.
- Η χειροκίνητη δοκιμή είναι μια χρονοβόρα διαδικασία, ενώ η δοκιμή αυτοματισμού είναι πολύ γρήγορη.
- Η μη αυτόματη δοκιμή είναι δυνατή χωρίς γνώσεις προγραμματισμού, ενώ η δοκιμή αυτοματισμού δεν είναι δυνατή χωρίς γνώσεις προγραμματισμού.
- Μη αυτόματη δοκιμή επιτρέπει τυχαίες δοκιμές, ενώ οι δοκιμές αυτοματισμού δεν επιτρέπουν τυχαίες δοκιμές.
Τι είναι ο χειροκίνητος έλεγχος;
Η χειροκίνητη δοκιμή είναι η δοκιμή του λογισμικού όπου οι δοκιμές εκτελούνται χειροκίνητα από έναν αναλυτή QA. Εκτελείται για την ανακάλυψη σφαλμάτων σε λογισμικό υπό ανάπτυξη.
Στη χειροκίνητη δοκιμή, ο ελεγκτής ελέγχει όλα τα βασικά χαρακτηριστικά της συγκεκριμένης εφαρμογής ή λογισμικού. Σε αυτή τη διαδικασία, οι ελεγκτές λογισμικού εκτελούν τις περιπτώσεις δοκιμών και δημιουργούν τις αναφορές δοκιμών χωρίς τη βοήθεια εργαλείων δοκιμής λογισμικού αυτοματισμού.
Είναι μια κλασική μέθοδος όλων των τύπων δοκιμών και βοηθά στην εύρεση σφαλμάτων σε συστήματα λογισμικού. Γενικά διεξάγεται από έναν έμπειρο ελεγκτή για την επίτευξη του διαδικασία δοκιμής λογισμικού.
Τι είναι η δοκιμή αυτοματισμού;
In Αυτοματοποιημένη δοκιμή λογισμικού, οι δοκιμαστές γράφουν κώδικα/σενάρια δοκιμής για να αυτοματοποιήσουν την εκτέλεση της δοκιμής. Οι δοκιμαστές χρησιμοποιούν κατάλληλα εργαλεία αυτοματισμού για την ανάπτυξη των σεναρίων δοκιμών και την επικύρωση του λογισμικού. Ο στόχος είναι να ολοκληρωθεί η εκτέλεση της δοκιμής σε λιγότερο χρόνο.
Η αυτοματοποιημένη δοκιμή βασίζεται εξ ολοκλήρου στην προκαθορισμένη δοκιμή που εκτελείται αυτόματα για να συγκρίνει το πραγματικό αποτέλεσμα με τα αναμενόμενα αποτελέσματα. Αυτό βοηθά τον ελεγκτή να προσδιορίσει εάν μια εφαρμογή λειτουργεί όπως αναμένεται.
Οι αυτοματοποιημένες δοκιμές σάς επιτρέπουν να εκτελέσετε επαναλαμβανόμενες εργασίες και δοκιμή παλινδρόμησης χωρίς την παρέμβαση χειροκίνητου ελεγκτή. Παρόλο που όλες οι διαδικασίες εκτελούνται αυτόματα, ο αυτοματισμός απαιτεί κάποια χειροκίνητη προσπάθεια για τη δημιουργία αρχικών σεναρίων δοκιμών.
Manual Testing Vs. Δοκιμές Αυτοματισμού
| Παράμετρος | Δοκιμές Αυτοματισμού | Μη αυτόματη δοκιμή |
|---|---|---|
| Ορισμός | Το Automation Testing χρησιμοποιεί εργαλεία αυτοματισμού για την εκτέλεση δοκιμαστικών υποθέσεων. | Στις χειροκίνητες δοκιμές, οι περιπτώσεις δοκιμών εκτελούνται από έναν ανθρώπινο ελεγκτή και λογισμικό. |
| Χρόνος επεξεργασίας | Η αυτοματοποιημένη δοκιμή είναι σημαντικά ταχύτερη από μια χειροκίνητη προσέγγιση. | Η χειρωνακτική δοκιμή είναι χρονοβόρα και απαιτεί ανθρώπινο δυναμικό. |
| Διερευνητικές δοκιμές | Ο αυτοματισμός δεν επιτρέπει τυχαίες δοκιμές | Η διερευνητική δοκιμή είναι δυνατή στο Manual Testing |
| Αρχική επένδυση | Η αρχική επένδυση στις αυτοματοποιημένες δοκιμές είναι υψηλότερη. Αν και το ROI είναι καλύτερο μακροπρόθεσμα. | Η αρχική επένδυση στη μη αυτόματη δοκιμή είναι συγκριτικά χαμηλότερη. Το ROI είναι χαμηλότερο σε σύγκριση με τις δοκιμές Αυτοματισμού μακροπρόθεσμα. |
| Αξιοπιστία | Η αυτοματοποιημένη δοκιμή είναι μια αξιόπιστη μέθοδος, καθώς εκτελείται από εργαλεία και σενάρια. Δεν υπάρχει δοκιμαστική κόπωση. | Η χειροκίνητη δοκιμή δεν είναι τόσο ακριβής λόγω της πιθανότητας ανθρώπινων σφαλμάτων. |
| Αλλαγή διεπαφής χρήστη | Ακόμη και για μια ασήμαντη αλλαγή στη διεπαφή χρήστη του AUT, τα αυτοματοποιημένα σενάρια δοκιμής πρέπει να τροποποιηθούν για να λειτουργούν όπως αναμένεται | Μικρές αλλαγές, όπως αλλαγή στο αναγνωριστικό, την κλάση, κ.λπ. ενός κουμπιού, δεν θα εμπόδιζαν την εκτέλεση ενός μη αυτόματου ελεγκτή. |
| Επένδυση | Απαιτείται επένδυση για εργαλεία δοκιμών καθώς και για μηχανικούς αυτοματισμού | Χρειάζονται επενδύσεις για ανθρώπινο δυναμικό. |
| Αποδοτική | Δεν είναι οικονομικά αποδοτικό για παλινδρόμηση χαμηλού όγκου | Δεν είναι οικονομικά αποδοτικό για παλινδρόμηση υψηλού όγκου. |
| Ορατότητα αναφοράς δοκιμής | Με τη δοκιμή αυτοματισμού, όλοι οι ενδιαφερόμενοι μπορούν να συνδεθούν στο σύστημα αυτοματισμού και να ελέγξουν τα αποτελέσματα εκτέλεσης δοκιμών | Οι μη αυτόματες δοκιμές καταγράφονται συνήθως σε Excel ή Word και τα αποτελέσματα των δοκιμών δεν είναι άμεσα/εύκολα διαθέσιμα. |
| Ανθρώπινη παρατήρηση | Οι αυτοματοποιημένες δοκιμές δεν περιλαμβάνουν ανθρώπινη προσοχή. Επομένως, δεν μπορεί ποτέ να παρέχει διαβεβαίωση φιλικότητας προς τον χρήστη και θετικής εμπειρίας πελάτη. | Η μέθοδος χειροκίνητης δοκιμής επιτρέπει την ανθρώπινη παρατήρηση, η οποία μπορεί να είναι χρήσιμη για να προσφέρει ένα φιλικό προς τον χρήστη σύστημα. |
| Δοκιμές Απόδοσης | Οι δοκιμές απόδοσης όπως η δοκιμή φορτίου, η δοκιμή πίεσης, η δοκιμή ακίδων κ.λπ. πρέπει να ελέγχονται υποχρεωτικά από ένα εργαλείο αυτοματισμού. | Η δοκιμή απόδοσης δεν είναι δυνατή με μη αυτόματο τρόπο |
| Παράλληλη Εκτέλεση | Αυτή η δοκιμή μπορεί να εκτελεστεί σε διαφορετικές πλατφόρμες λειτουργίας παράλληλα και να μειώσει τον χρόνο εκτέλεσης της δοκιμής. | Οι χειροκίνητες δοκιμές μπορούν να εκτελεστούν παράλληλα, αλλά θα χρειαστεί να αυξήσετε το ανθρώπινο δυναμικό σας, το οποίο είναι ακριβό |
| Μαζική δοκιμή | Μπορείτε να δεσμεύσετε πολλαπλά σενάρια δοκιμής για νυχτερινή εκτέλεση. | Οι χειροκίνητες δοκιμές δεν μπορούν να ομαδοποιηθούν. |
| Γνώσεις προγραμματισμού | Η γνώση προγραμματισμού είναι απαραίτητη στις δοκιμές αυτοματισμού. | Δεν χρειάζεται προγραμματισμός στο Manual Testing. |
| Ρύθμιση | Η δοκιμή αυτοματισμού απαιτεί λιγότερο πολύπλοκη ρύθμιση εκτέλεσης δοκιμής. | Οι ανάγκες χειροκίνητων δοκιμών έχουν μια πιο απλή ρύθμιση εκτέλεσης δοκιμής |
| Σύμπλεξη | Έγινε με εργαλεία. Είναι ακριβές και δεν βαριέται ποτέ! | Η επαναλαμβανόμενη χειροκίνητη εκτέλεση δοκιμής μπορεί να γίνει βαρετή και επιρρεπής σε σφάλματα. |
| Ιδανική προσέγγιση | Η δοκιμή αυτοματισμού είναι χρήσιμη όταν εκτελείτε συχνά το ίδιο σύνολο δοκιμαστικών περιπτώσεων | Η χειροκίνητη δοκιμή αποδεικνύεται χρήσιμη όταν η δοκιμαστική περίπτωση χρειάζεται να εκτελεστεί μόνο μία ή δύο φορές. |
| Επαλήθευση κατασκευής Δοκιμές |
Η δοκιμή αυτοματισμού είναι χρήσιμη για την επαλήθευση κατασκευής Δοκιμές (BVT). |
Η εκτέλεση του Build Verification Testing (BVT) είναι πολύ δύσκολη και χρονοβόρα στη μη αυτόματη δοκιμή. |
| Προθεσμίες | Οι αυτοματοποιημένες δοκιμές έχουν μηδενικό κίνδυνο να χάσουν μια προαποφασισμένη δοκιμή. | Η χειροκίνητη δοκιμή έχει μεγαλύτερο κίνδυνο να χαθεί η προαποφασισμένη προθεσμία δοκιμής. |
| Πλαίσιο | Η δοκιμή αυτοματισμού χρησιμοποιεί πλαίσια όπως Data Drive, Keyword, Hybrid για να επιταχύνει τη διαδικασία αυτοματισμού. | Το Manual Testing δεν χρησιμοποιεί πλαίσια, αλλά μπορεί να χρησιμοποιεί κατευθυντήριες γραμμές, λίστες ελέγχου, αυστηρές διαδικασίες για τη σύνταξη ορισμένων περιπτώσεων δοκιμής. |
| Απόδειξη με έγγραφα | Το Automated Tests λειτουργεί ως έγγραφο που παρέχει αξία εκπαίδευσης ειδικά για περιπτώσεις αυτοματοποιημένων δοκιμών μονάδας. Ένας νέος προγραμματιστής μπορεί να εξετάσει τις περιπτώσεις δοκιμής μονάδας και να κατανοήσει γρήγορα τη βάση κώδικα. | Οι χειροκίνητες δοκιμές δεν παρέχουν καμία αξία εκπαίδευσης |
| Σχεδιασμός δοκιμής | Οι αυτοματοποιημένες δοκιμές μονάδας επιβάλλουν/οδηγούν το Test Driven Development Design. | Οι μη αυτόματες δοκιμές μονάδας δεν οδηγούν τη σχεδίαση στη διαδικασία κωδικοποίησης |
| αναπτύσσει | Οι αυτοματοποιημένες δοκιμές βοηθούν στη δοκιμή επαλήθευσης δόμησης και αποτελούν αναπόσπαστο μέρος του κύκλου DevOps | Η μη αυτόματη δοκιμή καταργεί την αρχή της αυτοματοποιημένης κατασκευής του DevOps |
| Πότε να χρησιμοποιήσετε; | Η αυτοματοποιημένη δοκιμή είναι κατάλληλη για δοκιμές παλινδρόμησης, δοκιμές απόδοσης, δοκιμές φορτίου ή εξαιρετικά επαναλαμβανόμενες λειτουργικές δοκιμές. | Το Manual Testing είναι κατάλληλο για Exploratory, Usability και Adhoc Testing. Θα πρέπει επίσης να χρησιμοποιείται όπου το AUT αλλάζει συχνά. |
Χειροκίνητη δοκιμή Πλεονεκτήματα και μειονεκτήματα
Πλεονεκτήματα της χειροκίνητης δοκιμής:
- Λάβετε γρήγορα και ακριβή οπτικά σχόλια
- Είναι λιγότερο ακριβό καθώς δεν χρειάζεται να ξοδέψετε τον προϋπολογισμό σας για τα εργαλεία και τη διαδικασία αυτοματισμού
- Η ανθρώπινη κρίση και η διαίσθηση ωφελούν πάντα το χειροκίνητο στοιχείο
- Κατά τη δοκιμή μιας μικρής αλλαγής, μια δοκιμή αυτοματισμού θα απαιτούσε κωδικοποίηση που θα μπορούσε να είναι χρονοβόρα. Ενώ θα μπορούσατε να δοκιμάσετε χειροκίνητα εν κινήσει.
Μειονεκτήματα της χειροκίνητης δοκιμής:
- Less αξιόπιστη μέθοδος δοκιμής επειδή διεξάγεται από άνθρωπο. Επομένως, είναι πάντα επιρρεπής σε λάθη και λάθη.
- Η διαδικασία μη αυτόματης δοκιμής δεν μπορεί να καταγραφεί, επομένως δεν είναι δυνατή η εκ νέου χρήση της μη αυτόματης δοκιμής.
- Σε αυτήν τη μέθοδο δοκιμής, ορισμένες εργασίες είναι δύσκολο να εκτελεστούν χειροκίνητα, γεγονός που μπορεί να απαιτήσει επιπλέον χρόνο στη φάση δοκιμής λογισμικού.
Πλεονεκτήματα και μειονεκτήματα αυτοματοποιημένων δοκιμών
Πλεονεκτήματα των αυτοματοποιημένων δοκιμών:
- Οι αυτοματοποιημένες δοκιμές σάς βοηθούν να βρείτε περισσότερα σφάλματα σε σύγκριση με έναν ανθρώπινο ελεγκτή
- Καθώς το μεγαλύτερο μέρος της διαδικασίας δοκιμών είναι αυτοματοποιημένο, μπορείτε να έχετε μια γρήγορη και αποτελεσματική διαδικασία
- Η διαδικασία αυτοματισμού μπορεί να καταγραφεί. Αυτό σας επιτρέπει να επαναχρησιμοποιήσετε και να εκτελέσετε το ίδιο είδος δοκιμών
- Οι αυτοματοποιημένες δοκιμές διεξάγονται με τη χρήση εργαλείων λογισμικού, επομένως λειτουργεί χωρίς κούραση και κόπωση σε αντίθεση με τους ανθρώπους στις χειροκίνητες δοκιμές
- Μπορεί εύκολα να αυξήσει την παραγωγικότητα επειδή παρέχει γρήγορο και ακριβές αποτέλεσμα δοκιμών
- Αυτοματοποιημένες δοκιμές υποστηρίζουν διάφορες εφαρμογές
- Η κάλυψη δοκιμών μπορεί να αυξηθεί λόγω του εργαλείου ελέγχου αυτοματισμού, μην ξεχνάτε ποτέ να ελέγχετε ακόμη και τη μικρότερη μονάδα
Μειονεκτήματα της αυτοματοποιημένης δοκιμής:
- Χωρίς ανθρώπινο στοιχείο, είναι δύσκολο να αποκτήσετε πληροφορίες για οπτικές πτυχές της διεπαφής χρήστη σας, όπως χρώματα, γραμματοσειρά, μεγέθη, αντίθεση ή μεγέθη κουμπιών.
- Τα εργαλεία για την εκτέλεση δοκιμών αυτοματισμού μπορεί να είναι ακριβά, γεγονός που μπορεί να αυξήσει το κόστος του έργου δοκιμών.
- Το εργαλείο δοκιμών αυτοματισμού δεν είναι ακόμη αλάνθαστο. Κάθε εργαλείο αυτοματισμού έχει τους περιορισμούς του που μειώνουν το εύρος του αυτοματισμού.
- Ο εντοπισμός σφαλμάτων του σεναρίου δοκιμής είναι ένα άλλο σημαντικό ζήτημα στην αυτοματοποιημένη δοκιμή. Η συντήρηση της δοκιμής είναι δαπανηρή.
