Εκμάθηση δοκιμών απόδοσης

Τι είναι το Performance Testing;

Δοκιμές Απόδοσης είναι μια διαδικασία δοκιμής λογισμικού που χρησιμοποιείται για τον έλεγχο της ταχύτητας, του χρόνου απόκρισης, της σταθερότητας, της αξιοπιστίας, της επεκτασιμότητας και της χρήσης πόρων μιας εφαρμογής λογισμικού κάτω από συγκεκριμένο φόρτο εργασίας. Ο κύριος σκοπός της δοκιμής απόδοσης είναι ο εντοπισμός και η εξάλειψη των σημείων συμφόρησης απόδοσης στην εφαρμογή λογισμικού. Είναι ένα υποσύνολο της μηχανικής απόδοσης και είναι επίσης γνωστό ως “Perf Testing”.

Το επίκεντρο της δοκιμής απόδοσης είναι ο έλεγχος ενός προγράμματος λογισμικού

• Ταχύτητα – Καθορίζει εάν η εφαρμογή ανταποκρίνεται γρήγορα
• Απεριόριστες δυνατότητες – Καθορίζει το μέγιστο φορτίο χρήστη που μπορεί να χειριστεί η εφαρμογή λογισμικού.
• σταθερότητα – Καθορίζει εάν η εφαρμογή είναι σταθερή κάτω από ποικίλα φορτία

Γιατί να κάνετε Δοκιμές Απόδοσης;

Οι δυνατότητες και η λειτουργικότητα που υποστηρίζονται από ένα σύστημα λογισμικού δεν είναι η μόνη ανησυχία. Η απόδοση μιας εφαρμογής λογισμικού, όπως ο χρόνος απόκρισης, η αξιοπιστία, η χρήση πόρων και η επεκτασιμότητα, έχουν σημασία. Ο στόχος του Performance Testing δεν είναι να βρει σφάλματα αλλά να εξαλείψει τα σημεία συμφόρησης απόδοσης.

Η δοκιμή απόδοσης γίνεται για να παρέχει στους ενδιαφερόμενους πληροφορίες σχετικά με την εφαρμογή τους σχετικά με την ταχύτητα, τη σταθερότητα και την επεκτασιμότητα. Το πιο σημαντικό, το Performance Testing αποκαλύπτει τι πρέπει να βελτιωθεί πριν το προϊόν βγει στην αγορά. Χωρίς τη δοκιμή απόδοσης, το λογισμικό είναι πιθανό να υποφέρει από προβλήματα όπως: αργή λειτουργία ενώ πολλοί χρήστες το χρησιμοποιούν ταυτόχρονα, ασυνέπειες μεταξύ διαφορετικών λειτουργικών συστημάτων και κακή χρηστικότητα.

Οι δοκιμές απόδοσης θα καθορίσουν εάν το λογισμικό τους πληροί τις απαιτήσεις ταχύτητας, επεκτασιμότητας και σταθερότητας υπό αναμενόμενους φόρτους εργασίας. Οι εφαρμογές που αποστέλλονται στην αγορά με χαμηλές μετρήσεις απόδοσης λόγω ανύπαρκτων ή κακών δοκιμών απόδοσης είναι πιθανό να αποκτήσουν κακή φήμη και να αποτύχουν να επιτύχουν τους αναμενόμενους στόχους πωλήσεων.

Έτσι, κρίσιμες για την αποστολή εφαρμογές όπως τα προγράμματα εκτόξευσης στο διάστημα ή ο ιατρικός εξοπλισμός που σώζει ζωές θα πρέπει να ελέγχεται η απόδοση για να διασφαλιστεί ότι θα λειτουργούν για μεγάλο χρονικό διάστημα χωρίς αποκλίσεις.

Σύμφωνα με την Dunn & Bradstreet, το 59% των εταιρειών του Fortune 500 υφίστανται περίπου 1.6 ώρες διακοπής λειτουργίας κάθε εβδομάδα. Λαμβάνοντας υπόψη ότι η μέση εταιρεία Fortune 500 με ελάχιστους 10,000 υπαλλήλους πληρώνει 56 $ την ώρα, το εργατικό μέρος του κόστους διακοπής λειτουργίας για έναν τέτοιο οργανισμό θα ήταν 896,000 $ εβδομαδιαία, μεταφραζόμενο σε περισσότερα από 46 εκατομμύρια $ ετησίως.

Μόνο ένα Διακοπή λειτουργίας 5 λεπτών του Google.com (19-Αυγ-13) εκτιμάται ότι θα κοστίσει στον γίγαντα της αναζήτησης όσο $ 545,000.

Εκτιμάται ότι οι εταιρείες έχασαν την αξία των πωλήσεων 1100 $ ανά δευτερόλεπτο λόγω πρόσφατου Amazon Διακοπή υπηρεσίας Web.

Ως εκ τούτου, η δοκιμή απόδοσης είναι σημαντική. Για να σας βοηθήσουμε με αυτή τη διαδικασία, ρίξτε μια ματιά σε αυτήν τη λίστα εργαλεία δοκιμής απόδοσης.

Τύποι δοκιμών απόδοσης

Υπάρχουν κυρίως έξι τύποι δοκιμών απόδοσης στη δοκιμή λογισμικού, οι οποίοι εξηγούνται παρακάτω.

• Δοκιμή φορτίου – ελέγχει την ικανότητα της εφαρμογής να λειτουργεί κάτω από αναμενόμενα φορτία χρηστών. Ο στόχος είναι να εντοπιστούν τα σημεία συμφόρησης απόδοσης πριν αρχίσει να λειτουργεί η εφαρμογή λογισμικού.
• Έλεγχος πίεσης - περιλαμβάνει τη δοκιμή μιας εφαρμογής κάτω από ακραίο φόρτο εργασίας για να δούμε πώς χειρίζεται την υψηλή επισκεψιμότητα ή την επεξεργασία δεδομένων. Ο στόχος είναι να προσδιοριστεί το σημείο ρήξης μιας εφαρμογής.
• Δοκιμή αντοχής – γίνεται για να διασφαλιστεί ότι το λογισμικό μπορεί να χειριστεί το αναμενόμενο φορτίο για μεγάλο χρονικό διάστημα.
• Δοκιμή ακίδων - ελέγχει την αντίδραση του λογισμικού σε ξαφνικές μεγάλες αιχμές στο φορτίο που δημιουργείται από τους χρήστες.
• Δοκιμή όγκου – Under Volume Testing μεγάλο αρ. του. Τα δεδομένα συμπληρώνονται σε μια βάση δεδομένων και παρακολουθείται η συνολική συμπεριφορά του συστήματος λογισμικού. Ο στόχος είναι να ελεγχθεί η απόδοση της εφαρμογής λογισμικού κάτω από ποικίλους όγκους βάσης δεδομένων.
• Δοκιμή κλιμάκωσης – Ο στόχος της δοκιμής επεκτασιμότητας είναι να προσδιοριστεί η αποτελεσματικότητα της εφαρμογής λογισμικού στην «κλιμάκωση» για την υποστήριξη της αύξησης του φόρτου των χρηστών. Βοηθά στον προγραμματισμό της προσθήκης χωρητικότητας στο σύστημα λογισμικού σας.

Κοινά προβλήματα απόδοσης

Τα περισσότερα προβλήματα απόδοσης περιστρέφονται γύρω από την ταχύτητα, τον χρόνο απόκρισης, τον χρόνο φόρτωσης και την κακή επεκτασιμότητα. Η ταχύτητα είναι συχνά ένα από τα πιο σημαντικά χαρακτηριστικά μιας εφαρμογής. Μια εφαρμογή που εκτελείται αργά θα χάσει πιθανούς χρήστες. Η δοκιμή απόδοσης διασφαλίζει ότι μια εφαρμογή εκτελείται αρκετά γρήγορα ώστε να κρατά την προσοχή και το ενδιαφέρον του χρήστη. Ρίξτε μια ματιά στην ακόλουθη λίστα με κοινά προβλήματα απόδοσης και παρατηρήστε πώς η ταχύτητα είναι ένας κοινός παράγοντας σε πολλά από αυτά:

• Μεγάλος χρόνος φόρτωσης - Ο χρόνος φόρτωσης είναι συνήθως ο αρχικός χρόνος που χρειάζεται μια εφαρμογή για να ξεκινήσει. Αυτό γενικά πρέπει να περιορίζεται στο ελάχιστο. Ενώ ορισμένες εφαρμογές είναι αδύνατο να φορτωθούν σε λιγότερο από ένα λεπτό, ο χρόνος φόρτωσης θα πρέπει να διατηρηθεί σε λίγα δευτερόλεπτα, αν είναι δυνατόν.
• Κακός χρόνος απόκρισης - Ο χρόνος απόκρισης είναι ο χρόνος που χρειάζεται από τη στιγμή που ένας χρήστης εισάγει δεδομένα στην εφαρμογή έως ότου η εφαρμογή εξάγει μια απάντηση σε αυτήν την είσοδο. Γενικά, αυτό πρέπει να είναι πολύ γρήγορο. Και πάλι, εάν ένας χρήστης πρέπει να περιμένει πολύ, χάνει το ενδιαφέρον του.
• Κακή επεκτασιμότητα - Ένα προϊόν λογισμικού υποφέρει από κακή επεκτασιμότητα όταν δεν μπορεί να χειριστεί τον αναμενόμενο αριθμό χρηστών ή όταν δεν φιλοξενεί αρκετά ευρύ φάσμα χρηστών. Δοκιμές φορτίου πρέπει να γίνει για να βεβαιωθείτε ότι η εφαρμογή μπορεί να χειριστεί τον αναμενόμενο αριθμό χρηστών.
• Συμφόρηση - Τα σημεία συμφόρησης είναι εμπόδια σε ένα σύστημα που υποβαθμίζουν τη συνολική απόδοση του συστήματος. Συμφόρηση είναι όταν είτε σφάλματα κωδικοποίησης είτε προβλήματα υλικού προκαλούν μείωση της απόδοσης κάτω από ορισμένα φορτία. Η συμφόρηση προκαλείται συχνά από ένα ελαττωματικό τμήμα του κώδικα. Το κλειδί για την επίλυση ενός προβλήματος συμφόρησης είναι να βρείτε το τμήμα του κώδικα που προκαλεί την επιβράδυνση και να προσπαθήσετε να το διορθώσετε εκεί. Η συμφόρηση γενικά διορθώνεται είτε με τη διόρθωση των κακών διαδικασιών που εκτελούνται είτε με την προσθήκη πρόσθετου υλικού. Μερικοί κοινά σημεία συμφόρησης απόδοσης are
  • Χρήση CPU
  • Αξιοποίηση μνήμης
  • Χρήση δικτύου
  • Operating περιορισμοί συστήματος
  • Χρήση του δίσκου

Πώς να κάνετε δοκιμές απόδοσης

Η μεθοδολογία που υιοθετείται για τις δοκιμές απόδοσης μπορεί να ποικίλλει ευρέως, αλλά ο στόχος για τις δοκιμές απόδοσης παραμένει ο ίδιος. Μπορεί να σας βοηθήσει να αποδείξετε ότι το σύστημα λογισμικού σας πληροί ορισμένα προκαθορισμένα κριτήρια απόδοσης. Ή μπορεί να βοηθήσει στη σύγκριση της απόδοσης δύο συστημάτων λογισμικού. Μπορεί επίσης να βοηθήσει στον εντοπισμό τμημάτων του συστήματος λογισμικού σας που υποβαθμίζουν την απόδοσή του.

Ακολουθεί μια γενική διαδικασία σχετικά με τον τρόπο εκτέλεσης δοκιμών απόδοσης

Βήμα 1) Προσδιορίστε το περιβάλλον δοκιμών σας

Γνωρίστε το φυσικό περιβάλλον δοκιμών σας, το περιβάλλον παραγωγής και ποια εργαλεία δοκιμών είναι διαθέσιμα. Κατανοήστε τις λεπτομέρειες του υλικού, του λογισμικού και των διαμορφώσεων δικτύου που χρησιμοποιούνται κατά τη δοκιμή πριν ξεκινήσετε τη διαδικασία δοκιμής. Θα βοηθήσει τους δοκιμαστές να δημιουργήσουν πιο αποτελεσματικά τεστ. Θα βοηθήσει επίσης στον εντοπισμό πιθανών προκλήσεων που ενδέχεται να αντιμετωπίσουν οι δοκιμαστές κατά τη διάρκεια των διαδικασιών δοκιμών απόδοσης.

Βήμα 2) Προσδιορίστε τα Κριτήρια Αποδοχής Απόδοσης

Αυτό περιλαμβάνει στόχους και περιορισμούς για την απόδοση, τους χρόνους απόκρισης και την κατανομή πόρων. Είναι επίσης απαραίτητο να προσδιοριστούν κριτήρια επιτυχίας του έργου εκτός αυτών των στόχων και περιορισμών. Οι υπεύθυνοι δοκιμών θα πρέπει να έχουν την εξουσία να ορίζουν κριτήρια απόδοσης και στόχους, επειδή συχνά οι προδιαγραφές του έργου δεν περιλαμβάνουν αρκετά μεγάλη ποικιλία σημείων αναφοράς απόδοσης. Μερικές φορές μπορεί να μην υπάρχει καθόλου. Όταν είναι δυνατόν, η εύρεση μιας παρόμοιας εφαρμογής για σύγκριση είναι ένας καλός τρόπος για να ορίσετε στόχους απόδοσης.

Βήμα 3) Σχεδιάστε & Σχεδιάστε Δοκιμές Απόδοσης

Προσδιορίστε πώς είναι πιθανό να διαφέρει η χρήση μεταξύ των τελικών χρηστών και προσδιορίστε βασικά σενάρια προς δοκιμή για όλες τις πιθανές περιπτώσεις χρήσης. Είναι απαραίτητο να προσομοιώσετε μια ποικιλία τελικών χρηστών, να σχεδιάσετε δεδομένα δοκιμών απόδοσης και να σκιαγραφήσετε ποιες μετρήσεις θα συγκεντρωθούν.

Βήμα 4) Διαμόρφωση του περιβάλλοντος δοκιμής

Προετοιμάστε το περιβάλλον δοκιμής πριν από την εκτέλεση. Επίσης, τακτοποιήστε εργαλεία και άλλους πόρους.

Βήμα 5) Εφαρμογή σχεδίασης δοκιμής

Δημιουργήστε τα τεστ απόδοσης σύμφωνα με το σχέδιο δοκιμής σας.

Βήμα 6) Εκτελέστε τις δοκιμές

Εκτελέστε και παρακολουθήστε τις δοκιμές.

Βήμα 7) Ανάλυση, συντονισμός και επανέλεγχος

Συγκεντρώστε, αναλύστε και μοιραστείτε τα αποτελέσματα των δοκιμών. Στη συνέχεια, συντονιστείτε και δοκιμάστε ξανά για να δείτε εάν υπάρχει βελτίωση ή μείωση στην απόδοση. Δεδομένου ότι οι βελτιώσεις γενικά γίνονται μικρότερες με κάθε επανέλεγχο, σταματήστε όταν η συμφόρηση προκαλείται από την CPU. Τότε μπορεί να έχετε την επιλογή να αυξήσετε την ισχύ της CPU.

Μετρήσεις δοκιμών απόδοσης: Παρακολούθηση παραμέτρων

Οι βασικές παράμετροι που παρακολουθούνται κατά τη δοκιμή απόδοσης περιλαμβάνουν:

• Χρήση επεξεργαστή – ένα χρονικό διάστημα που αφιερώνει ο επεξεργαστής για την εκτέλεση νημάτων που δεν είναι σε αδράνεια.
• Χρήση μνήμης - ποσότητα φυσικής μνήμης που είναι διαθέσιμη για διεργασίες σε έναν υπολογιστή.
• Χρόνος δίσκου - ο χρόνος που ο δίσκος είναι απασχολημένος με την εκτέλεση μιας αίτησης ανάγνωσης ή εγγραφής.
• Εύρος ζώνης - δείχνει τα bit ανά δευτερόλεπτο που χρησιμοποιούνται από μια διεπαφή δικτύου.
• Ιδιωτικά byte - αριθμός byte που έχει εκχωρήσει μια διεργασία που δεν μπορεί να μοιραστεί μεταξύ άλλων διεργασιών. Αυτά χρησιμοποιούνται για τη μέτρηση των διαρροών μνήμης και της χρήσης.
• Δεσμευμένη μνήμη - ποσότητα εικονικής μνήμης που χρησιμοποιείται.
• Σελίδες μνήμης/δευτερόλεπτο – αριθμός σελίδων που έχουν εγγραφεί ή διαβάζονται από το δίσκο για την επίλυση σφαλμάτων σκληρής σελίδας. Σφάλματα σκληρής σελίδας είναι όταν ο κώδικας που δεν προέρχεται από το τρέχον σύνολο εργασίας καλείται από αλλού και ανακτάται από έναν δίσκο.
• Σφάλματα σελίδας/δεύτερο – ο συνολικός ρυθμός επεξεργασίας των σελίδων σφαλμάτων από τον επεξεργαστή. Αυτό συμβαίνει και πάλι όταν μια διεργασία απαιτεί κώδικα εκτός του συνόλου εργασίας της.
• Διακοπές CPU ανά δευτερόλεπτο – είναι ο μέσος όρος. Ο αριθμός των διακοπών υλικού που λαμβάνει και επεξεργάζεται ο επεξεργαστής κάθε δευτερόλεπτο.
• Μήκος ουράς δίσκου – είναι ο μέσος όρος. Όχι. των αιτημάτων ανάγνωσης και εγγραφής που βρίσκονται σε ουρά για τον επιλεγμένο δίσκο κατά τη διάρκεια ενός διαστήματος δείγματος.
• Μήκος ουράς εξόδου δικτύου – μήκος της ουράς πακέτων εξόδου σε πακέτα. Οτιδήποτε περισσότερο από δύο σημαίνει καθυστέρηση και πρέπει να σταματήσει η συμφόρηση.
• Σύνολο byte δικτύου ανά δευτερόλεπτο – ρυθμός αποστολής και λήψης byte στη διεπαφή συμπεριλαμβανομένων των χαρακτήρων πλαισίωσης.
• Χρόνος απόκρισης - χρόνος από τη στιγμή που ο χρήστης εισάγει ένα αίτημα μέχρι τη λήψη του πρώτου χαρακτήρα της απάντησης.
• Διακίνηση - βαθμολογήστε έναν υπολογιστή ή ένα δίκτυο που λαμβάνει αιτήματα ανά δευτερόλεπτο.
• Ποσότητα συγκέντρωσης σύνδεσης – ο αριθμός των αιτημάτων χρήστη που ικανοποιούνται από συγκεντρωτικές συνδέσεις. Όσο περισσότερα αιτήματα ικανοποιούνται από τις συνδέσεις στην πισίνα, τόσο καλύτερη θα είναι η απόδοση.
• Μέγιστες ενεργές συνεδρίες – ο μέγιστος αριθμός συνεδριών που μπορούν να είναι ενεργές ταυτόχρονα.
• Αναλογίες επιτυχίας – Αυτό έχει να κάνει με τον αριθμό των SQL δηλώσεις που αντιμετωπίζονται από δεδομένα προσωρινής αποθήκευσης αντί για ακριβές λειτουργίες εισόδου/εξόδου. Αυτό είναι ένα καλό μέρος για να ξεκινήσετε για την επίλυση προβλημάτων συμφόρησης.
• Επιτυχίες ανά δευτερόλεπτο - το όχι. των επισκέψεων σε έναν διακομιστή ιστού κατά τη διάρκεια κάθε δευτερολέπτου μιας δοκιμής φόρτωσης.
• Τμήμα επαναφοράς – ο όγκος των δεδομένων που μπορούν να επαναληφθούν ανά πάσα στιγμή.
• Κλειδαριές βάσεων δεδομένων – Το κλείδωμα των πινάκων και των βάσεων δεδομένων πρέπει να παρακολουθείται και να ρυθμίζεται προσεκτικά.
• Κορυφαίες αναμονές - παρακολουθούνται για να καθοριστεί ποιοι χρόνοι αναμονής μπορούν να μειωθούν κατά την εξέταση της ταχύτητας ανάκτησης δεδομένων από τη μνήμη
• Αριθμός νημάτων - Η υγεία μιας εφαρμογής μπορεί να μετρηθεί με τον αριθ. των νημάτων που εκτελούνται και είναι ενεργά αυτήν τη στιγμή.
• Συλλογή απορριμάτων - Έχει να κάνει με την επιστροφή της αχρησιμοποίητης μνήμης πίσω στο σύστημα. Η αποκομιδή σκουπιδιών πρέπει να παρακολουθείται για αποτελεσματικότητα.

Παράδειγμα δοκιμών δοκιμής απόδοσης

• Δοκιμαστική περίπτωση 01: Επαληθεύστε ότι ο χρόνος απόκρισης δεν είναι μεγαλύτερος από 4 δευτερόλεπτα όταν 1000 χρήστες έχουν πρόσβαση στον ιστότοπο ταυτόχρονα.
• Δοκιμαστική περίπτωση 02: Βεβαιωθείτε ότι ο χρόνος απόκρισης της εφαρμογής υπό φόρτωση είναι εντός ενός αποδεκτού εύρους όταν η συνδεσιμότητα δικτύου είναι αργή
• Δοκιμαστική περίπτωση 03: Ελέγξτε τον μέγιστο αριθμό χρηστών που μπορεί να χειριστεί η εφαρμογή προτού διακοπεί.
• Δοκιμαστική περίπτωση 04: Ελέγξτε τον χρόνο εκτέλεσης της βάσης δεδομένων όταν 500 εγγραφές διαβάζονται/γράφονται ταυτόχρονα.
• Δοκιμαστική περίπτωση 05: Ελέγξτε τη χρήση της CPU και της μνήμης της εφαρμογής και του διακομιστή βάσης δεδομένων υπό συνθήκες αιχμής φορτίου
• Δοκιμαστική περίπτωση 06: Επαληθεύστε τον χρόνο απόκρισης της εφαρμογής σε συνθήκες χαμηλού, κανονικού, μέτριου και μεγάλου φορτίου.

Κατά τη διάρκεια της πραγματικής εκτέλεσης της δοκιμής απόδοσης, ασαφείς όροι όπως αποδεκτό εύρος, βαρύ φορτίο κ.λπ. αντικαθίστανται από συγκεκριμένους αριθμούς. Οι μηχανικοί απόδοσης ορίζουν αυτούς τους αριθμούς σύμφωνα με τις επιχειρηματικές απαιτήσεις και το τεχνικό τοπίο της εφαρμογής.

Εργαλεία δοκιμής απόδοσης

Υπάρχει μεγάλη ποικιλία εργαλείων δοκιμών απόδοσης διαθέσιμα στην αγορά. Το εργαλείο που θα επιλέξετε για δοκιμή θα εξαρτηθεί από πολλούς παράγοντες, όπως τους τύπους του πρωτοκόλλου που υποστηρίζεται, το κόστος άδειας, τις απαιτήσεις υλικού, την υποστήριξη πλατφόρμας κ.λπ. Παρακάτω είναι μια λίστα με τα ευρέως χρησιμοποιούμενα εργαλεία δοκιμών.

• HP LoadRunner - είναι τα πιο δημοφιλή εργαλεία δοκιμών απόδοσης στην αγορά σήμερα. Αυτό το εργαλείο είναι σε θέση να προσομοιώνει εκατοντάδες χιλιάδες χρήστες, βάζοντας τις εφαρμογές σε πραγματικό φορτίο για να καθορίσει τη συμπεριφορά τους κάτω από αναμενόμενα φορτία. Loadrunner διαθέτει μια εικονική γεννήτρια χρηστών που προσομοιώνει τις ενέργειες ζωντανών ανθρώπινων χρηστών.
• Τζμέτερ – ένα από τα κορυφαία εργαλεία που χρησιμοποιούνται για τη δοκιμή φόρτωσης διακομιστών ιστού και εφαρμογών.

Συχνές Ερωτήσεις

Συμπέρασμα

In Τεχνολογία Λογισμικού, Ο έλεγχος απόδοσης είναι απαραίτητος πριν από την αγορά οποιουδήποτε προϊόντος λογισμικού. Εξασφαλίζει την ικανοποίηση των πελατών και προστατεύει την επένδυση ενός επενδυτή από την αστοχία του προϊόντος. Το κόστος των δοκιμών απόδοσης συνήθως υπερκαλύπτεται με βελτιωμένη ικανοποίηση, αφοσίωση και διατήρηση των πελατών.