Τι είναι το Benchmark Testing;

Πριν μάθουμε το Benchmark Testing, ας καταλάβουμε-

Σημείο αναφοράς στις δοκιμές απόδοσης

A Σημείο αναφοράς στις δοκιμές απόδοσης είναι μια μέτρηση ή ένα σημείο αναφοράς με το οποίο μπορούν να συγκριθούν τα προϊόντα ή οι υπηρεσίες λογισμικού για την αξιολόγηση των μέτρων ποιότητας. Με άλλα λόγια, το Benchmark σημαίνει ένα καθορισμένο πρότυπο που βοηθά στον προσδιορισμό της ποιότητας ενός προϊόντος ή μιας υπηρεσίας λογισμικού. Μπορούμε να κάνουμε συγκριτική αξιολόγηση ενός προϊόντος ή μιας υπηρεσίας λογισμικού για να αξιολογήσουμε την ποιότητά του.

Για παράδειγμα, μια ποδοσφαιρική ομάδα έχει ένα σημείο αναφοράς για έναν παίκτη να προκριθεί ως α παίκτης της Πρέμιερ Λιγκ. Η ικανότητα που ορίζεται για το σημείο αναφοράς θα μπορούσε να είναι ένας αριθμός γκολ που σημειώθηκαν τις τελευταίες πέντε σεζόν, ή κατοχή μπάλας στο πρώτο ημίχρονο ή ένας ελάχιστος αριθμός αγώνων που παίχτηκαν στο τοπικό τουρνουά κ.λπ.

Τι είναι το Benchmark Testing;

Δοκιμή συγκριτικής αξιολόγησης μετρά ένα επαναλαμβανόμενο σύνολο ποσοτικοποιήσιμων αποτελεσμάτων που χρησιμεύει ως σημείο αναφοράς με το οποίο μπορούν να συγκριθούν τα προϊόντα/υπηρεσίες. Ο σκοπός των αποτελεσμάτων δοκιμών συγκριτικής αξιολόγησης είναι να συγκρίνουν τις τρέχουσες και μελλοντικές εκδόσεις λογισμικού με τα αντίστοιχα σημεία αναφοράς τους.

Ένα σημείο αναφοράς πρέπει να είναι επαναληπτός. Για παράδειγμα, με κάθε επανάληψη της δοκιμής φορτίου, εάν οι χρόνοι απόκρισης ποικίλλουν πάρα πολύ, η απόδοση του συστήματος πρέπει να συγκριθεί. Ο χρόνος απόκρισης πρέπει να είναι σταθερός μεταξύ διαφορετικών συνθηκών φορτίου.

Ένα σημείο αναφοράς πρέπει να είναι ποσοτικοποιήσιμα. Για παράδειγμα, η εμπειρία χρήστη δεν μπορεί να ποσοτικοποιηθεί σε αριθμούς, αλλά ο χρόνος που αφιερώνει ένας χρήστης σε μια ιστοσελίδα λόγω της καλής διεπαφής χρήστη μπορεί να ποσοτικοποιηθεί.

Το Benchmark Testing δεν είναι ένας όρος που σχετίζεται μόνο με τη δοκιμή λογισμικού, αλλά επίσης ασχολείται με τη δοκιμή υλικού και θεωρείται ένα από τα πιο σημαντικά καθήκοντα στον επιχειρηματικό κόσμο.

Σε αυτό το σεμινάριο, θα συζητήσουμε τα σημεία αναφοράς για μια εφαρμογή πελάτη-διακομιστή ή, με άλλα λόγια, μια εφαρμογή Ιστού. Η δοκιμή αναφοράς μπορεί να γίνει για τις ακόλουθες υπηρεσίες:

• Συμβατότητα με το πρόγραμμα περιήγησης
• Διακεκομμένες συνδέσεις
• Συμμόρφωση HTML
• Χρόνος φόρτωσης
• Προσβασιμότητα
• Δημοτικότητα συνδέσμου

Γιατί είναι σημαντικό το Benchmark Testing;

Σε επιχειρηματικό επίπεδο, οι δοκιμές αναφοράς μπορεί να είναι χρήσιμες για τον προσδιορισμό

• Πόσο καλά αποδίδει μια διαδικτυακή εφαρμογή σε σχέση με τους ανταγωνιστές
• Πώς οι διαφορετικοί τύποι πελατών βιώνουν τον χρόνο απόκρισης και τη διαθεσιμότητα ενός ιστότοπου
• Διασφαλίζει ότι οι ιστότοποι συμμορφώνονται με τα πρότυπα και τις βέλτιστες πρακτικές
• Επιτρέπει την αξιολόγηση τρίτων παρόχων υπηρεσιών πριν από τη λήψη απόφασης για τη σύναψη σύμβασης
• Σας επιτρέπει να καταλάβετε τα λάθη που πρέπει να αποφευχθούν

Δημιουργία σχεδίου δοκιμής αναφοράς

Ένα σχέδιο δοκιμής είναι το πιο κρίσιμο στοιχείο της διαδικασίας δοκιμών αναφοράς. Το σχέδιο δοκιμής συγκριτικής αξιολόγησης ακολουθεί τα βήματα που δίνονται παρακάτω-

1. Κλιμάκωση και επίκληση φόρτου εργασίας
2. Συλλέξτε και αποθηκεύστε μέτρα για δοκιμές αναφοράς
3. Καθορίστε το απαιτούμενο χρονικό διάστημα και το τελικό σημείο μιας δοκιμαστικής διαδικασίας
4. Προετοιμάστε ένα εφεδρικό σχέδιο για να ξεπεράσετε τυχόν αποτυχία νέας δοκιμαστικής περίπτωσης
5. Αποφασίστε την αρχή που θα ζητήσει τον τερματισμό της τελικής διαδικασίας

Πώς να κάνετε δοκιμές συγκριτικής αξιολόγησης

Υπάρχουν 4 φάσεις που εμπλέκονται στο Benchmark Testing:

Βήμα 1) Φάση Σχεδιασμού

• Προσδιορισμός και ιεράρχηση προτύπων και απαιτήσεων
• Αποφασίστε κριτήρια αναφοράς
• Καθορίστε τη διαδικασία δοκιμής αναφοράς

Βήμα 2) Φάση ανάλυσης

• Προσδιορίστε τη βασική αιτία του σφάλματος για να βελτιώσετε την ποιότητα
• Καθορισμός στόχων για τη διαδικασία δοκιμής

Βήμα 3) Φάση ολοκλήρωσης

• Μοιραστείτε τα αποτελέσματα με το ενδιαφερόμενο άτομο και λάβετε έγκριση
• Θέστε λειτουργικούς στόχους

Βήμα 4) Φάση Δράσης

• Αναπτύξτε σχέδιο δοκιμής και τεκμηρίωση
• Εφαρμογή ενεργειών που καθορίζονται σε προηγούμενες φάσεις και παρακολούθηση της προόδου
• Εκτελέστε τη διαδικασία συνεχώς

Στοιχεία του Benchmark Testing

Διαφορετικά συστήματα έχουν διαφορετικούς βαθμούς πολυπλοκότητας και απαιτούν διαφορετικές τεχνικές για τη δοκιμή εφαρμογών.

Υπάρχουν 3 κύρια στοιχεία του Benchmark Testing. Αυτοί είναι

1. Προδιαγραφές φόρτου εργασίας: Καθορισμός του είδους και της συχνότητας των αιτημάτων που πρέπει να υποβάλλονται στο υπό δοκιμή σύστημα.
2. Προδιαγραφές Μετρήσεων: Προσδιορίστε ποιο στοιχείο θα μετρηθεί π.χ. Ταχύτητα μεταφόρτωσης
3. Προδιαγραφές μέτρησης: Καθορισμός του τρόπου μέτρησης των καθορισμένων στοιχείων για την εύρεση κατάλληλων τιμών

Πράγματα που πρέπει να λάβετε υπόψη κατά τη δοκιμή συγκριτικής αξιολόγησης

Για την επιτυχή εκτέλεση δοκιμών αναφοράς πρέπει να λαμβάνονται υπόψη τα ακόλουθα στοιχεία.

• Συνέπεια και έλεγχος είναι σημαντικά μέτρα για τη διενέργεια δοκιμών αναφοράς.
• Κατανόηση της αρχιτεκτονικής του συστήματος για το σχεδιασμό κριτηρίων δοκιμής και δεδομένων δοκιμής
• Εξετάστε τα αρχικά στατικά δεδομένα και ενημερώστε ανάλογα με τον αριθμό των χρηστών
• Ελέγξτε για τη λειτουργία "Επαναφορά" όπου απαιτείται και ορίστε το ποσοστό συναλλαγής ανά δευτερόλεπτο (αυτή αφορά ειδικά τις συναλλαγές των χρηστών σε μια βάση δεδομένων)
• Διαχωρίστε τα στοιχεία του συστήματος σύμφωνα με τις λειτουργίες του
• Κάθε σύστημα έχει διαφορετική αρχιτεκτονική και σχεδιασμό, τα οποία πρέπει να ληφθούν υπόψη κατά την εκτέλεση δοκιμών συγκριτικής αξιολόγησης
• Βεβαιωθείτε ότι όλα τα στοιχεία λογισμικού είναι σε κατάσταση λειτουργίας
• Το λειτουργικό σύστημα και τα υποστηρικτικά προγράμματα οδήγησης θα πρέπει να λειτουργούν με ακρίβεια
• Καταργήστε την προφόρτωση και τα προσωρινά αρχεία από το σύστημα πριν εκτελέσετε ένα σημείο αναφοράς
• Κλείστε όλες τις διεργασίες και τις εφαρμογές που εκτελούνται στο παρασκήνιο
• Ελέγξτε για ενημερώσεις λειτουργικών συστημάτων και διαμορφώσεις πραγματικού κόσμου

Πλαίσια δοκιμών συγκριτικής αξιολόγησης

Τα πλαίσια δοκιμών συγκριτικής αξιολόγησης βοηθούν στην εκτέλεση ορισμένων θεμελιωδών εργασιών για ελέγχους απόδοσης. Αυτά τα θεμελιώδη καθήκοντα περιλαμβάνουν:

1. Πρόσβαση σε βάση δεδομένων
2. Σύνθεση από την πλευρά του διακομιστή
3. JSON Serialization
4. διαμόρφωση

Benchmark Framework 2.0 & TechEmpower χρησιμοποιούνται κυρίως πλαίσια δοκιμών συγκριτικής αξιολόγησης.

Ας ρίξουμε μια ματιά στο TechEmpower. Θα ρίξουμε μια γρήγορη ματιά στα κύρια χαρακτηριστικά του.

• Είναι ένα πλαίσιο ανοιχτού κώδικα για την εκτέλεση εργασιών αναφοράς
• Χρειάζεται τη σωστή διαμόρφωση του περιβάλλοντος συγκριτικής αξιολόγησης
• Υπάρχουν κυρίως δύο τρόποι όπως π.χ Λειτουργία συγκριτικής αξιολόγησης για σύγκριση αποτελεσμάτων και Επαλήθευση λειτουργίας για όσους δεν είναι ειδικοί
• Απαιτούνται πολλά αρχεία που είναι μοναδικά και μπορεί να διαφέρουν από σύστημα σε σύστημα αναλόγως
• Περιλαμβάνει ένα "Αρχείο διαμόρφωσης συγκριτικής αξιολόγησης" που ορίζει ένα σύνολο εντολών δοκιμής και μεταδεδομένων για ένα πρόγραμμα αναφοράς
• Βασίζεται σε πολλές γλώσσες όπως π.χ Java, Python, Ruby, PHP, JavaΣενάριο, Perl, C, Groovy, Haskell, Scala κ.λπ.
• Αντικείμενο – Σχεσιακός Χαρτογράφηση (ORM) χρησιμοποιείται για την εκτέλεση δοκιμών σε βάσεις δεδομένων, σειριοποίηση JSON κ.λπ.

Εργαλεία δοκιμών συγκριτικής αξιολόγησης

Τα εργαλεία δοκιμών συγκριτικής αξιολόγησης κατηγοριοποιούνται ανάλογα. Θα επιστρατευθούμε ένας προς έναν.

Εργαλεία για δοκιμές Windows Η/Υ:

1. Prime95
2. Novabench
3. 3DMark
4. SiSoftware Sandra

Εργαλεία για τον έλεγχο της απόδοσης της CPU:

1. Cinebench
2. Geekbench

Εργαλεία για τη δοκιμή της ταχύτητας του συστήματος και των μπαταριών φορητών συσκευών:

1. Phoronix (Linux)
2. CPU UserBenchmark (Δοκιμή συγκριτικής αξιολόγησης CPU)
3. Vellamo (Επίδοση περιήγησης στο Web)

Η δοκιμή συγκριτικής αξιολόγησης μπορεί επίσης να πραγματοποιηθεί με Android τηλέφωνα και ταμπλέτες. Μεταξύ όλων, Κωδικός πρόσβασης είναι ένα πολύ γνωστό και ευρέως χρησιμοποιούμενο εργαλείο συγκριτικής δοκιμής.

Σύνοψη

• Στη Μηχανική Λογισμικού, το Benchmark Testing δίνει ένα επαναλαμβανόμενο σύνολο ποσοτικοποιήσιμων αποτελεσμάτων σε μια απόδοση ενός συστήματος.
• Χρήσιμο για την άσκηση συνθηκών φόρτωσης και τον προσδιορισμό της συμπεριφοράς του συστήματος έναντι επιθέσεων DDoS.
• Οι προδιαγραφές φόρτου εργασίας, οι μετρήσεις και οι προδιαγραφές μέτρησης είναι κύρια συστατικά των δοκιμών αναφοράς.
• Πολλά εργαλεία και πλαίσια χρησιμοποιούνται για τη γρήγορη και αποτελεσματική εκτέλεση δοκιμών αναφοράς.
• Το Benchmark Testing είναι επίσης χρήσιμο για κινητές συσκευές.