Τι είναι το Data Driven Testing;

⚡ Έξυπνη Σύνοψη

Η δοκιμή βάσει δεδομένων είναι μια μέθοδος δοκιμής λογισμικού που αποθηκεύει δεδομένα δοκιμών σε πίνακες ή υπολογιστικά φύλλα, έτσι ώστε ένα σενάριο να μπορεί να επικυρώσει πολλούς συνδυασμούς εισόδου. Διαχωρίζει τη λογική των δοκιμών από τα δεδομένα, μειώνοντας την επικάλυψη σεναρίων και την προσπάθεια συντήρησης.

  • 📊 Βασική ιδέα: Ένα μόνο δοκιμαστικό σενάριο διαβάζει δεδομένα εισόδου από αρχεία .xls, .csv, .xml ή πηγές βάσεων δεδομένων και εκτελεί αυτόματα κάθε σύνολο δεδομένων.
  • 🧱 Σχεδιασμός πλαισίου: Προσδιορίστε τις περιπτώσεις δοκιμών, γράψτε τα κοινά βήματα μία φορά, εξωτερικεύστε τα δεδομένα και, στη συνέχεια, επαναλάβετε το σενάριο σε κάθε γραμμή δεδομένων.
  • ⚙️ Κέρδος αποτελεσματικότητας: Η δοκιμή 1000 συνδυασμών σύνδεσης απαιτεί ένα παραμετροποιημένο σενάριο αντί για 1000 ξεχωριστά σενάρια.
  • Εργαλεία: Πλατφόρμες όπως το Testsigma, Testinyκαι Testpad διαχείριση παραμετροποιημένων συνόλων δεδομένων και αναφορά σφαλμάτων ανά γραμμή δεδομένων.
  • καλύτερη πρακτική: Χρησιμοποιήστε ρεαλιστικά δεδομένα, καλύψτε θετικά και αρνητικά αποτελέσματα και προωθήστε δυναμικούς ισχυρισμούς από σύνολα δεδομένων.
  • ⚠️ Ανταλλαγή: Η ποιότητα των δοκιμών εξαρτάται από τις δεξιότητες αυτοματοποίησης και τα μεγάλα σύνολα δεδομένων αυξάνουν τις εργασίες επικύρωσης και συντήρησης.

Τι είναι οι δοκιμές που βασίζονται σε δεδομένα

Δοκιμές βάσει δεδομένων

Δοκιμές βάσει δεδομένων είναι μια μέθοδος δοκιμής λογισμικού στην οποία τα δεδομένα δοκιμής αποθηκεύονται σε μορφή πίνακα ή υπολογιστικού φύλλου. Οι δοκιμές βάσει δεδομένων επιτρέπουν στους ελεγκτές να εισάγουν ένα ενιαίο σενάριο δοκιμής που μπορεί να εκτελέσει δοκιμές για όλα τα δεδομένα δοκιμής από έναν πίνακα και να αναμένει την έξοδο δοκιμής στον ίδιο πίνακα. Ονομάζεται επίσης επιτραπέζια δοκιμή ή παραμετροποιημένη δοκιμή.

Πλαίσιο βάσει δεδομένων

Πλαίσιο βάσει δεδομένων είναι ένα πλαίσιο αυτοματισμού δοκιμών στο οποίο οι τιμές εισόδου διαβάζονται από αρχεία δεδομένων και αποθηκεύονται σε μεταβλητές σε σενάρια δοκιμών. Δίνει τη δυνατότητα στους δοκιμαστές να ενσωματώνουν τόσο θετικές όσο και αρνητικές περιπτώσεις δοκιμών σε μία μόνο δοκιμή. Τα δεδομένα εισόδου στο πλαίσιο που βασίζεται σε δεδομένα μπορούν να αποθηκευτούν σε μία ή πολλαπλές πηγές δεδομένων όπως .xls, .xml, .csv και βάσεις δεδομένων. Το παρακάτω διάγραμμα δείχνει πώς οι τιμές εισόδου ρέουν από το αρχείο δεδομένων στο σενάριο δοκιμών.

Πλαίσιο βάσει δεδομένων

Γιατί δοκιμές βάσει δεδομένων;

Δοκιμές βάσει δεδομένων είναι σημαντικό επειδή οι δοκιμαστές έχουν συχνά πολλά σύνολα δεδομένων για μία μόνο δοκιμή και η δημιουργία μεμονωμένων δοκιμών για κάθε σύνολο δεδομένων μπορεί να είναι χρονοβόρα. Οι δοκιμές που βασίζονται σε δεδομένα βοηθούν στη διατήρηση των δεδομένων ξεχωριστών από τα σενάρια δοκιμών και τα ίδια σενάρια δοκιμών μπορούν να εκτελεστούν για διαφορετικούς συνδυασμούς δεδομένων εισόδου δοκιμών, ενώ τα αποτελέσματα των δοκιμών παράγονται αποτελεσματικά.

Παράδειγμα:

Ας υποθέσουμε ότι θέλουμε να δοκιμάσουμε το σύστημα σύνδεσης με πολλαπλά πεδία εισαγωγής σε σχέση με 1000 διαφορετικά σύνολα δεδομένων.

Για να το δοκιμάσετε αυτό, μπορείτε να ακολουθήσετε τις ακόλουθες διαφορετικές προσεγγίσεις:

Προσέγγιση 1) Δημιουργήστε 1000 σενάρια, ένα για κάθε σύνολο δεδομένων, και εκτελέστε κάθε δοκιμή ξεχωριστά, ένα προς ένα.

Προσέγγιση 2) Αλλάξτε με μη αυτόματο τρόπο την τιμή στο σενάριο δοκιμής και εκτελέστε το πολλές φορές.

Προσέγγιση 3) Εισαγάγετε τα δεδομένα από το φύλλο Excel. Ανακτήστε τα δεδομένα δοκιμής από τις γραμμές του Excel μία προς μία και εκτελέστε το σενάριο.

Μεταξύ των τριών σεναρίων που δίνονται, τα δύο πρώτα είναι επίπονα και χρονοβόρα. Επομένως, είναι ιδανικό να ακολουθήσετε την τρίτη προσέγγιση.

Έτσι, η τρίτη προσέγγιση δεν είναι παρά ένα πλαίσιο Δεδομένων.

Τύποι Δεδομένων Δοκιμών σε Δοκιμές που Βασίζονται σε Δεδομένα

Η αξία των δοκιμών που βασίζονται σε δεδομένα εξαρτάται άμεσα από την ποιότητα των συνόλων δεδομένων που τροφοδοτείτε στα σενάρια δοκιμών σας. Ένα καλά σχεδιασμένο αρχείο δεδομένων συνδυάζει διάφορες κατηγορίες δεδομένων δοκιμών, έτσι ώστε ένα σενάριο να μπορεί να επικυρώσει την κανονική συμπεριφορά, τον χειρισμό σφαλμάτων και τα όρια σε μία μόνο εκτέλεση:

  • Θετικά (έγκυρα) δεδομένα: Χρησιμοποιούνται σωστές καταχωρίσεις, όπως ένα έγκυρο όνομα χρήστη και ένας κωδικός πρόσβασης, για να επιβεβαιωθεί ότι η εφαρμογή αποδέχεται αυτά που πρέπει να αποδεχτεί.
  • Αρνητικά (μη έγκυρα) δεδομένα: Λανθασμένες ή εσφαλμένα μορφοποιημένες καταχωρίσεις που θα έπρεπε να απορριφθούν, όπως λανθασμένος κωδικός πρόσβασης ή ειδικοί χαρακτήρες σε αριθμητικό πεδίο.
  • Δεδομένα ορίων: Τιμές στα άκρα των επιτρεπόμενων εύρων, όπως ένα όνομα χρήστη 1 ή 255 χαρακτήρων, οι οποίες συχνά αποκαλύπτουν κρυφά ελαττώματα.
  • Κενά ή μηδενικά δεδομένα: Κενά πεδία που επαληθεύουν την επικύρωση υποχρεωτικών πεδίων και τα μηνύματα σφάλματος.
  • Δεδομένα μεγάλου όγκου: Μαζικά ή τυχαία δημιουργημένα αρχεία που χρησιμοποιούνται για τον έλεγχο της απόδοσης και της σταθερότητας υπό ρεαλιστικό φόρτο.

Με τα σωστά δεδομένα που έχουν προετοιμαστεί, το επόμενο βήμα είναι η κατασκευή του ίδιου του πλαισίου.

Πώς να δημιουργήσετε ένα πλαίσιο αυτοματισμού βάσει δεδομένων

Πλαίσιο αυτοματισμού βάσει δεδομένων

Σκεφτείτε ότι θέλετε να δοκιμάσετε τη λειτουργικότητα σύνδεσης μιας εφαρμογής. Το παραπάνω διάγραμμα ροής δείχνει τον πλήρη κύκλο: προσδιορίστε τις δοκιμαστικές περιπτώσεις, γράψτε το κοινό σενάριο δοκιμής, μετακινήστε τα δεδομένα σε ένα εξωτερικό αρχείο και επαναλάβετε το σενάριο σε κάθε γραμμή δεδομένων.

Βήμα 1) Προσδιορίστε τις περιπτώσεις δοκιμής

  • Εισαγάγετε το σωστό όνομα χρήστη και κωδικό πρόσβασης – Επιτυχία σύνδεσης
  • Εισαγάγετε λανθασμένο όνομα χρήστη και σωστό κωδικό πρόσβασης – Αποτυχία σύνδεσης
  • Εισαγάγετε σωστό όνομα χρήστη και λανθασμένο κωδικό πρόσβασης – Αποτυχία σύνδεσης

Βήμα 2) Δημιουργήστε λεπτομερή βήματα δοκιμής για τις παραπάνω 3 περιπτώσεις δοκιμής

Δοκιμαστική περίπτωση# Περιγραφή Βήματα δοκιμής Δεδομένα δοκιμής Αναμενόμενα αποτελέσματα
1 Ελέγξτε το Login για έγκυρα διαπιστευτήρια
  1. Εκκινήστε την εφαρμογή
  2. Εισαγάγετε κωδικό πρόσβασης ονόματος χρήστη
  3. Κάντε κλικ στο Εντάξει
  4. Ελέγξτε τα αποτελέσματα
Όνομα χρήστη: έγκυρος κωδικός πρόσβασης: έγκυρος Επιτυχία σύνδεσης
2 Επιλέξτε Σύνδεση για μη έγκυρα διαπιστευτήρια
  1. Εκκινήστε την εφαρμογή
  2. Εισαγάγετε κωδικό πρόσβασης ονόματος χρήστη
  3. Κάντε κλικ στο Εντάξει
  4. Ελέγξτε τα αποτελέσματα
Όνομα χρήστη: μη έγκυρος κωδικός πρόσβασης: έγκυρος Αποτυχία εισόδου
3 Επιλέξτε Σύνδεση για μη έγκυρα διαπιστευτήρια
  1. Εκκινήστε την εφαρμογή
  2. Εισαγάγετε κωδικό πρόσβασης ονόματος χρήστη
  3. Κάντε κλικ στο Εντάξει
  4. Ελέγξτε τα αποτελέσματα
Όνομα χρήστη: έγκυρος κωδικός πρόσβασης: μη έγκυρος Αποτυχία εισόδου

Βήμα 3) Δημιουργία σεναρίου δοκιμής

Αν παρατηρήσετε, τα βήματα δοκιμής παραμένουν κοινά και στις 3 περιπτώσεις δοκιμής. Πρέπει να δημιουργήσετε ένα σενάριο δοκιμής για να εκτελέσετε αυτά τα βήματα:

// This is Pseudo Code

// Test Step 1: Launch Application
driver.get("URL of the Application");

// Test Step 2: Enter Username
txtbox_username.sendKeys("valid");

// Test Step 3: Enter Password
txtbox_password.sendKeys("invalid");

// Test Step 4: Check Results
If (Next Screen) print success else Fail

Βήμα 4) Δημιουργήστε ένα αρχείο Excel/CSV με τα δεδομένα δοκιμής εισόδου, όπως φαίνεται στο παρακάτω δείγμα φύλλου

Πλαίσιο αυτοματισμού βάσει δεδομένων

Βήμα 5) Τροποποιήστε το σενάριο ώστε να επαναλαμβάνει τα δεδομένα εισόδου δοκιμής. Οι εντολές εισόδου θα πρέπει επίσης να παραμετροποιηθούν.

// This is Pseudo Code
// Loop 3 Times
for (i = 0; i & lt; = 3; i++) {
    // Read data from Excel and store into variables
    int input_1 = ReadExcel(i, 0);
    int input_2 = ReadExcel(i, 1);

    // Test Step 1: Launch Application
    driver.get("URL of the Application");

    // Test Step 2: Enter Username
    txtbox_username.sendKeys(input_1);
    // Test Step 3: Enter Password

    txtbox_password.sendKeys(input_2);
    // Test Step 4: Check Results
    If(Next Screen) print success
    else Fail
}

Παραπάνω είναι μόνο 3 περιπτώσεις δοκιμών. Το σενάριο δοκιμής μπορεί να χρησιμοποιηθεί για να πραγματοποιήσει βρόχο στις ακόλουθες περιπτώσεις δοκιμών απλώς προσαρτώντας τιμές δεδομένων δοκιμής σε Excel

  • Εισαγάγετε λανθασμένο όνομα χρήστη και λανθασμένο κωδικό πρόσβασης – Αποτυχία σύνδεσης
  • Εισαγάγετε το σωστό όνομα χρήστη και τον κωδικό πρόσβασης κενό – Αποτυχία σύνδεσης
  • Εισαγάγετε κενό όνομα χρήστη και κενό κωδικό πρόσβασης – Αποτυχία σύνδεσης

Και ούτω καθεξής

Tip Pro Συμβουλή: Αποθηκεύστε το αναμενόμενο αποτέλεσμα για κάθε γραμμή στο ίδιο αρχείο δεδομένων με τα δεδομένα εισόδου. Το σκριπτ σας μπορεί στη συνέχεια να συγκρίνει αυτόματα τα πραγματικά και τα αναμενόμενα αποτελέσματα, μετατρέποντας το αρχείο δεδομένων σε μια ολοκληρωμένη, αυτοεπαληθεύσιμη σουίτα δοκιμών.

Μόλις το framework σας είναι έτοιμο, το κατάλληλο εργαλείο απλοποιεί τη διαχείριση, την εκτέλεση και την αναφορά δεδομένων.

Καλυτερα Data Driven Testing Tool

1) Δοκιμάστε το sigma

Δοκιμάστε το sigma είναι μια πλατφόρμα δοκιμών που βασίζεται σε δεδομένα και βασίζεται στο cloud, την οποία έχω βρει ανεκτίμητη για τη μεγιστοποίηση της κάλυψης των δοκιμών, αποσυνδέοντας τη λογική των δοκιμών από τα δεδομένα δοκιμών. Έχει σχεδιαστεί ειδικά για ομάδες που πρέπει να επικυρώνουν εφαρμογές σε σχέση με ποικίλα σύνολα δεδομένων, ακραίες περιπτώσεις και επιχειρηματικά σενάρια χωρίς να δημιουργούν περιττά σενάρια δοκιμών, βελτιστοποιώντας ολόκληρη τη ροή εργασίας δοκιμών που βασίζεται σε δεδομένα.

Κατά τη διάρκεια των έργων δοκιμών που βασίζονται σε δεδομένα, αξιοποίησα τις δυνατότητες παραμετροποίησης του Testsigma για να εκτελέσω πανομοιότυπα σενάρια δοκιμών σε πολλαπλούς συνδυασμούς δεδομένων από εξωτερικές πηγές, όπως αρχεία Excel και CSV. Η δυνατότητα της πλατφόρμας να επαναλαμβάνει τις γραμμές δεδομένων επέκτεινε αυτόματα σημαντικά την κάλυψη των δοκιμών μου, ενώ η λεπτομερής αναφορά των αποτελεσμάτων σε επίπεδο δεδομένων με βοήθησε να εντοπίσω γρήγορα ποιοι συγκεκριμένοι συνδυασμοί εισόδου προκάλεσαν αποτυχίες σε επίπεδα ιστού, κινητών και API.

Δοκιμάστε το sigma

Χαρακτηριστικά:

  • Ενσωμάτωση εξωτερικής πηγής δεδομένων: Αυτή η λειτουργία επιτρέπει άμεσες συνδέσεις με υπολογιστικά φύλλα Excel, αρχεία CSV και πίνακες βάσεων δεδομένων για κεντρική διαχείριση δεδομένων δοκιμών. Εξαλείφει τις τιμές που έχουν ενσωματωθεί σε σκληρό κώδικα και σας επιτρέπει να διατηρείτε τα δεδομένα δοκιμών ανεξάρτητα από τη λογική των δοκιμών. Μπορείτε να ενημερώνετε σύνολα δεδομένων χωρίς να τροποποιείτε τα σενάρια δοκιμών, εξασφαλίζοντας ευελιξία και συντηρησιμότητα. Χρησιμοποιώ αυτήν τη λειτουργία για να διαχειρίζομαι αποτελεσματικά εκατοντάδες παραλλαγές δεδομένων, διατηρώντας παράλληλα...ping σενάρια δοκιμών καθαρά και επαναχρησιμοποιήσιμα.
  • Αυτοματοποιημένη επανάληψη δεδομένων πολλαπλών γραμμών: Το Testsigma εκτελεί αυτόματα σενάρια δοκιμών σε πολλαπλές σειρές δεδομένων σε μία μόνο δοκιμαστική εκτέλεση, επεκτείνοντας δραματικά την κάλυψη. Μπορείτε να επικυρώσετε πολυάριθμους συνδυασμούς εισόδου, οριακές συνθήκες και παραλλαγές επιχειρηματικών κανόνων χωρίς να διπλασιάσετε τις περιπτώσεις δοκιμών. Αυτή η λειτουργία χειρίζεται την αλληλούχιση δεδομένων και τη λογική επανάληψης με διαφάνεια. Βρήκα αυτό ιδιαίτερα αποτελεσματικό για ολοκληρωμένες δοκιμές παλινδρόμησης με ελάχιστη επιβάρυνση συντήρησης σεναρίων.
  • Παραμετροποίηση βημάτων δυναμικής δοκιμής: Σας επιτρέπει να αντικαταστήσετε τις στατικές τιμές με δυναμικές παραμέτρους που αντλούν δεδομένα από εξωτερικές πηγές κατά την εκτέλεση. Μπορείτε να διαμορφώσετε τα βήματα δοκιμής ώστε να προσαρμόζονται σε ποικίλες εισόδους, συνθήκες και αναμενόμενα αποτελέσματα με βάση τις τιμές του συνόλου δεδομένων. Αυτή η λειτουργία υποστηρίζει σύνθετους μετασχηματισμούς δεδομένων και λογική υπό όρους. Βασίζομαι σε αυτήν για τη δημιουργία ευέλικτων σεναρίων δοκιμών που προσαρμόζονται σε ποικίλες επιχειρηματικές απαιτήσεις και ροές εργασίας χρηστών.
  • Αναφορά εκτέλεσης σε επίπεδο δεδομένων: Η πλατφόρμα δημιουργεί λεπτομερείς αναφορές που αναλύουν τα αποτελέσματα των δοκιμών ανά μεμονωμένους συνδυασμούς δεδομένων, δείχνοντας ακριβώς ποιες εισροές πέρασαν ή απέτυχαν. Μπορείτε να αναλύσετε μοτίβα, να εντοπίσετε προβληματικά εύρη δεδομένων και tracΑποτυχίες σε συγκεκριμένες γραμμές συνόλου δεδομένων. Αυτή η λειτουργία παρέχει οπτικούς πίνακες ελέγχου και εξαγώγιμα αναλυτικά στοιχεία για την επικοινωνία με τα ενδιαφερόμενα μέρη. Συνιστώ να χρησιμοποιήσετε αυτές τις πληροφορίες για να δώσετε προτεραιότητα στις βελτιώσεις ποιότητας δεδομένων και να βελτιώσετε τις στρατηγικές δεδομένων δοκιμών.
  • Υποστήριξη δεδομένων σε διάφορες πλατφόρμες: Το Testsigma επεκτείνει τις δυνατότητες που βασίζονται σε δεδομένα σε δοκιμές ιστού, κινητών και API σε ενοποιημένες ροές εργασίας. Μπορείτε να εφαρμόσετε τα ίδια σύνολα δεδομένων για να επικυρώσετε τη συνέπεια σε διαφορετικά επίπεδα και τεχνολογίες εφαρμογών. Αυτή η λειτουργία διασφαλίζει ολοκληρωμένη επικύρωση από άκρο σε άκρο με παραμετροποιημένες ροές δεδομένων. Την έχω χρησιμοποιήσει για να επαληθεύσω ότι η επεξεργασία δεδομένων backend αντικατοπτρίζεται σωστά σε διεπαφές frontend σε πολλαπλές πλατφόρμες ταυτόχρονα.

Πλεονεκτήματα

  • Είχα ευρύτερη κάλυψη δοκιμών χωρίς να αυξήσω δραματικά τον συνολικό αριθμό των εκτελεσμένων δοκιμαστικών περιπτώσεων
  • Η σύνδεση με κοινές πηγές δεδομένων είναι απλή και μειώνει τον χρόνο εγκατάστασης για τις καθημερινές ροές εργασίας δοκιμών
  • Η λεπτομερής αναφορά επιπέδου δεδομένων διευκολύνει τον γρήγορο εντοπισμό των συνδυασμών που αποτυγχάνουν

Μειονεκτήματα

  • Έπρεπε να διαχειρίζομαι προσεκτικά τα σύνολα δεδομένων, επειδή οι μεγάλοι όγκοι μπορούν γρήγορα να προκαλέσουν σύγχυση.

Τιμολόγηση:

  • Τιμή: Προσαρμοσμένη τιμολόγηση με δυνατότητες δοκιμών βάσει δεδομένων που περιλαμβάνονται στο ολοκληρωμένο πρόγραμμα συνδρομής
  • Δωρεάν δοκιμή: Δωρεάν δοκιμή 14 ημερών

Επισκεφθείτε το Testsigma >>

Δωρεάν δοκιμή 14 ημερών


2) Testiny

Testiny είναι μια σύγχρονη πλατφόρμα διαχείρισης δοκιμαστικών περιπτώσεων που βασίζεται στο cloud, την οποία έχω χρησιμοποιήσει για την αποτελεσματική οργάνωση δοκιμαστικών περιπτώσεων που βασίζονται σε δεδομένα, διατηρώντας παράλληλαping σαφή διαχωρισμό μεταξύ της λογικής των δοκιμών και των παραμετροποιημένων συνόλων δεδομένων. Έχει σχεδιαστεί για ομάδες που πρέπει να διαχειρίζονται ποικίλους συνδυασμούς δεδομένων σε πολλές δοκιμές χωρίς να χάνουν tracικανότητα.

Κατά την εκτέλεση έργων που βασίζονται σε δεδομένα με TestinyΕκτίμησα τον τρόπο με τον οποίο οι λειτουργίες μαζικής επεξεργασίας και προτύπου διευκόλυναν την κλιμάκωση των παραλλαγών των δοκιμών σε εκατοντάδες σειρές δεδομένων. Η πλατφόρμα ενσωματώνεται με τα Jira, GitHub και GitLab, επομένως οι αποτυχημένοι συνδυασμοί δεδομένων συνδέονται με το πρόβλημα. trackers αυτόματα.

Testiny

Χαρακτηριστικά:

  • Μαζική επεξεργασία δοκιμαστικής περίπτωσης: Testiny σας επιτρέπει να επεξεργάζεστε, να αντιγράφετε και να παραμετροποιείτε πολλές περιπτώσεις δοκιμών ταυτόχρονα, γεγονός που επιταχύνει τη δημιουργία παραλλαγών που βασίζονται σε δεδομένα. Μπορείτε να εφαρμόσετε αλλαγές σε φακέλους σε δευτερόλεπτα χωρίς να αγγίζετε κάθε περίπτωση ξεχωριστά. Βασίζομαι σε αυτό όταν επεκτείνω την κάλυψη σε νέα σύνολα δεδομένων χωρίς να ξαναγράφω σενάρια.
  • Προσαρμοσμένα πεδία για εισόδους δεδομένων: Σας επιτρέπει να ορίσετε προσαρμοσμένα πεδία ανά έργο, ώστε να μπορούν να είναι τα χαρακτηριστικά του συνόλου δεδομένων. tracπαράλληλα με κάθε δοκιμαστική εκτέλεση. Μπορείτε να καταγράψετε τις τιμές εισόδου, τα αναμενόμενα αποτελέσματα και τις συνθήκες με σαφήνεια σε ένα μέρος. Χρησιμοποιώ αυτά τα πεδία για να διατηρώ εύκολα τον έλεγχο σύνθετων παραμετροποιημένων σεναρίων αργότερα.
  • Δοκιμαστική εκτέλεση σε πραγματικό χρόνο Tracking: Η πλατφόρμα εμφανίζει την κατάσταση εκτέλεσης σε πραγματικό χρόνο σε όλα τα μέλη της ομάδας, έτσι ώστε οι δοκιμές που βασίζονται σε δεδομένα να παραμένουν διαφανείς. Μπορείτε να αναθέσετε υποθέσεις, να παρακολουθείτε τα ποσοστά επιτυχίας/αποτυχίας και να εντοπίζετε αποκλεισμένους συνδυασμούς δεδομένων καθώς συμβαίνουν. Το βρίσκω χρήσιμο για την kee.ping Οι υπεύθυνοι διασφάλισης ποιότητας ενημερώνονται χωρίς συνεχείς συναντήσεις για την κατάσταση.
  • PDF και αναφορές με δυνατότητα κοινής χρήσης: Testiny δημιουργεί καθαρές αναφορές PDF με γραφήματα και συνοπτικές εκθέσεις εκτέλεσης που μπορείτε να μοιραστείτε με μη τεχνικά ενδιαφερόμενα μέρη. Μπορείτε να φιλτράρετε κατά σύνολο δεδομένων, ορόσημο ή έκδοση. Τα στέλνω στο τέλος κάθε sprint για να επικοινωνήσω μια ποιοτική στάση.
  • Εγγενές Τεύχος TracΕνσωματώσεις ker: Συνδέεται με Jira, GitHub, GitLab, Azure DevOps, Γραμμικό, Asana, Confluence, Trello και monday.com, έτσι ώστε οι αποτυχημένες σειρές δεδομένων να μετατρέπονται γρήγορα σε αιτήματα. Μπορείτε να διατηρήσετε την εκτέλεση δοκιμών και τις ροές εργασίας μηχανικής ευθυγραμμισμένες. Έχω παρατηρήσει ότι αυτό μειώνει δραματικά την τριβή μεταβίβασης μεταξύ των ομάδων διασφάλισης ποιότητας και ανάπτυξης.

Πλεονεκτήματα

  • Παρατήρησα ότι η μαζική επεξεργασία διατηρεί τη συντήρηση δοκιμών που βασίζονται σε δεδομένα ελαφριά, ακόμη και καθώς τα σύνολα δεδομένων αυξάνονται.
  • Συνδετικός Testiny στον πίνακα Jira μας χρειάστηκαν λίγα λεπτά και εμφανίστηκαν αμέσως αποτυχημένοι συνδυασμοί δεδομένων ως αιτήματα
  • Σε πραγματικό χρόνο tracΟ king μου δίνει μια σαφή εικόνα για το ποιοι συνδυασμοί δεδομένων εκκρεμούν ακόμη σε οποιαδήποτε εκτέλεση.

Μειονεκτήματα

  • Μου έλειψε να έχω ενσωματωμένα προηγμένα άγκιστρα αυτοματισμού API για πολύ μεγάλες σουίτες παραμετροποιημένης παλινδρόμησης

Τιμολόγηση:

  • Τιμή: Δωρεάν πρόγραμμα για έως και 3 χρήστες. Τα προγράμματα επί πληρωμή προσαρμόζονται ανάλογα με τις θέσεις και προσθέτουν premium υποστήριξη.
  • Δωρεάν δοκιμή: Δωρεάν δοκιμή 21 ημερών

Επίσκεψη Testiny >>

Δωρεάν δοκιμή 21 ημερών


3) Testpad

Testpad είναι ένα ελαφρύ εργαλείο διαχείρισης δοκιμών που βασίζεται σε λίστες ελέγχου, στο οποίο βασίστηκα όταν σενάρια που βασίζονται σε δεδομένα χρειάζονται γρήγορη καταγραφή χωρίς βαριές διαδικασίες. Είναι δομημένο γύρω από ιεραρχικές λίστες ελέγχου, ώστε οι δοκιμαστές να μπορούν να ομαδοποιούν τις παραλλαγές δεδομένων σε γονικές περιπτώσεις και να τις εκτελούν γρήγορα.

Κατά τη διάρκεια των συνεδριών μου που βασίζονται σε δεδομένα με Testpad, Χρησιμοποίησα τη διεπαφή του με βάση το πληκτρολόγιο για να δημιουργήσω δεκάδες παραλλαγές εισόδου σε μία μόνο συνεδρία. Η υποστήριξη guest tester μου επέτρεψε να προσλάβω ειδικούς στον τομέα για να επικυρώσουν συνδυασμούς δεδομένων με κεφαλαία και πεζά χωρίς να πληρώσω για επιπλέον θέσεις.

Testpad

Χαρακτηριστικά:

  • Λίστες ελέγχου ιεραρχικών δοκιμών: Testpad Οργανώνει παραμετροποιημένες δοκιμές σε ένθετες λίστες ελέγχου, ώστε να μπορείτε να ομαδοποιείτε σχετικές παραλλαγές δεδομένων σε μία μόνο γονική περίπτωση. Μπορείτε να αναπτύξετε και να συμπτύξετε κλάδους για να εστιάσετε σε συγκεκριμένα σύνολα δεδομένων. Χρησιμοποιώ αυτό για να διατηρώ οπτικά τακτοποιημένους τους σύνθετους πίνακες δεδομένων.
  • Επεξεργασία μέσω πληκτρολογίου: Σας επιτρέπει να δημιουργείτε, να δημιουργείτε εσοχές και να αναδιατάσσετε στοιχεία δοκιμής με συντομεύσεις πληκτρολογίου, έτσι ώστε η δημιουργία μεγάλων σχεδίων που βασίζονται σε δεδομένα να είναι γρήγορη. Μπορείτε να παραμείνετε σε ροή χωρίς να χρειάζεται να χρησιμοποιήσετε το ποντίκι. Θεωρώ ότι αυτό μειώνει δραματικά τον χρόνο καταγραφής νέων γραμμών συνόλου δεδομένων.
  • Πρόσβαση δοκιμαστή επισκέπτη: Testpad Υποστηρίζει απεριόριστους προσκεκλημένους δοκιμαστές χωρίς χρεώσεις ανά θέση, ώστε να μπορείτε να προσκαλέσετε ειδικούς τομέα για συγκεκριμένους συνδυασμούς δεδομένων. Μπορείτε να προσκαλέσετε ενδιαφερόμενους φορείς να επαληθεύσουν περιπτώσεις αιχμής χωρίς επιβάρυνση αδειοδότησης. Βασίζομαι σε αυτό κατά την αποδοχή από τους χρήστες με παραμετροποιημένα σενάρια.
  • Άμεσες αναφορές με δυνατότητα κοινής χρήσης: Η πλατφόρμα δημιουργεί απλές αναφορές που μπορείτε να κοινοποιήσετε μέσω συνδέσμου, ώστε η πρόοδος να είναι ορατή χωρίς να ανοίξετε το εργαλείο. Μπορείτε να φιλτράρετε ανά δοκιμαστή, κατάσταση ή κλάδο δοκιμής. Τις στέλνω στους διαχειριστές προϊόντων στο τέλος κάθε δοκιμαστικής εκτέλεσης που βασίζεται σε δεδομένα.
  • Ζήτημα TracΣύνδεση ker: Συνδέει τις αποτυχημένες δοκιμές με τα αιτήματα Jira ή GitHub μέσω απλών συνδέσμων, έτσι ώστε οι αποτυχίες των γραμμών δεδομένων να δρομολογούνται γρήγορα στη μηχανική. Μπορείτε να επισυνάψετε περιεχόμενο απευθείας από ένα αποτυχημένο στοιχείο λίστας ελέγχου. Διατηρώ την εστίαση του ελεγκτή στην εκτέλεση, ενώ αφήνω τα εργαλεία να χειρίζονται τη δρομολόγηση.

Πλεονεκτήματα

  • Μετακινούμαι γρήγορα σε εκατοντάδες παραλλαγές δεδομένων χάρη στο στυλ λίστας ελέγχου με προτεραιότητα το πληκτρολόγιο
  • Η προσέλκυση προσκεκλημένων δοκιμαστών για συγκεκριμένα σενάρια δεδομένων δεν κοστίζει επιπλέον, γεγονός που εξοικονομεί πραγματικό προϋπολογισμό.
  • Η φιλική προς κινητά διεπαφή μου επιτρέπει να εκτελώ ελέγχους καπνού βάσει δεδομένων κατά τη διάρκεια της μετακίνησης ή της όρθιας στάσης.

Μειονεκτήματα

  • Μακάρι να υπήρχαν ενσωματωμένα άγκιστρα αυτοματισμού για πολύ μεγάλες σαρώσεις παλινδρόμησης που βασίζονται σε δεδομένα.

Τιμολόγηση:

  • Τιμή: Τα προγράμματα ξεκινούν από 59 $/μήνα με διαθέσιμα προσαρμοσμένα εταιρικά προγράμματα για μεγαλύτερες ομάδες
  • Δωρεάν δοκιμή: Δωρεάν δοκιμή 30 ημερών

Επίσκεψη Testpad >>

Δωρεάν δοκιμή 30 ημερών

καλυτερα πρακτικα Data Driven testing

Παρακάτω παρατίθενται οι βέλτιστες πρακτικές δοκιμών για δοκιμές που βασίζονται σε δεδομένα:

  • Είναι ιδανικό να χρησιμοποιείτε ρεαλιστικές πληροφορίες κατά τη διαδικασία δοκιμών βάσει δεδομένων
  • Η πλοήγηση δοκιμαστικής ροής θα πρέπει να κωδικοποιείται μέσα στο δοκιμαστικό σενάριο
  • Οδηγήστε εικονικά API με σημαντικά δεδομένα
  • Χρήση δεδομένων για την προώθηση δυναμικών ισχυρισμών
  • Τεστ θετικά αλλά και αρνητικά αποτελέσματα
  • Λειτουργικές δοκιμές βάσει δεδομένων για ασφάλεια και απόδοση

Πλεονεκτήματα της δοκιμής βάσει δεδομένων

Οι δοκιμές που βασίζονται σε δεδομένα προσφέρουν πολλά πλεονεκτήματα. Μερικά από αυτά είναι:

  1. Επιτρέπει τη δοκιμή της εφαρμογής με πολλαπλά σύνολα τιμών δεδομένων κατά τη διάρκεια Δοκιμή παλινδρόμησης
  2. Τα δεδομένα δοκιμής και τα δεδομένα επαλήθευσης μπορούν να οργανωθούν σε ένα μόνο αρχείο και είναι ξεχωριστό από τη λογική της δοκιμαστικής περίπτωσης.
  3. Με βάση το εργαλείο, είναι δυνατό να υπάρχουν τα σενάρια δοκιμών σε ένα μόνο αποθετήριο. Αυτό καθιστά τις δοκιμές εύκολες στην κατανόηση, τη συντήρηση και τη διαχείριση.
  4. Οι ενέργειες και οι συναρτήσεις μπορούν να επαναχρησιμοποιηθούν σε διαφορετικές δοκιμές.
  5. Ορισμένα εργαλεία δημιουργούν δεδομένα δοκιμών αυτόματα. Αυτό είναι χρήσιμο όταν απαιτούνται μεγάλοι όγκοι τυχαίων δεδομένων δοκιμών, κάτι που βοηθά στην εξοικονόμηση χρόνου.
  6. Οι δοκιμές που βασίζονται σε δεδομένα μπορούν να πραγματοποιηθούν σε οποιαδήποτε φάση της ανάπτυξης. Οι δοκιμές που βασίζονται σε δεδομένα γενικά συγχωνεύονται σε μία μόνο διαδικασία. Ωστόσο, μπορούν να χρησιμοποιηθούν σε πολλαπλές δοκιμές.
  7. Επιτρέπει στους προγραμματιστές και τους υπεύθυνους δοκιμών να έχουν σαφή διαχωρισμό για τη λογική των περιπτώσεων δοκιμής/σεναρίων από τα δεδομένα δοκιμής.
  8. Οι ίδιες δοκιμαστικές περιπτώσεις μπορούν να εκτελεστούν αρκετές φορές, γεγονός που βοηθά στη μείωση του αριθμού των δοκιμαστικών περιπτώσεων και των σεναρίων.
  9. Οποιεσδήποτε αλλαγές στο σενάριο δοκιμής δεν επηρεάζουν τα δεδομένα της δοκιμής

Μειονεκτήματα της δοκιμής βάσει δεδομένων

Μερικά μειονεκτήματα της μεθόδου δοκιμής αυτοματισμού βάσει δεδομένων είναι:

  1. Η ποιότητα της δοκιμής εξαρτάται από τις δεξιότητες αυτοματοποίησης της ομάδας υλοποίησης
  2. Η επικύρωση δεδομένων είναι μια χρονοβόρα εργασία κατά τον έλεγχο μεγάλου όγκου δεδομένων.
  3. Η συντήρηση είναι ένα μεγάλο ζήτημα, καθώς απαιτείται μεγάλη ποσότητα κωδικοποίησης για δοκιμές που βασίζονται σε δεδομένα.
  4. Απαιτούνται υψηλού επιπέδου τεχνικές δεξιότητες. Ένας δοκιμαστής μπορεί να χρειαστεί να μάθει μια εντελώς νέα γλώσσα σεναρίου.
  5. Θα υπάρχει περισσότερη τεκμηρίωση, η οποία θα σχετίζεται κυρίως με τη διαχείριση σεναρίων, την υποδομή δοκιμών και τα αποτελέσματα δοκιμών.
  6. Απαιτείται ένα πρόγραμμα επεξεργασίας κειμένου όπως το Σημειωματάριο για τη δημιουργία και τη διατήρηση αρχείων δεδομένων.

Δοκιμές που βασίζονται σε δεδομένα έναντι δοκιμών που βασίζονται σε λέξεις-κλειδιά

Οι αρχάριοι συχνά συγχέουν τις δοκιμές που βασίζονται σε δεδομένα με τις δοκιμές που βασίζονται σε λέξεις-κλειδιά, επειδή και οι δύο διαχωρίζουν τον σχεδιασμό δοκιμών από τα σενάρια δοκιμών. Η διαφορά έγκειται στο τι εξωτερικεύεται: οι δοκιμές που βασίζονται σε δεδομένα εξωτερικεύουν τις τιμές εισόδου, ενώ οι δοκιμές που βασίζονται σε λέξεις-κλειδιά εξωτερικεύουν τις ίδιες τις ενέργειες ως επαναχρησιμοποιήσιμες λέξεις-κλειδιά. Ο παρακάτω πίνακας συγκρίνει τις δύο προσεγγίσεις:

Παράμετρος Δοκιμές βάσει δεδομένων Δοκιμές βάσει λέξεων-κλειδιών
Τι εξωτερικεύεται Δεδομένα δοκιμής (εισαγωγές και αναμενόμενα αποτελέσματα) Δοκιμαστικές ενέργειες (λέξεις-κλειδιά όπως Σύνδεση, Κλικ, Επαλήθευση)
Πηγή δεδομένων Πίνακες Excel, CSV, XML ή βάσης δεδομένων Πίνακες λέξεων-κλειδιών συν προαιρετικοί πίνακες δεδομένων
Απαιτούνται δεξιότητες Μέτρια γνώση σεναρίου Μεγαλύτερη αρχική προσπάθεια σχεδιασμού· λιγότερη κωδικοποίηση για τη δημιουργία νέων δοκιμών
καλυτερα suited for Επανάληψη ενός σεναρίου με πολλούς συνδυασμούς εισόδου Δημιουργία πολλών σεναρίων από επαναχρησιμοποιήσιμα μπλοκ δράσης
Συντήρηση Ενημέρωση αρχείων δεδομένων χωρίς να αγγίξετε σενάρια Ενημέρωση της βιβλιοθήκης λέξεων-κλειδιών όταν αλλάζει η συμπεριφορά της εφαρμογής

Πολλές ομάδες συνδυάζουν και τις δύο προσεγγίσεις σε ένα υβριδικό πλαίσιο, όπου οι λέξεις-κλειδιά ορίζουν επαναχρησιμοποιήσιμες ενέργειες και τα εξωτερικά αρχεία δεδομένων παρέχουν τις τιμές για κάθε δοκιμαστική εκτέλεση.

Συχνές Ερωτήσεις

Ναι, αλλά είναι αναποτελεσματικό. Ένας μη αυτόματος ελεγκτής μπορεί να εκτελέσει τα ίδια βήματα με διαφορετικά δεδομένα εισόδου από ένα υπολογιστικό φύλλο, ωστόσο ο αυτοματισμός προτιμάται επειδή εκτελεί εκατοντάδες συνδυασμούς δεδομένων γρήγορα, με συνέπεια και χωρίς ανθρώπινο λάθος.

Selenium μαζί σου, TestNG or JUnit, UFTκαι πλατφόρμες cloud όπως Δοκιμάστε το sigma το υποστηρίζουν. Οποιαδήποτε γλώσσα μπορεί να διαβάσει εξωτερικά αρχεία, συμπεριλαμβανομένων Java, Python, και C#, μπορούν να υλοποιήσουν ένα πλαίσιο που βασίζεται σε δεδομένα.

Χρησιμοποιήστε αρκετές γραμμές για να καλύψετε έγκυρες, μη έγκυρες, οριακές και κενές τιμές για κάθε πεδίο εισαγωγής. Η ποιότητα έχει μεγαλύτερη σημασία από την ποσότητα. Δέκα καλά επιλεγμένοι συνδυασμοί συνήθως αποκαλύπτουν περισσότερα ελαττώματα από χίλιους τυχαίους.

Ναι. Τα εργαλεία τεχνητής νοημοσύνης αναλύουν πεδία εφαρμογών και παράγουν αυτόματα ρεαλιστικά, ποικίλα και ασφαλή για την προστασία της ιδιωτικής ζωής συνθετικά σύνολα δεδομένων, συμπεριλαμβανομένων ακραίων περιπτώσεων που ενδέχεται να παραβλέψουν οι ανθρώπινοι δοκιμαστές. Αυτό μειώνει τον χρόνο που αφιερώνεται στην προετοιμασία και τη συντήρηση αρχείων δεδομένων.

Η τεχνητή νοημοσύνη προσθέτει αυτοεπιδιορθούμενους εντοπιστές που επιβιώνουν από αλλαγές στο περιβάλλον χρήστη, προβλέπει ποιοι συνδυασμοί δεδομένων είναι πιο πιθανό να αποτύχουν και ιεραρχεί τις γραμμές υψηλού κινδύνου. Αυτό διατηρεί σταθερές τις μεγάλες παραμετροποιημένες σουίτες, μειώνοντας παράλληλα τον χρόνο εκτέλεσης και την προσπάθεια συντήρησης.

Συνοψίστε αυτήν την ανάρτηση με: