ETL Testing Tutorial

Τι είναι η ETL;

ETL σημαίνει ExtracΜετασχηματισμός t-Φόρτισηκαι περιγράφει πώς τα δεδομένα μετακινούνται από ένα σύστημα πηγής σε μια αποθήκη δεδομένων. Τα δεδομένα είναιtracΤα δεδομένα συλλέγονται από μια βάση δεδομένων OLTP, μετασχηματίζονται ώστε να ταιριάζουν με το σχήμα της αποθήκης δεδομένων και φορτώνονται στη βάση δεδομένων της αποθήκης. Πολλές αποθήκες ενσωματώνουν επίσης δεδομένα από συστήματα που δεν είναι OLTP, όπως αρχεία κειμένου, παλαιότερες εφαρμογές και υπολογιστικά φύλλα.

Για παράδειγμα, ένα κατάστημα λιανικής πώλησης μπορεί να έχει ξεχωριστά τμήματα, όπως πωλήσεις, μάρκετινγκ και logistics. Κάθε τμήμα χειρίζεται τις πληροφορίες των πελατών ανεξάρτητα και ο τρόπος με τον οποίο το καθένα αποθηκεύει αυτά τα δεδομένα διαφέρει. Το τμήμα πωλήσεων μπορεί να αποθηκεύει αρχεία με βάση το όνομα του πελάτη, ενώ το τμήμα μάρκετινγκ χρησιμοποιεί το αναγνωριστικό πελάτη.

Εάν οι επιχειρηματικές ομάδες θέλουν να εξετάσουν το πλήρες ιστορικό αγορών ενός πελάτη σε διαφορετικές καμπάνιες μάρκετινγκ, τα αποσυνδεδεμένα δεδομένα καθιστούν την διαδικασία πολύ κουραστική. Η λύση είναι να χρησιμοποιήσετε ένα Datawarehouse για την αποθήκευση πληροφοριών από διαφορετικές πηγές σε μια ομοιόμορφη δομή χρησιμοποιώντας ETL. Το ETL μπορεί να μετατρέψει ανόμοια σύνολα δεδομένων σε μια ενοποιημένη δομή, έτσι ώστε τα εργαλεία BI να μπορούν αργότερα να αντλούν ουσιαστικές πληροφορίες και αναφορές.

Το ακόλουθο διάγραμμα δείχνει τη ροή της διαδικασίας δοκιμών ETL και τις βασικές έννοιες που θα χρησιμοποιήσετε σε αυτόν τον οδηγό:

1) Π.χ.tract

• Extracσχετικά δεδομένα από ένα ή περισσότερα συστήματα πηγής.

2) Μετασχηματισμός

• Μετατροπή δεδομένων σε μορφή DW (Data Warehouse).
• Κλειδιά δημιουργίας: ένα κλειδί είναι ένα ή περισσότερα χαρακτηριστικά δεδομένων που προσδιορίζουν μοναδικά μια οντότητα. Διάφορα τύπους κλειδιών είναι το πρωτεύον κλειδί, το εναλλακτικό κλειδί, το ξένο κλειδί, το σύνθετο κλειδί και το υποκατάστατο κλειδί. Η αποθήκη δεδομένων κατέχει αυτά τα κλειδιά και δεν επιτρέπει ποτέ σε καμία άλλη οντότητα να τα εκχωρήσει.
• Καθαρισμός δεδομένων: μετά την αφαίρεση των δεδομένωνtracΜε την ολοκλήρωση της διαδικασίας, προχωρά στην επόμενη φάση, αυτή του καθαρισμού και της συμμόρφωσης. Ο καθαρισμός διορθώνει τις παραλείψεις και εντοπίζει σφάλματα. Η συμμόρφωση επιλύει τις διενέξεις μεταξύ ασύμβατων συνόλων δεδομένων, ώστε να μπορούν να χρησιμοποιηθούν σε μια αποθήκη δεδομένων επιχείρησης. Το σύστημα δημιουργεί επίσης μεταδεδομένα που βοηθούν στη διάγνωση προβλημάτων του συστήματος προέλευσης και στη βελτίωση της ποιότητας των δεδομένων.

3) Φόρτωση

• Φόρτωση δεδομένων στην Αποθήκη Δεδομένων (DW).
• Δημιουργία συγκεντρωτικών δεδομένων: ένα συγκεντρωτικό σύνολο συνοψίζει και αποθηκεύει δεδομένα από ένα Πίνακας γεγονότων για τη βελτίωση της απόδοσης των ερωτημάτων των τελικών χρηστών.

Τι είναι το ETL Testing;

Η δοκιμή ETL εκτελείται για να διασφαλιστεί ότι τα δεδομένα που φορτώνονται από μια πηγή σε έναν προορισμό, μετά τον μετασχηματισμό της επιχείρησης, είναι ακριβή. Περιλαμβάνει επίσης την επαλήθευση των δεδομένων στα διάφορα ενδιάμεσα στάδια μεταξύ πηγής και προορισμού. Επειδή το ETL σημαίνει ExtracΟ έλεγχος ETL με μετασχηματισμό t καλύπτει καθένα από αυτά τα τρία στάδια και τα σημεία όπου τα δεδομένα διασταυρώνονται μεταξύ τους.

Γιατί είναι σημαντικό το τεστ ETL;

Μόλις κατανοήσετε τι είναι οι δοκιμές ETL, το επόμενο ερώτημα είναι γιατί οι οργανισμοί επενδύουν τόσο πολύ σε αυτές. Οι επιχειρηματικές αποφάσεις βασίζονται σε δεδομένα που είναι σωστά, πλήρη και αξιόπιστα, επομένως ένα μόνο σφάλμα μετασχηματισμού μπορεί να επηρεάσει τις οικονομικές αναφορές, την ανάλυση πελατών και τις κανονιστικές γνωστοποιήσεις.

Τα ακόλουθα σημεία εξηγούν την πρακτική αξία των ισχυρών δοκιμών ETL:

• Ακρίβεια δεδομένων: Επιβεβαιώνει ότι οι τιμές που μετασχηματίζονται από επιχειρηματικούς κανόνες ταιριάζουν με τον τεκμηριωμένο χάρτηping προδιαγραφές, αποτρέποντας την σιωπηλή διαφθορά.
• Αξιόπιστη αναφορά: Οι πίνακες ελέγχου και τα εργαλεία επιχειρηματικής ευφυΐας (BI) εξαρτώνται από την αποθήκη, επομένως οι επαληθευμένοι αγωγοί ETL προστατεύουν κάθε αναφορά και KPI κατάντη.
• Κανονιστική Συμμόρφωση: Κλάδοι όπως οι τράπεζες, η υγειονομική περίθαλψη και οι ασφάλειες πρέπει να αποδείξουν ότι η γενεαλογία και η ακεραιότητα των δεδομένων διατηρούνται από άκρο σε άκρο.
• Μειωμένη επανεπεξεργασία: Ο εντοπισμός ελαττωμάτων σε χαμηλότερα περιβάλλοντα αποφεύγει τις δαπανηρές επαναφορτώσεις παραγωγής, τις χειροκίνητες συμφωνίες και τα σφάλματα που αντιμετωπίζουν οι πελάτες.
• Διασφάλιση απόδοσης: Οι δοκιμές ETL μετρούν τα παράθυρα φόρτωσης, την απόδοση και τα σημεία συμφόρησης, έτσι ώστε η αποθήκη να συνεχίζει να κλιμακώνεται καθώς αυξάνεται ο όγκος δεδομένων.

Με σαφή αυτά τα κίνητρα, η επόμενη ενότητα παρουσιάζει τη δομημένη διαδικασία που ακολουθούν οι δοκιμαστές ETL σε πραγματικά έργα.

Διαδικασία δοκιμών ETL

Όπως και άλλες διαδικασίες δοκιμών, η ETL περνάει επίσης από διαφορετικές φάσεις. Οι διαφορετικές φάσεις της διαδικασίας δοκιμών ETL είναι οι εξής:

Οι δοκιμές ETL εκτελούνται σε πέντε στάδια:

1. Προσδιορισμός πηγών δεδομένων και απαιτήσεων
2. Η συλλογή των δεδομένων
3. Εφαρμογή επιχειρηματικής λογικής και διαστατικής μοντελοποίησης
4. Δημιουργία και συμπλήρωση δεδομένων
5. Δημιουργία αναφορών

Έχοντας κατά νου τη διαδικασία υψηλού επιπέδου, ας εξετάσουμε τους συγκεκριμένους τύπους δοκιμών που εντάσσονται σε αυτόν τον κύκλο ζωής.

Τύποι δοκιμών ETL

1. Δοκιμή Επικύρωσης Παραγωγής
   Διαδικασία δοκιμής: Αυτός ο τύπος Δοκιμής ETL, που ονομάζεται επίσης «εξισορρόπηση πινάκων» ή «συμφωνία παραγωγής», εκτελείται σε δεδομένα καθώς αυτά μετακινούνται στα συστήματα παραγωγής. Για την υποστήριξη επιχειρηματικών αποφάσεων, τα δεδομένα παραγωγής πρέπει να βρίσκονται στη σωστή σειρά. πληροφορική Η επιλογή επικύρωσης δεδομένων παρέχει δυνατότητες αυτοματοποίησης και διαχείρισης δοκιμών ETL, ώστε τα συστήματα παραγωγής να μην υποβάλλονται σε κίνδυνο από εσφαλμένα δεδομένα.
2. Πηγή προς Target Δοκιμή (δοκιμή επικύρωσης)
   Διαδικασία δοκιμής: Αυτός ο τύπος δοκιμής επικυρώνει εάν οι τιμές δεδομένων που μετασχηματίστηκαν ταιριάζουν με τις αναμενόμενες τιμές-στόχους.
3. Εφαρμογή Upgrades
   Διαδικασία δοκιμής: Αυτός ο τύπος δοκιμής ETL μπορεί να δημιουργηθεί αυτόματα, εξοικονομώντας σημαντικό χρόνο ανάπτυξης της δοκιμής. Ελέγχει εάν τα δεδομένα εξάγονται.tracΤα δεδομένα που προέρχονται από μια παλαιότερη εφαρμογή ή αποθετήριο αντιστοιχούν στα δεδομένα μιας νέας εφαρμογής ή αποθετηρίου.
4. Δοκιμή μεταδεδομένων
   Διαδικασία δοκιμής: Ο έλεγχος μεταδεδομένων περιλαμβάνει ελέγχους τύπου δεδομένων, ελέγχους μήκους δεδομένων και ελέγχους ευρετηρίου ή περιορισμών.
5. Έλεγχος Πληρότητας Δεδομένων
   Διαδικασία δοκιμής: Ο έλεγχος πληρότητας δεδομένων επαληθεύει ότι όλα τα αναμενόμενα δεδομένα φορτώνονται από την πηγή στον στόχο. Οι συνήθεις έλεγχοι περιλαμβάνουν τη σύγκριση και την επικύρωση του αριθμού των εγγραφών, των συγκεντρωτικών δεδομένων και των πραγματικών δεδομένων μεταξύ των στηλών πηγής και στόχου όταν ο μετασχηματισμός είναι απλός ή απουσιάζει.
6. Δοκιμή Ακρίβειας Δεδομένων
   Διαδικασία δοκιμής: Αυτή η δοκιμή διασφαλίζει ότι τα δεδομένα φορτώνονται και μετασχηματίζονται με ακρίβεια όπως αναμένεται.
7. Δοκιμή Μετασχηματισμού Δεδομένων
   Διαδικασία δοκιμής: Ο μετασχηματισμός δεδομένων δοκιμών συχνά δεν μπορεί να επιτευχθεί με μία μόνο πηγή SQL ερώτημα και μια σύγκριση εξόδου. Ενδέχεται να χρειαστούν πολλαπλά ερωτήματα SQL για κάθε γραμμή για την επαλήθευση των κανόνων μετασχηματισμού.
8. Δοκιμή Ποιότητας Δεδομένων
   Διαδικασία δοκιμής:

   Οι δοκιμές ποιότητας δεδομένων περιλαμβάνουν δοκιμές σύνταξης και δοκιμές αναφοράς. Αποτρέπουν σφάλματα επιχειρηματικών διαδικασιών που προκαλούνται από λανθασμένες ημερομηνίες ή αριθμούς παραγγελιών.

   Οι συντακτικοί έλεγχοι αναφέρουν μη έγκυρα δεδομένα με βάση μη έγκυρους χαρακτήρες, μοτίβα χαρακτήρων και λανθασμένη σειρά κεφαλαίων ή πεζών γραμμάτων.

   Οι δοκιμές αναφοράς ελέγχουν τα δεδομένα σε σχέση με το μοντέλο δεδομένων. Για παράδειγμα: Αναγνωριστικό πελάτη.

   Ο έλεγχος ποιότητας δεδομένων περιλαμβάνει επίσης ελέγχους αριθμών, ελέγχους ημερομηνιών, ελέγχους ακρίβειας, ελέγχους δεδομένων και ελέγχους μηδενικών δεδομένων.

9. Σταδιακή δοκιμή ETL
   Διαδικασία δοκιμής: Αυτή η δοκιμή ελέγχει την ακεραιότητα των δεδομένων παλαιών και νέων δεδομένων με την προσθήκη νέων δεδομένων. Η σταδιακή δοκιμή επαληθεύει ότι οι εισαγωγές και οι ενημερώσεις υποβάλλονται σε επεξεργασία όπως αναμένεται κατά τη διάρκεια της σταδιακής διαδικασίας ETL.
10. GUI/Δοκιμή πλοήγησης
    Διαδικασία δοκιμής: Αυτή η δοκιμή ελέγχει τις πτυχές πλοήγησης και GUI των αναφορών front-end.

Πώς να δημιουργήσετε θήκη δοκιμής ETL

Η δοκιμή ETL είναι μια έννοια που μπορεί να εφαρμοστεί σε διαφορετικά εργαλεία και βάσεις δεδομένων στον κλάδο της διαχείρισης πληροφοριών. Ο στόχος των δοκιμών ETL είναι να διασφαλιστεί ότι τα δεδομένα που φορτώνονται από μια πηγή σε έναν προορισμό μετά τον μετασχηματισμό της επιχείρησης είναι ακριβή. Περιλαμβάνει επίσης την επαλήθευση δεδομένων στα διάφορα ενδιάμεσα στάδια μεταξύ πηγής και προορισμού.

Κατά την εκτέλεση δοκιμών ETL, ένας ελεγκτής ETL χρησιμοποιεί πάντα δύο έγγραφα:

1. Χάρτης ETLping φύλλα: Ένας χάρτης ETLping Το φύλλο περιέχει όλες τις πληροφορίες των πινάκων προέλευσης και προορισμού, συμπεριλαμβανομένης κάθε στήλης και της αναζήτησής της σε πίνακες αναφοράς. Οι δοκιμαστές ETL πρέπει να είναι εξοικειωμένοι με τα ερωτήματα SQL, επειδή οι δοκιμές ETL μπορεί να περιλαμβάνουν τη σύνταξη μεγάλων ερωτημάτων με πολλαπλές ενώσεις για την επικύρωση δεδομένων σε οποιοδήποτε στάδιο. Χάρτης ETLping Τα φύλλα παρέχουν σημαντική βοήθεια κατά τη σύνταξη ερωτημάτων για επαλήθευση δεδομένων.
2. Σχήμα βάσης δεδομένων πηγής και προορισμού: Θα πρέπει να το έχετε πρόχειρο για να επαληθεύετε οποιαδήποτε λεπτομέρεια στον χάρτηping φύλλα.

Σενάρια δοκιμών ETL και δοκιμαστικές περιπτώσεις

1. Χάρτηςping επικύρωση εγγράφων
   Δοκιμαστικές περιπτώσεις: Επαληθεύστε εάν οι αντίστοιχες πληροφορίες ETL παρέχονται στον χάρτηping έγγραφο. Θα πρέπει να διατηρείται ένα αρχείο καταγραφής αλλαγών σε κάθε χάρτη.ping έγγρ.
2. Επικύρωση
   Δοκιμαστικές περιπτώσεις:

   1) Επικυρώστε τη δομή του πίνακα προέλευσης και προορισμού σε σχέση με τον αντίστοιχο χάρτηping έγγρ.
   2) Ο τύπος δεδομένων πηγής και ο τύπος δεδομένων προορισμού πρέπει να είναι οι ίδιοι.
   3) Το μήκος των τύπων δεδομένων τόσο στην πηγή όσο και στον προορισμό θα πρέπει να είναι ίσο.
   4) Επαληθεύστε ότι έχουν καθοριστεί οι τύποι και οι μορφές των πεδίων δεδομένων.
   5) Το μήκος του τύπου δεδομένων πηγής δεν πρέπει να είναι μικρότερο από το μήκος του τύπου δεδομένων προορισμού.
   6) Επικυρώστε τα ονόματα των στηλών στον πίνακα σε σχέση με τον χάρτηping έγγρ.

3. Επικύρωση περιορισμών
   Δοκιμαστικές περιπτώσεις: Βεβαιωθείτε ότι οι περιορισμοί έχουν οριστεί για τον συγκεκριμένο πίνακα όπως αναμένεται.
4. Ζητήματα συνέπειας δεδομένων
   Δοκιμαστικές περιπτώσεις:

   1) Ο τύπος δεδομένων και το μήκος για ένα συγκεκριμένο χαρακτηριστικό ενδέχεται να διαφέρουν μεταξύ αρχείων ή πινάκων, ακόμη και όταν ο σημασιολογικός ορισμός είναι ο ίδιος.
   2) Κακή χρήση περιορισμών ακεραιότητας.

5. Θέματα Πληρότητας
   Δοκιμαστικές περιπτώσεις:

   1) Βεβαιωθείτε ότι όλα τα αναμενόμενα δεδομένα έχουν φορτωθεί στον πίνακα προορισμού.
   2) Συγκρίνετε τον αριθμό εγγραφών μεταξύ πηγής και προορισμού.
   3) Ελέγξτε για τυχόν απορριφθείσες εγγραφές.
   4) Ελέγξτε ότι τα δεδομένα δεν έχουν περικοπεί στις στήλες των πινάκων-στόχων.
   5) Ελέγξτε την ανάλυση οριακών τιμών.
   6) Συγκρίνετε μοναδικές τιμές βασικών πεδίων μεταξύ των δεδομένων που φορτώνονται στην αποθήκη και των δεδομένων προέλευσης.

6. Θέματα ορθότητας
   Δοκιμαστικές περιπτώσεις:

   1) Δεδομένα που έχουν γραφτεί λανθασμένα ή έχουν καταγραφεί εσφαλμένα.
   2) Μηδενικά, μη μοναδικά ή εκτός εύρους δεδομένα.

7. Μεταμόρφωση
   Δοκιμαστικές περιπτώσεις: Επικυρώστε ότι κάθε επιχειρηματικός κανόνας και λογική μετασχηματισμού στον χάρτηping Το έγγραφο εφαρμόζεται σωστά στα δεδομένα προέλευσης πριν καταλήξει στον προορισμό.
8. Ποιότητα δεδομένων
   Δοκιμαστικές περιπτώσεις:

   1) Έλεγχος αριθμών: επικύρωση αριθμητικών μορφών και τιμών.
   2) Έλεγχος ημερομηνίας: οι ημερομηνίες πρέπει να ακολουθούν μία ενιαία μορφή και να είναι συνεπείς σε όλα τα αρχεία.
   3) Έλεγχος ακριβείας.
   4) Έλεγχος δεδομένων.
   5) Μηδενικός έλεγχος.

9. Μηδενική επικύρωση
   Δοκιμαστικές περιπτώσεις: Επαληθεύστε τις τιμές null όπου έχει καθοριστεί η τιμή "Not Null" για μια συγκεκριμένη στήλη.
10. Διπλότυπος έλεγχος
    Δοκιμαστικές περιπτώσεις:

    1) Επικυρώστε το μοναδικό κλειδί, το πρωτεύον κλειδί και οποιαδήποτε άλλη στήλη που θα έπρεπε να είναι μοναδική σύμφωνα με τις επιχειρηματικές απαιτήσεις, για να επιβεβαιώσετε ότι δεν υπάρχουν διπλότυπες γραμμές.
    2) Ελέγξτε αν υπάρχουν διπλότυπες τιμές σε οποιαδήποτε στήλη, π.χ.tracσυλλέγονται από πολλαπλές στήλες προέλευσης και συνδυάζονται σε μία στήλη.
    3) Σύμφωνα με τις απαιτήσεις του πελάτη, βεβαιωθείτε ότι δεν υπάρχουν διπλότυπα σε έναν συνδυασμό πολλαπλών στηλών εντός του στόχου.

11. Ημερομηνία επικύρωσης
    Δοκιμαστικές περιπτώσεις: Οι τιμές ημερομηνίας χρησιμοποιούνται σε πολλούς τομείς ανάπτυξης ETL:

    1) Για να γνωρίζετε την ημερομηνία δημιουργίας της σειράς.
    2) Προσδιορίστε ενεργά αρχεία από την οπτική γωνία της ανάπτυξης ETL.
    3) Προσδιορίστε τα ενεργά αρχεία από την άποψη των επιχειρηματικών απαιτήσεων.
    4) Μερικές φορές, με βάση τις τιμές ημερομηνίας, δημιουργούνται ενημερώσεις και εισαγωγές.

12. Πλήρης επικύρωση δεδομένων
    Δοκιμαστικές περιπτώσεις:

    1) Επικυρώστε το πλήρες σύνολο δεδομένων στους πίνακες προέλευσης και προορισμού χρησιμοποιώντας ένα ερώτημα μείον ως την καλύτερη λύση.
    2) Πρέπει να εκτελέσετε την εντολή πηγή μείον στόχο και στόχο μείον πηγή.
    3) Εάν το ερώτημα μείον επιστρέψει οποιαδήποτε τιμή, αυτές οι γραμμές θα πρέπει να θεωρηθούν ως μη συμβατές.
    4) Αντιστοιχίστε τις γραμμές μεταξύ της πηγής και του προορισμού χρησιμοποιώντας μια εντολή intersect.
    5) Ο αριθμός που επιστρέφεται από την intersect θα πρέπει να ταιριάζει με τους μεμονωμένους αριθμούς των πινάκων προέλευσης και προορισμού.
    6) Εάν ένα ερώτημα μείον επιστρέφει γραμμές και ο αριθμός των τομών είναι μικρότερος από τον αριθμό της πηγής ή του προορισμού, υπάρχουν διπλότυπες γραμμές.

13. Καθαρότητα Δεδομένων
    Δοκιμαστικές περιπτώσεις: Οι περιττές στήλες θα πρέπει να διαγραφούν πριν από τη φόρτωση στην περιοχή σταδιοποίησης.

Τύποι σφαλμάτων ETL

Ακόμα και με ισχυρές περιπτώσεις δοκιμών, οι αγωγοί ETL μπορούν να αποτύχουν με διαφορετικούς τρόπους. Η παρακάτω εικόνα συνοψίζει τις κατηγορίες σφαλμάτων που πρέπει να προσέξετε και ο πίνακας που ακολουθεί περιγράφει την καθεμία.

Τύπος σφαλμάτων	Περιγραφή
Σφάλματα διεπαφής χρήστη/καλλυντικά σφάλματα	• Σχετίζεται με το γραφικό περιβάλλον χρήστη (GUI) της εφαρμογής • Στυλ γραμματοσειράς, μέγεθος γραμματοσειράς, χρώματα, στοίχιση, ορθογραφικά λάθη, πλοήγηση και ούτω καθεξής
Σφάλμα που σχετίζεται με την Ανάλυση οριακής τιμής (BVA).	• Ελάχιστες και μέγιστες τιμές
Σφάλμα που σχετίζεται με την κατάτμηση κλάσης ισοδυναμίας (ECP).	• Έγκυρος και μη έγκυρος τύπος
Σφάλματα εισόδου/εξόδου	• Δεν έγιναν δεκτές έγκυρες τιμές • Αποδεκτές μη έγκυρες τιμές
Σφάλματα υπολογισμού	• Μαθηματικά σφάλματα • Η τελική έξοδος είναι λανθασμένη
Σφάλματα κατάστασης φόρτωσης	• Δεν επιτρέπει πολλαπλούς χρήστες • Δεν επιτρέπει το αναμενόμενο από τον πελάτη φορτίο
Σφάλματα κατάστασης αγώνα	• Σφάλμα συστήματος και κολλήματα • Το σύστημα δεν μπορεί να εκτελέσει πλατφόρμες-πελάτες
Σφάλματα ελέγχου έκδοσης	• Δεν υπάρχει αντιστοίχιση λογότυπου • Δεν υπάρχουν διαθέσιμες πληροφορίες έκδοσης • Εμφανίζεται συνήθως σε Δοκιμή παλινδρόμησης
Σφάλματα H/W	• Η συσκευή δεν ανταποκρίνεται στην εφαρμογή
Σφάλματα πηγής βοήθειας	• Λάθη σε έγγραφα βοήθειας

Δοκιμές αποθήκης δεδομένων

Δοκιμές αποθήκης δεδομένων είναι μια μέθοδος δοκιμών κατά την οποία τα δεδομένα μέσα σε μια αποθήκη δεδομένων ελέγχονται για ακεραιότητα, αξιοπιστία, ακρίβεια και συνέπεια, ώστε να συμμορφώνονται με το πλαίσιο δεδομένων της εταιρείας. Ο κύριος σκοπός των δοκιμών αποθήκης δεδομένων είναι να διασφαλιστεί ότι τα ενσωματωμένα δεδομένα μέσα στην αποθήκη είναι αρκετά αξιόπιστα ώστε η εταιρεία να μπορεί να λαμβάνει αποφάσεις. Ενώ οι δοκιμές ETL επικεντρώνονται στην κίνηση δεδομένων, οι δοκιμές αποθήκης δεδομένων καλύπτουν το ευρύτερο επίπεδο αποθήκευσης και αναφοράς που τελικά τροφοδοτεί η ETL.

Διαφορά μεταξύ της δοκιμής βάσεων δεδομένων και της δοκιμής ETL

Παρόλο που και οι δύο κλάδοι εργάζονται με δομημένα δεδομένα, απαντούν σε διαφορετικά ερωτήματα. Ο παρακάτω πίνακας υπογραμμίζει την πρακτική αντίθεση:

Δοκιμή ETL	Δοκιμή Βάσεων Δεδομένων
Επαληθεύει εάν τα δεδομένα μετακινούνται όπως αναμένεται.	Ο πρωταρχικός στόχος είναι να ελεγχθεί εάν τα δεδομένα ακολουθούν τους κανόνες και τα πρότυπα που ορίζονται στο μοντέλο δεδομένων.
Επαληθεύει εάν οι μετρήσεις στην πηγή και τον προορισμό ταιριάζουν και ότι τα δεδομένα που μετασχηματίστηκαν είναι όπως αναμένεται.	Επαληθεύει ότι δεν υπάρχουν ορφανά αρχεία και ότι διατηρούνται οι σχέσεις ξένου-πρωτεύοντος κλειδιού.
Επαληθεύει ότι οι σχέσεις ξένου πρωτεύοντος κλειδιού διατηρούνται κατά τη διάρκεια του ETL.	Επαληθεύει ότι δεν υπάρχουν περιττοί πίνακες και ότι η βάση δεδομένων είναι βέλτιστα κανονικοποιημένη.
Επαληθεύει για διπλότυπα στα φορτωμένα δεδομένα.	Επαληθεύει εάν λείπουν δεδομένα στις στήλες όπου απαιτείται.

Δοκιμές απόδοσης στο ETL

Δοκιμές απόδοσης στο ETL είναι μια τεχνική δοκιμών που διασφαλίζει ότι ένα σύστημα ETL μπορεί να χειριστεί το φορτίο πολλαπλών χρηστών και συναλλαγών. Ο πρωταρχικός στόχος του ETL Δοκιμές Απόδοσης είναι η βελτιστοποίηση και βελτίωση της απόδοσης της συνεδρίας εντοπίζοντας και εξαλείφοντας τα σημεία συμφόρησης στην απόδοση. Οι βάσεις δεδομένων προέλευσης και προορισμού, χαρτογραφούνpingΤα s, οι συνεδρίες και το ίδιο το σύστημα μπορούν να περιέχουν σημεία συμφόρησης.

Ένα από τα καλύτερα εργαλεία που χρησιμοποιούνται για τον έλεγχο απόδοσης και τη ρύθμιση είναι το Informatica.

Ευθύνες ενός ελεγκτή ETL

Οι βασικές αρμοδιότητες ενός ελεγκτή ETL χωρίζονται σε τρεις κατηγορίες:

• Σκηνικό τραπέζι / SFS ή MFS
• Εφαρμόστηκε η λογική του επιχειρηματικού μετασχηματισμού
• Target φόρτωση πίνακα από αρχείο σταδίου ή πίνακα μετά την εφαρμογή ενός μετασχηματισμού

Μερικές από τις καθημερινές ευθύνες ενός ελεγκτή ETL είναι:

• Δοκιμή λογισμικού ETL
• Στοιχεία δοκιμής της αποθήκης δεδομένων ETL
• Εκτέλεση δοκιμών που βασίζονται σε δεδομένα backend
• Δημιουργήστε, σχεδιάστε και εκτελέστε περιπτώσεις δοκιμής, σχέδια δοκιμών και καλωδιώσεις δοκιμών
• Εντοπίστε προβλήματα και δώστε λύσεις για πιθανά προβλήματα
• Έγκριση απαιτήσεων και προδιαγραφών σχεδιασμού
• Επικύρωση μεταφορών δεδομένων και δοκιμή επίπεδων αρχείων
• Σύνταξη ερωτημάτων SQL για διάφορα σενάρια, όπως δοκιμές μέτρησης

Αυτοματοποίηση δοκιμών ETL

Η γενική μεθοδολογία των δοκιμών ETL είναι η χρήση scripting SQL ή οπτικής «εξέτασης» δεδομένων. Αυτές οι προσεγγίσεις είναι χρονοβόρες, επιρρεπείς σε σφάλματα και σπάνια παρέχουν πλήρη δεδομένα. κάλυψη δοκιμώνΓια την επιτάχυνση της εκτέλεσης, τη βελτίωση της κάλυψης, τη μείωση του κόστους και τη βελτίωση ελάττωμα ανίχνευση σε περιβάλλοντα παραγωγής και ανάπτυξης, ο αυτοματισμός είναι η ανάγκη της ώρας. Ένα τέτοιο εργαλείο είναι η Informatica.

Οι σύγχρονες ομάδες συνδυάζουν επίσης τον παραδοσιακό αυτοματισμό με βοηθούς με τη βοήθεια της τεχνητής νοημοσύνης που προτείνουν δοκιμές μετασχηματισμού, δημιουργούν συνθετικά δεδομένα πηγής και επισημαίνουν την απόκλιση σχήματος, απελευθερώνοντας τους δοκιμαστές ώστε να επικεντρωθούν σε σύνθετη επιχειρηματική λογική αντί για επαναλαμβανόμενη συντήρηση σεναρίων.

καλυτερα Practices for ETL Testing

1. Βεβαιωθείτε ότι τα δεδομένα έχουν μετατραπεί σωστά.
2. Χωρίς απώλεια ή περικοπή δεδομένων, τα προβαλλόμενα δεδομένα θα πρέπει να φορτώνονται στην αποθήκη δεδομένων.
3. Βεβαιωθείτε ότι η εφαρμογή ETL απορρίπτει κατάλληλα τα μη έγκυρα δεδομένα, τα αντικαθιστά με προεπιλεγμένες τιμές όπου είναι απαραίτητο και τα αναφέρει.
4. Επιβεβαιώστε ότι τα δεδομένα φορτώνονται στην αποθήκη εντός των προβλεπόμενων και αναμενόμενων χρονικών πλαισίων για να επικυρώσετε την επεκτασιμότητα και την απόδοση.
5. Όλες οι μέθοδοι θα πρέπει να έχουν κατάλληλες δοκιμές μονάδας ανεξάρτητα από την ορατότητα.
6. Για να μετρηθεί η αποτελεσματικότητά τους, όλες οι δοκιμές μονάδας θα πρέπει να χρησιμοποιούν κατάλληλες τεχνικές κάλυψης.
7. Προσπαθήστε να βρείτε έναν ισχυρισμό ανά περίπτωση δοκιμής.
8. δημιουργώ δοκιμές μονάδας που στοχεύουν στις εξαιρέσεις.

Ολοκλήρωση αγοράς - ETL Testing Συνέντευξη Ερωτήσεις & Απαντήσεις

Συχνές Ερωτήσεις