Αποθήκη δεδομένων Archiδομή, εξαρτήματα & διάγραμμα Concepts

Αποθήκη δεδομένων Concepts

A αποθήκη δεδομένων υπάρχει για να δώσει σε μια εταιρεία μια ενιαία εκδοχή της αλήθειας για τη λήψη αποφάσεων και την πρόβλεψη. Είναι ένα σύστημα πληροφοριών που περιέχει ιστορικά και σωρευτικά δεδομένα που προέρχονται από μία ή πολλές πηγές.

Οργανώνοντας αυτά τα δεδομένα για ανάλυση και όχι για συναλλαγές, μια αποθήκη δεδομένων απλοποιεί την εργασία αναφοράς και ανάλυσης ενός ολόκληρου οργανισμού.

Χαρακτηριστικά της Αποθήκης Δεδομένων

Μια αποθήκη δεδομένων έχει τέσσερα καθοριστικά χαρακτηριστικά που την διαφοροποιούν από μια συνηθισμένη λειτουργική βάση δεδομένων:

• Υποκειμενικό
• Ολοκληρωμένη
• Χρονική παραλλαγή
• Μη πτητικό

Υποκειμενικό

Μια αποθήκη δεδομένων είναι θεματικά προσανατολισμένη επειδή παρέχει πληροφορίες σχετικά με ένα θέμα και όχι σχετικά με τις τρέχουσες λειτουργίες μιας εταιρείας. Τυπικά θέματα περιλαμβάνουν τις πωλήσεις, το μάρκετινγκ και τη διανομή.

Αντί για καθημερινή επεξεργασία, η αποθήκη δίνει έμφαση στη μοντελοποίηση και την ανάλυση για τη λήψη αποφάσεων. Προσφέρει μια απλή, συνοπτική εικόνα κάθε θέματος και παραλείπει δεδομένα που δεν υποστηρίζουν τη διαδικασία λήψης αποφάσεων.

Ολοκληρωμένη

Η ενσωμάτωση είναι στενά συνδεδεμένη με τον προσανατολισμό στο θέμα. Σε μια αποθήκη δεδομένων, η ενσωμάτωση σημαίνει τον καθορισμό μιας κοινής μονάδας μέτρησης για όλα τα παρόμοια δεδομένα που προέρχονται από ανόμοιες βάσεις δεδομένων και την αποθήκευση αυτών των δεδομένων με έναν κοινό, παγκοσμίως αποδεκτό τρόπο.

Μια αποθήκη δεδομένων δημιουργείται ενσωματώνοντας δεδομένα από ποικίλες πηγές, όπως ένα mainframe, σχεσιακές βάσεις δεδομένων και επίπεδα αρχεία. Πρέπει επίσης να διατηρεί συνεπείς συμβάσεις ονομασίας, μορφές και κωδικοποίηση.

Αυτή η συνέπεια στην ονομασία, τα μέτρα χαρακτηριστικών και τη δομή κωδικοποίησης είναι αυτό που καθιστά δυνατή την αποτελεσματική ανάλυση. Σκεφτείτε το ακόλουθο παράδειγμα:

Στο παραπάνω παράδειγμα, τρεις εφαρμογές με την ένδειξη A, B και C αποθηκεύουν η καθεμία πληροφορίες για το Φύλο, την Ημερομηνία και το Υπόλοιπο, αλλά κάθε εφαρμογή τις αποθηκεύει με διαφορετικό τρόπο:

• Η εφαρμογή Α αποθηκεύει το πεδίο φύλου ως λογικές τιμές όπως M ή F.
• Η εφαρμογή Β αποθηκεύει το πεδίο φύλου ως αριθμητική τιμή.
• Η εφαρμογή C αποθηκεύει το πεδίο φύλου ως τιμή χαρακτήρα.
• Η ίδια παραλλαγή ισχύει και για τα πεδία Ημερομηνία και Υπόλοιπο.

Μετά τη διαδικασία μετασχηματισμού και καθαρισμού, όλα αυτά τα δεδομένα αποθηκεύονται σε μια κοινή μορφή μέσα στην αποθήκη δεδομένων.

Χρονική παραλλαγή

Ο χρονικός ορίζοντας μιας αποθήκης δεδομένων είναι πολύ ευρύτερος από αυτόν ενός λειτουργικού συστήματος. Τα δεδομένα αναγνωρίζονται με μια συγκεκριμένη περίοδο και προσφέρουν μια ιστορική οπτική γωνία, επομένως φέρουν πάντα ένα στοιχείο χρόνου, είτε ρητά είτε έμμεσα.

Ένα σημείο όπου εμφανίζεται αυτή η χρονική απόκλιση είναι στη δομή του κλειδιού εγγραφής. Κάθε πρωτεύον κλειδί στην αποθήκη θα πρέπει να φέρει ένα στοιχείο χρόνου, όπως η ημέρα, η εβδομάδα ή ο μήνας.

Μια άλλη πτυχή της χρονικής διακύμανσης είναι ότι μόλις εισαχθούν δεδομένα στην αποθήκη, δεν μπορούν να ενημερωθούν ή να τροποποιηθούν.

Μη πτητικό

Μια αποθήκη δεδομένων είναι επίσης μη πτητική, πράγμα που σημαίνει ότι τα παλαιότερα δεδομένα δεν διαγράφονται όταν έρχονται νέα δεδομένα. Τα δεδομένα είναι μόνο για ανάγνωση και ανανεώνονται περιοδικά, γεγονός που βοηθά τους αναλυτές να μελετήσουν τα ιστορικά δεδομένα και να κατανοήσουν τι συνέβη και πότε.

Επειδή δεν χρειάζεται επεξεργασία συναλλαγών, ανάκτηση ή έλεγχο ταυτόχρονης λειτουργίας, μια αποθήκη παραλείπει τις δραστηριότητες διαγραφής, ενημέρωσης και εισαγωγής που είναι κοινές σε μια λειτουργική εφαρμογή. Μόνο δύο λειτουργίες δεδομένων εκτελούνται στην αποθήκη δεδομένων:

1. Φόρτωση δεδομένων
2. Πρόσβαση δεδομένων

Ο παρακάτω πίνακας επισημαίνει ορισμένες σημαντικές διαφορές μεταξύ μιας λειτουργικής εφαρμογής και μιας αποθήκης δεδομένων:

Operaεθνική Εφαρμογή	Αποθήκη δεδομένων
Το σύνθετο πρόγραμμα πρέπει να είναι κωδικοποιημένο για να διασφαλίζεται ότι οι διαδικασίες αναβάθμισης δεδομένων διατηρούν υψηλή ακεραιότητα του τελικού προϊόντος.	Αυτό το είδος προβλήματος δεν παρουσιάζεται επειδή δεν εκτελείται ενημέρωση δεδομένων.
Τα δεδομένα τοποθετούνται σε κανονικοποιημένη μορφή για να διασφαλιστεί ο ελάχιστος πλεονασμός.	Τα δεδομένα δεν αποθηκεύονται σε κανονικοποιημένη μορφή.
Η τεχνολογία που απαιτείται για την υποστήριξη ζητημάτων συναλλαγών, ανάκτησης δεδομένων, επαναφοράς και επίλυσης αδιεξόδων είναι αρκετά περίπλοκη.	Προσφέρει σχετική απλότητα στην τεχνολογία.

Αποθήκη δεδομένων Archiδομή

Αποθήκη δεδομένων ArchiΗ δομή είναι πολύπλοκη επειδή το σύστημα αποθηκεύει ιστορικά και αθροιστικά δεδομένα από πολλαπλές πηγές. Υπάρχουν τρεις προσεγγίσεις για την κατασκευή των επιπέδων αποθήκης: μονοεπίπεδη, διεπίπεδη και τριεπίπεδη.

Μονοεπίπεδη αρχιτεκτονική στοχεύει στην ελαχιστοποίηση της ποσότητας των αποθηκευμένων δεδομένων, αφαιρώντας τον πλεονασμό. Σπάνια χρησιμοποιείται στην πράξη.

Αρχιτεκτονική δύο επιπέδων διαχωρίζει τις φυσικά διαθέσιμες πηγές από την αποθήκη δεδομένων. Δεν είναι εύκολα επεκτάσιμο, υποστηρίζει λιγότερους τελικούς χρήστες και μπορεί να αντιμετωπίσει προβλήματα συνδεσιμότητας λόγω περιορισμών δικτύου.

Αρχιτεκτονική τριών επιπέδων είναι ο πιο ευρέως χρησιμοποιούμενος σχεδιασμός αποθήκης δεδομένων.

Αποτελείται από τα ανώτερα, μεσαία και κατώτερα επίπεδα:

1. Κάτω Επίπεδο: Η βάση δεδομένων της αποθήκης χρησιμεύει ως το κατώτερο επίπεδο. Συνήθως είναι ένα σύστημα σχεσιακής βάσης δεδομένων και τα δεδομένα καθαρίζονται, μετασχηματίζονται και φορτώνονται σε αυτό το επίπεδο χρησιμοποιώντας εργαλεία back-end.
2. Μέση Επίπεδο: Το μεσαίο επίπεδο είναι ένας διακομιστής OLAP που υλοποιείται χρησιμοποιώντας είτε το μοντέλο ROLAP είτε το μοντέλο MOLAP. Παρουσιάζει ένα abstracπαρέχει μια ολοκληρωμένη προβολή της βάσης δεδομένων και λειτουργεί ως μεσολαβητής μεταξύ του τελικού χρήστη και της βάσης δεδομένων.
3. Ανώτερη Κατηγορία: Το ανώτερο επίπεδο είναι ένα επίπεδο προγράμματος-πελάτη front-end. Περιέχει τα εργαλεία και τα API που χρησιμοποιούνται για τη σύνδεση και την εξαγωγή δεδομένων από την αποθήκη, όπως εργαλεία ερωτημάτων, εργαλεία αναφοράς, εργαλεία διαχειριζόμενων ερωτημάτων, εργαλεία ανάλυσης και εργαλεία εξόρυξης δεδομένων.

Στοιχεία αποθήκης δεδομένων

Τα στοιχεία και η συνολική αρχιτεκτονική μιας αποθήκης δεδομένων συνεργάζονται όπως φαίνεται στο παρακάτω διάγραμμα.

Η αποθήκη δεδομένων βασίζεται σε έναν διακομιστή RDBMS, ένα κεντρικό αποθετήριο πληροφοριών που περιβάλλεται από βασικά στοιχεία που διατηρούν ολόκληρο το περιβάλλον λειτουργικό, διαχειρίσιμο και προσβάσιμο.

Μια αποθήκη δεδομένων έχει πέντε κύρια στοιχεία, τα οποία περιγράφονται παρακάτω.

Βάση δεδομένων αποθήκης δεδομένων

Η κεντρική βάση δεδομένων αποτελεί τη βάση του περιβάλλοντος αποθήκευσης και υλοποιείται σε RDBMS τεχνολογία. Επειδή ένα παραδοσιακό RDBMS είναι ρυθμισμένο για επεξεργασία συναλλαγών και όχι για αποθήκευση, οι λειτουργίες που απαιτούν πολλούς πόρους, όπως τα ad-hoc ερωτήματα, οι συνδέσεις πολλαπλών πινάκων και οι συναθροίσεις, μπορούν να το επιβραδύνουν.

Για αυτόν τον λόγο, χρησιμοποιούνται εναλλακτικές προσεγγίσεις βάσεων δεδομένων:

• Οι σχεσιακές βάσεις δεδομένων αναπτύσσονται παράλληλα για να επιτρέπουν την επεκτασιμότητα, χρησιμοποιώντας μοντέλα κοινόχρηστης μνήμης ή κοινόχρηστου τίποτα σε διάφορες διαμορφώσεις πολλαπλών επεξεργαστών ή μαζικά παράλληλων διαμορφώσεων.
• Νέες δομές ευρετηρίου χρησιμοποιούνται για την παράκαμψη των σαρώσεων σχεσιακών πινάκων και τη βελτίωση της ταχύτητας.
• Οι πολυδιάστατες βάσεις δεδομένων (MDDBs) χρησιμοποιούνται για την υπέρβαση των περιορισμών των μοντέλων σχεσιακής αποθήκης. Ένα παράδειγμα είναι το Essbase από το Oracle.

Εργαλεία προμήθειας, απόκτησης, καθαρισμού και μετασχηματισμού (ETL)

Τα εργαλεία προμήθειας, μετασχηματισμού και μετεγκατάστασης δεδομένων εκτελούν όλες τις μετατροπές, τις συνοψίσεις και τις αλλαγές που απαιτούνται για τη μετατροπή των δεδομένων σε ενοποιημένη μορφή αποθήκης. Ονομάζονται επίσης Extract, εργαλεία μετασχηματισμού και φόρτωσης (ETL).

Η λειτουργικότητά τους περιλαμβάνει τα εξής:

• Ανωνυμοποιήστε τα δεδομένα σύμφωνα με τις κανονιστικές διατάξεις.
• Αφαιρέστε τα ανεπιθύμητα δεδομένα από τις λειτουργικές βάσεις δεδομένων πριν από τη φόρτωσή τους στην αποθήκη.
• Αναζήτηση και αντικατάσταση κοινών ονομάτων και ορισμών για δεδομένα που προέρχονται από διαφορετικές πηγές.
• Υπολογίστε περιλήψεις και παράγωγα δεδομένα.
• Συμπληρώστε τα δεδομένα που λείπουν με προεπιλογές.
• Αποδιπλοποιήστε επαναλαμβανόμενα δεδομένα που προέρχονται από πολλαπλές πηγές.

Αυτοί Εργαλεία ETL μπορεί να δημιουργήσει εργασίες cron, εργασίες παρασκηνίου, προγράμματα Cobol και σενάρια κελύφους που ανανεώνουν τακτικά την αποθήκη και βοηθούν στη διατήρηση των μεταδεδομένων.

Επειδή αντλούν πληροφορίες από πολλά συστήματα, τα εργαλεία ETL πρέπει επίσης να αντιμετωπίζουν την ετερογένεια των βάσεων δεδομένων και των δεδομένων.

Μεταδεδομένα

Τα μεταδεδομένα μπορεί να ακούγονται προηγμένα, αλλά είναι απλώς δεδομένα σχετικά με δεδομένα που ορίζουν την αποθήκη. Χρησιμοποιούνται για τη δημιουργία, τη συντήρηση και τη διαχείριση της αποθήκης.

Μέσα στην αρχιτεκτονική, τα μεταδεδομένα καθορίζουν την πηγή, τη χρήση, τις τιμές και τα χαρακτηριστικά των δεδομένων και ορίζουν τον τρόπο με τον οποίο τα δεδομένα μπορούν να αλλάξουν και να υποστούν επεξεργασία, ώστε να παραμένουν στενά συνδεδεμένα με την αποθήκη.

Για παράδειγμα, μια γραμμή σε μια βάση δεδομένων πωλήσεων μπορεί να περιέχει:

4030 KJ732 299.90

Αυτό δεν έχει νόημα μέχρι τα μεταδεδομένα να εξηγήσουν ότι αντιπροσωπεύει έναν αριθμό μοντέλου 4030, ένα αναγνωριστικό πωλητή KJ732 και ένα συνολικό ποσό πωλήσεων 299.90 $.

Τα μεταδεδομένα αποτελούν επομένως απαραίτητο συστατικό για τη μετατροπή των δεδομένων σε γνώση και βοηθούν στην απάντηση ερωτημάτων όπως:

• Ποιους πίνακες, χαρακτηριστικά και κλειδιά περιέχει η αποθήκη;
• Από πού προήλθαν τα δεδομένα;
• Πόσες φορές επαναφορτώνονται τα δεδομένα;
• Ποιες μεταμορφώσεις και καθαρισμοί εφαρμόστηκαν;

Τα μεταδεδομένα εμπίπτουν σε δύο κατηγορίες:

1. Τεχνικά Μεταδεδομένα: Αυτό περιγράφει την αποθήκη για τους σχεδιαστές και τους διαχειριστές που την κατασκευάζουν και τη λειτουργούν.
2. Μεταδεδομένα επιχείρησης: Αυτό δίνει στους τελικούς χρήστες έναν εύκολο τρόπο να κατανοήσουν τις πληροφορίες που είναι αποθηκευμένες στην αποθήκη.

Εργαλεία ερωτήσεων

Ένας πρωταρχικός στόχος της αποθήκευσης δεδομένων είναι να παρέχει στις επιχειρήσεις τις πληροφορίες που χρειάζονται για να λαμβάνουν στρατηγικές αποφάσεις και τα εργαλεία ερωτημάτων είναι ο τρόπος με τον οποίο οι χρήστες αλληλεπιδρούν με το σύστημα.

Αυτά τα εργαλεία εμπίπτουν σε τέσσερις κατηγορίες:

1. Εργαλεία ερωτημάτων και αναφορών
2. Εργαλεία ανάπτυξης εφαρμογών
3. Εργαλεία εξόρυξης δεδομένων
4. Εργαλεία OLAP

Εργαλεία ερωτημάτων και αναφορών

Τα εργαλεία ερωτημάτων και αναφορών χωρίζονται σε δύο ομάδες: εργαλεία αναφορών και εργαλεία διαχειριζόμενων ερωτημάτων.

Εργαλεία αναφοράς χωρίζεται περαιτέρω σε εργαλεία αναφοράς παραγωγής και σε εργαλεία σύνταξης αναφορών επιτραπέζιου υπολογιστή:

1. Συγγραφείς αναφορών: Αυτά έχουν σχεδιαστεί για τελικούς χρήστες που δημιουργούν τις δικές τους αναλύσεις.
2. Αναφορά παραγωγής: Αυτά επιτρέπουν στους οργανισμούς να δημιουργούν τακτικές λειτουργικές αναφορές και να υποστηρίζουν μαζικές εργασίες μεγάλου όγκου, όπως εκτύπωση και υπολογισμό. Δημοφιλή παραδείγματα περιλαμβάνουν τα Brio, Business Objects, Oracle, PowerSoft και Ινστιτούτο SAS.

Διαχειριζόμενα εργαλεία ερωτημάτων βοηθήστε τους τελικούς χρήστες εισάγοντας ένα μετα-επίπεδο μεταξύ του χρήστη και της βάσης δεδομένων, το οποίο κρύβει την πολυπλοκότητα της SQL και της δομής της βάσης δεδομένων.

Εργαλεία ανάπτυξης εφαρμογών

Όταν τα ενσωματωμένα γραφικά και αναλυτικά εργαλεία δεν μπορούν να καλύψουν τις αναλυτικές ανάγκες ενός οργανισμού, δημιουργούνται προσαρμοσμένες αναφορές με εργαλεία ανάπτυξης εφαρμογών.

Εργαλεία εξόρυξης δεδομένων

Η εξόρυξη δεδομένων ανακαλύπτει σημαντικές νέες συσχετίσεις, μοτίβα και τάσεις μέσα σε μεγάλους όγκους δεδομένων και τα εργαλεία εξόρυξης δεδομένων αυτοματοποιούν αυτήν την ανακάλυψη.

Εργαλεία OLAP

OLAP Τα εργαλεία βασίζονται σε μια πολυδιάστατη βάση δεδομένων και επιτρέπουν στους χρήστες να αναλύουν δεδομένα μέσω περίπλοκων, πολυδιάστατων προβολών.

Δίαυλος αποθήκης δεδομένων Archiδομή

Ο δίαυλος αποθήκης δεδομένων καθορίζει τον τρόπο με τον οποίο τα δεδομένα ρέουν μέσω της αποθήκης. Αυτή η ροή μπορεί να κατηγοριοποιηθεί ως εισροή, ανοδική ροή, καθοδική ροή, εκροή και μετα-ροή.

Κατά το σχεδιασμό του διαύλου, πρέπει να λάβετε υπόψη τις κοινές διαστάσεις και τα δεδομένα που εκτείνονται στις μάρκες δεδομένων.

Data Marts

A δεδομένα mart είναι ένα επίπεδο πρόσβασης που χρησιμοποιείται για την παροχή δεδομένων στους χρήστες. Ταιριάζει σε μεγάλες αποθήκες επειδή απαιτεί λιγότερο χρόνο και χρήματα για την κατασκευή του, αν και δεν υπάρχει ένας ενιαίος συμφωνημένος ορισμός μιας αγοράς δεδομένων.

Με απλά λόγια, ένα data mart είναι θυγατρική μιας αποθήκης δεδομένων. Διαχωρίζει δεδομένα για μια συγκεκριμένη ομάδα χρηστών και μπορεί να βρίσκεται στην ίδια βάση δεδομένων με την αποθήκη ή σε μια φυσικά ξεχωριστή.

Αποθήκη δεδομένων Architecture καλυτερα Practices

Για να σχεδιάσετε μια ορθή αρχιτεκτονική αποθήκης δεδομένων, ακολουθήστε τις παρακάτω βέλτιστες πρακτικές:

• Χρησιμοποιήστε μοντέλα αποθήκης δεδομένων που είναι βελτιστοποιημένα για ανάκτηση πληροφοριών, είτε πρόκειται για διαστατικός, αποκανονικοποιημένη ή υβριδική προσέγγιση.
• Επιλέξτε μια κατάλληλη προσέγγιση σχεδιασμού, είτε από πάνω προς τα κάτω είτε από κάτω προς τα πάνω.
• Βεβαιωθείτε ότι τα δεδομένα υποβάλλονται σε επεξεργασία γρήγορα και με ακρίβεια, ενώ παράλληλα τα ενοποιείτε σε μια ενιαία εκδοχή της αλήθειας.
• Σχεδιάστε προσεκτικά τη διαδικασία συλλογής και καθαρισμού δεδομένων για την αποθήκη.
• Σχεδιάστε μια αρχιτεκτονική μεταδεδομένων που επιτρέπει την κοινή χρήση μεταδεδομένων μεταξύ των στοιχείων της αποθήκης.
• Εξετάστε ένα Operaμοντέλο αποθήκευσης δεδομένων (ODS) όταν οι ανάγκες ανάκτησης βρίσκονται κοντά στο κάτω μέρος των δεδομένων-abstracπυραμίδα tion ή όταν πρέπει να προσπελαστούν πολλαπλές λειτουργικές πηγές.
• Βεβαιωθείτε ότι το μοντέλο δεδομένων είναι ενσωματωμένο και όχι απλώς ενοποιημένο. Σε αυτήν την περίπτωση, χρησιμοποιήστε ένα μοντέλο δεδομένων 3NF, το οποίο είναι επίσης ιδανικό κατά την απόκτηση εργαλείων ETL και καθαρισμού δεδομένων.

Συχνές Ερωτήσεις