Αποθήκη δεδομένων Archiδομή, εξαρτήματα & διάγραμμα Concepts

Αποθήκη δεδομένων Concepts

Η βασική ιδέα μιας αποθήκης δεδομένων είναι να διευκολύνει μια ενιαία εκδοχή αλήθειας για μια εταιρεία για λήψη αποφάσεων και προβλέψεις. Η αποθήκη δεδομένων είναι ένα πληροφοριακό σύστημα που περιέχει ιστορικά και ανταλλάξιμα δεδομένα από μεμονωμένες ή πολλαπλές πηγές. Αποθήκη δεδομένων Concepts απλοποίηση της διαδικασίας αναφοράς και ανάλυσης των οργανισμών.

Χαρακτηριστικά της αποθήκης δεδομένων

Αποθήκη δεδομένων Concepts έχουν τα ακόλουθα χαρακτηριστικά:

• Υποκειμενικό
• Ολοκληρωμένη
• Χρονική παραλλαγή
• Μη πτητικό

Υποκειμενικό

Μια αποθήκη δεδομένων είναι προσανατολισμένη στο θέμα, καθώς προσφέρει πληροφορίες σχετικά με ένα θέμα αντί για τις τρέχουσες λειτουργίες των εταιρειών. Αυτά τα θέματα μπορεί να είναι οι πωλήσεις, το μάρκετινγκ, οι διανομές κ.λπ.

Μια αποθήκη δεδομένων δεν εστιάζει ποτέ στις τρέχουσες λειτουργίες. Αντίθετα, έδωσε έμφαση στη μοντελοποίηση και την ανάλυση δεδομένων για λήψης αποφάσεων. Παρέχει επίσης μια απλή και συνοπτική άποψη γύρω από το συγκεκριμένο θέμα, αποκλείοντας δεδομένα που δεν βοηθούν στην υποστήριξη της διαδικασίας λήψης αποφάσεων.

Ολοκληρωμένη

Στην αποθήκη δεδομένων, ενοποίηση σημαίνει τη δημιουργία μιας κοινής μονάδας μέτρησης για όλα τα παρόμοια δεδομένα από ανόμοια βάση δεδομένων. Τα δεδομένα πρέπει επίσης να αποθηκεύονται στο Datawarehouse με κοινό και καθολικά αποδεκτό τρόπο.

Μια αποθήκη δεδομένων αναπτύσσεται με την ενσωμάτωση δεδομένων από διάφορες πηγές, όπως ένα κεντρικό σύστημα, σχεσιακές βάσεις δεδομένων, επίπεδα αρχεία, κ.λπ. Επιπλέον, πρέπει να διατηρεί συνεπείς συμβάσεις ονομασίας, μορφή και κωδικοποίηση.

Αυτή η ενοποίηση βοηθά στην αποτελεσματική ανάλυση των δεδομένων. Πρέπει να διασφαλίζεται η συνέπεια στις συμβάσεις ονοματοδοσίας, τα μέτρα χαρακτηριστικών, η δομή κωδικοποίησης κ.λπ. Εξετάστε το ακόλουθο παράδειγμα:

Στο παραπάνω παράδειγμα, υπάρχουν τρεις διαφορετικές εφαρμογές με τις ετικέτες A, B και C. Οι πληροφορίες που αποθηκεύονται σε αυτές τις εφαρμογές είναι Φύλο, Ημερομηνία και Υπόλοιπο. Ωστόσο, τα δεδομένα κάθε εφαρμογής αποθηκεύονται με διαφορετικό τρόπο.

• Στην Εφαρμογή Ένα πεδίο φύλου αποθηκεύει λογικές τιμές όπως M ή F
• Στην εφαρμογή Β, το πεδίο φύλου είναι μια αριθμητική τιμή,
• Στην εφαρμογή C, το πεδίο φύλου αποθηκεύεται με τη μορφή τιμής χαρακτήρα.
• Το ίδιο συμβαίνει με την ημερομηνία και το υπόλοιπο

Ωστόσο, μετά τη διαδικασία μετασχηματισμού και καθαρισμού, όλα αυτά τα δεδομένα αποθηκεύονται σε κοινή μορφή στο Αποθήκη δεδομένων.

Χρονική παραλλαγή

Ο χρονικός ορίζοντας για την αποθήκη δεδομένων είναι αρκετά εκτεταμένος σε σύγκριση με τα λειτουργικά συστήματα. Τα δεδομένα που συλλέγονται σε μια αποθήκη δεδομένων αναγνωρίζονται με μια συγκεκριμένη περίοδο και προσφέρουν πληροφορίες από ιστορική άποψη. Περιέχει ένα στοιχείο του χρόνου, ρητά ή σιωπηρά.

Ένα τέτοιο μέρος όπου η χρονική διακύμανση εμφάνισης δεδομένων Datawarehouse βρίσκεται στη δομή του κλειδιού εγγραφής. Κάθε πρωτεύον κλειδί που περιέχεται στο DW θα πρέπει να έχει είτε σιωπηρά είτε ρητά ένα στοιχείο χρόνου. Όπως η ημέρα, ο μήνας της εβδομάδας κ.λπ.

Μια άλλη πτυχή της χρονικής διακύμανσης είναι ότι μόλις εισαχθούν δεδομένα στην αποθήκη, δεν μπορούν να ενημερωθούν ή να αλλάξουν.

Μη πτητικό

Η αποθήκη δεδομένων είναι επίσης μη πτητική, σημαίνει ότι τα προηγούμενα δεδομένα δεν διαγράφονται όταν εισάγονται νέα δεδομένα σε αυτήν.

Τα δεδομένα είναι μόνο για ανάγνωση και ανανεώνονται περιοδικά. Αυτό βοηθά επίσης στην ανάλυση ιστορικών δεδομένων και στην κατανόηση του τι και πότε συνέβη. Δεν απαιτεί μηχανισμούς διαδικασίας συναλλαγής, ανάκτησης και ελέγχου συγχρονισμού.

Δραστηριότητες όπως η διαγραφή, η ενημέρωση και η εισαγωγή που εκτελούνται σε περιβάλλον λειτουργικής εφαρμογής παραλείπονται στο περιβάλλον αποθήκης δεδομένων. Μόνο δύο τύποι λειτουργιών δεδομένων εκτελούνται στην Αποθήκευση δεδομένων

1. Φόρτωση δεδομένων
2. Πρόσβαση δεδομένων

Ακολουθούν ορισμένες σημαντικές διαφορές μεταξύ Εφαρμογής και Αποθήκης Δεδομένων

Operaεθνική Εφαρμογή	Αποθήκη δεδομένων
Το σύνθετο πρόγραμμα πρέπει να είναι κωδικοποιημένο για να διασφαλίζεται ότι οι διαδικασίες αναβάθμισης δεδομένων διατηρούν υψηλή ακεραιότητα του τελικού προϊόντος.	Αυτό το είδος ζητημάτων δεν παρουσιάζονται επειδή δεν εκτελείται ενημέρωση δεδομένων.
Τα δεδομένα τοποθετούνται σε κανονικοποιημένη μορφή για να διασφαλιστεί ο ελάχιστος πλεονασμός.	Τα δεδομένα δεν αποθηκεύονται σε κανονικοποιημένη μορφή.
Η τεχνολογία που απαιτείται για την υποστήριξη ζητημάτων συναλλαγών, ανάκτησης δεδομένων, επαναφοράς και επίλυσης καθώς το αδιέξοδο είναι αρκετά περίπλοκο.	Προσφέρει σχετική απλότητα στην τεχνολογία.

Αποθήκη δεδομένων Archiδομή

Αποθήκη δεδομένων Archiδομή είναι πολύπλοκο καθώς είναι ένα πληροφοριακό σύστημα που περιέχει ιστορικά και ανταλλάξιμα δεδομένα από πολλαπλές πηγές. Υπάρχουν 3 προσεγγίσεις για την κατασκευή επιπέδων αποθήκης δεδομένων: Single Tier, Two Tier και Three tier. Αυτή η αρχιτεκτονική 3 επιπέδων της Αποθήκης Δεδομένων εξηγείται όπως παρακάτω.

Μονοεπίπεδη αρχιτεκτονική

Ο στόχος ενός μόνο στρώματος είναι να ελαχιστοποιήσει την ποσότητα των δεδομένων που αποθηκεύονται. Αυτός ο στόχος είναι να αφαιρεθεί ο πλεονασμός δεδομένων. Αυτή η αρχιτεκτονική δεν χρησιμοποιείται συχνά στην πράξη.

Αρχιτεκτονική δύο επιπέδων

Η αρχιτεκτονική δύο επιπέδων είναι ένα από τα επίπεδα της αποθήκης δεδομένων που διαχωρίζει τις φυσικά διαθέσιμες πηγές και την αποθήκη δεδομένων. Αυτή η αρχιτεκτονική δεν είναι επεκτάσιμη και επίσης δεν υποστηρίζει μεγάλο αριθμό τελικών χρηστών. Έχει επίσης προβλήματα συνδεσιμότητας λόγω περιορισμών δικτύου.

Αποθήκη δεδομένων τριών επιπέδων Archiδομή

Αυτό είναι το πιο ευρέως χρησιμοποιούμενο Archiδομή της αποθήκης δεδομένων.

Αποτελείται από το επάνω, το μεσαίο και το κάτω επίπεδο.

1. Κάτω Επίπεδο: Η βάση δεδομένων των διακομιστών Datawarehouse ως κατώτερο επίπεδο. Συνήθως είναι ένα σύστημα σχεσιακής βάσης δεδομένων. Τα δεδομένα καθαρίζονται, μετασχηματίζονται και φορτώνονται σε αυτό το επίπεδο χρησιμοποιώντας εργαλεία back-end.
2. Μέση Επίπεδο: Το μεσαίο επίπεδο στην αποθήκη δεδομένων είναι ένας διακομιστής OLAP που υλοποιείται χρησιμοποιώντας είτε το μοντέλο ROLAP είτε το MOLAP. Για έναν χρήστη, αυτό το επίπεδο εφαρμογής παρουσιάζει μια αφηρημένη άποψη της βάσης δεδομένων. Αυτό το επίπεδο λειτουργεί επίσης ως μεσολαβητής μεταξύ του τελικού χρήστη και της βάσης δεδομένων.
3. Κορυφαία βαθμίδα: Το ανώτερο επίπεδο είναι ένα επίπεδο πελάτη front-end. Το κορυφαίο επίπεδο είναι τα εργαλεία και το API που συνδέετε και λαμβάνετε δεδομένα από την αποθήκη δεδομένων. Θα μπορούσε να είναι εργαλεία ερωτημάτων, εργαλεία αναφοράς, εργαλεία διαχείρισης ερωτημάτων, εργαλεία ανάλυσης και εργαλεία εξόρυξης δεδομένων.

Στοιχεία αποθήκης δεδομένων

Θα μάθουμε για τα στοιχεία του Datawarehouse και Archiδομή της αποθήκης δεδομένων με διάγραμμα όπως φαίνεται παρακάτω:

Το Data Warehouse βασίζεται σε έναν διακομιστή RDBMS, ο οποίος είναι ένα κεντρικό αποθετήριο πληροφοριών που περιβάλλεται από ορισμένα βασικά στοιχεία αποθήκευσης δεδομένων για να κάνει ολόκληρο το περιβάλλον λειτουργικό, διαχειρίσιμο και προσβάσιμο.

Υπάρχουν κυρίως πέντε στοιχεία αποθήκης δεδομένων:

Βάση δεδομένων αποθήκης δεδομένων

Η κεντρική βάση δεδομένων είναι το θεμέλιο του περιβάλλοντος αποθήκευσης δεδομένων. Αυτή η βάση δεδομένων υλοποιείται στο RDBMS τεχνολογία. Παρόλο που αυτό το είδος υλοποίησης περιορίζεται από το γεγονός ότι το παραδοσιακό σύστημα RDBMS είναι βελτιστοποιημένο για επεξεργασία βάσης δεδομένων συναλλαγών και όχι για αποθήκευση δεδομένων. Για παράδειγμα, το ad-hoc ερώτημα, οι ενώσεις πολλών πινάκων, τα συγκεντρωτικά στοιχεία απαιτούν πόρους και επιβραδύνουν την απόδοση.

Ως εκ τούτου, χρησιμοποιούνται εναλλακτικές προσεγγίσεις στη βάση δεδομένων όπως αναφέρονται παρακάτω-

• Σε μια αποθήκη δεδομένων, οι σχεσιακές βάσεις δεδομένων αναπτύσσονται παράλληλα για να επιτρέψουν την επεκτασιμότητα. Οι παράλληλες σχεσιακές βάσεις δεδομένων επιτρέπουν επίσης το μοντέλο κοινής μνήμης ή κοινόχρηστου τίποτα σε διάφορες διαμορφώσεις πολλαπλών επεξεργαστών ή μαζικά παράλληλους επεξεργαστές.
• Οι νέες δομές ευρετηρίου χρησιμοποιούνται για την παράκαμψη της σάρωσης σχεσιακών πινάκων και τη βελτίωση της ταχύτητας.
• Χρήση πολυδιάστατης βάσης δεδομένων (MDDB) για την υπέρβαση τυχόν περιορισμών που τίθενται λόγω των σχεσιακών μοντέλων αποθήκης δεδομένων. Παράδειγμα: Essbase από Oracle.

Εργαλεία προμήθειας, απόκτησης, καθαρισμού και μετασχηματισμού (ETL)

Τα εργαλεία προέλευσης δεδομένων, μετασχηματισμού και μετεγκατάστασης χρησιμοποιούνται για την εκτέλεση όλων των μετατροπών, των συνοψίσεων και όλων των αλλαγών που απαιτούνται για τη μετατροπή των δεδομένων σε ενοποιημένη μορφή στην αποθήκη δεδομένων. Ονομάζονται επίσης εργαλεία εξαγωγής, μετασχηματισμού και φόρτωσης (ETL).

Η λειτουργικότητά τους περιλαμβάνει:

• Ανωνυμοποιήστε τα δεδομένα σύμφωνα με τις κανονιστικές διατάξεις.
• Εξάλειψη ανεπιθύμητων δεδομένων σε λειτουργικές βάσεις δεδομένων από τη φόρτωση στην αποθήκη δεδομένων.
• Αναζήτηση και αντικατάσταση κοινών ονομάτων και ορισμών για δεδομένα που προέρχονται από διαφορετικές πηγές.
• Υπολογισμός περιλήψεων και παραγόμενων δεδομένων
• Σε περίπτωση που λείπουν δεδομένα, συμπληρώστε τα με προεπιλογές.
• Καταργήθηκαν τα διπλά επαναλαμβανόμενα δεδομένα που προέρχονται από πολλαπλές πηγές δεδομένων.

Αυτά τα εργαλεία εξαγωγής, μετασχηματισμού και φόρτωσης ενδέχεται να δημιουργήσουν εργασίες cron, εργασίες παρασκηνίου, Προγράμματα Cobol, σενάρια κελύφους κ.λπ. που ενημερώνουν τακτικά δεδομένα στην αποθήκη δεδομένων. Αυτά τα εργαλεία είναι επίσης χρήσιμα για τη διατήρηση των Μεταδεδομένων.

Αυτοί Εργαλεία ETL πρέπει να αντιμετωπίσουν τις προκλήσεις της ετερογένειας βάσεων δεδομένων και δεδομένων.

Μεταδεδομένα

Το όνομα Meta Data υποδηλώνει κάποια υψηλού επιπέδου τεχνολογική αποθήκευση δεδομένων Concepts. Ωστόσο, είναι αρκετά απλό. Τα μεταδεδομένα είναι δεδομένα σχετικά με δεδομένα που καθορίζουν την αποθήκη δεδομένων. Χρησιμοποιείται για την κατασκευή, τη συντήρηση και τη διαχείριση της αποθήκης δεδομένων.

Στην Αποθήκη Δεδομένων Architecture, τα μεταδεδομένα διαδραματίζουν σημαντικό ρόλο καθώς καθορίζουν την πηγή, τη χρήση, τις τιμές και τα χαρακτηριστικά των δεδομένων της αποθήκης δεδομένων. Καθορίζει επίσης τον τρόπο αλλαγής και επεξεργασίας των δεδομένων. Είναι στενά συνδεδεμένο με την αποθήκη δεδομένων.

Για παράδειγμα, μια γραμμή στη βάση δεδομένων πωλήσεων μπορεί να περιέχει:

4030 KJ732 299.90

Αυτά είναι δεδομένα χωρίς νόημα μέχρι να συμβουλευτούμε το Meta που μας λέει ότι ήταν

• Αριθμός μοντέλου: 4030
• Αναγνωριστικό αντιπροσώπου πωλήσεων: KJ732
• Συνολικό ποσό πωλήσεων 299.90 $

Επομένως, τα Meta Data είναι απαραίτητα συστατικά για τη μετατροπή των δεδομένων σε γνώση.

Τα μεταδεδομένα βοηθούν στην απάντηση στις ακόλουθες ερωτήσεις

• Ποιους πίνακες, χαρακτηριστικά και κλειδιά περιέχει η αποθήκη δεδομένων;
• Από πού προήλθαν τα δεδομένα;
• Πόσες φορές επαναφορτώνονται τα δεδομένα;
• Ποιες μεταμορφώσεις εφαρμόστηκαν με τον καθαρισμό;

Τα μεταδεδομένα μπορούν να ταξινομηθούν στις ακόλουθες κατηγορίες:

1. Τεχνικά Μεταδεδομένα: Αυτό το είδος Μεταδεδομένων περιέχει πληροφορίες σχετικά με την αποθήκη που χρησιμοποιούνται από σχεδιαστές και διαχειριστές αποθήκης δεδομένων.
2. Business Meta Data: Αυτού του είδους τα Μεταδεδομένα περιέχουν λεπτομέρειες που παρέχουν στους τελικούς χρήστες μια εύκολη κατανόηση των πληροφοριών που είναι αποθηκευμένες στην αποθήκη δεδομένων.

Εργαλεία ερωτήσεων

Ένα από τα κύρια αντικείμενα της αποθήκευσης δεδομένων είναι η παροχή πληροφοριών στις επιχειρήσεις για τη λήψη στρατηγικών αποφάσεων. Τα εργαλεία ερωτημάτων επιτρέπουν στους χρήστες να αλληλεπιδρούν με το σύστημα αποθήκης δεδομένων.

Αυτά τα εργαλεία χωρίζονται σε τέσσερις διαφορετικές κατηγορίες:

1. Εργαλεία ερωτημάτων και αναφορών
2. Εργαλεία ανάπτυξης εφαρμογών
3. Εργαλεία εξόρυξης δεδομένων
4. Εργαλεία OLAP

1. Εργαλεία ερωτημάτων και αναφοράς

Τα εργαλεία ερωτημάτων και αναφορών μπορούν να χωριστούν περαιτέρω σε

• Εργαλεία αναφοράς
• Διαχειριζόμενα εργαλεία ερωτημάτων

Εργαλεία αναφοράς:

Εργαλεία αναφοράς μπορεί περαιτέρω να χωριστεί σε εργαλεία αναφοράς παραγωγής και σε επιτραπέζιο συντάκτη αναφορών.

1. Συγγραφείς αναφορών: Αυτό το είδος εργαλείου αναφοράς είναι εργαλεία σχεδιασμένα για τους τελικούς χρήστες για την ανάλυσή τους.
2. Αναφορές παραγωγής: Αυτό το είδος εργαλείων επιτρέπει στους οργανισμούς να δημιουργούν τακτικές επιχειρησιακές αναφορές. Υποστηρίζει επίσης εργασίες δέσμης μεγάλου όγκου όπως εκτύπωση και υπολογισμός. Μερικά δημοφιλή εργαλεία αναφοράς είναι τα Brio, Business Objects, Oracle, PowerSoft, Ινστιτούτο SAS.

Εργαλεία διαχειριζόμενων ερωτημάτων:

Αυτό το είδος εργαλείων πρόσβασης βοηθά τους τελικούς χρήστες να επιλύσουν προβλήματα στη βάση δεδομένων και στη δομή της SQL και της βάσης δεδομένων, εισάγοντας μετα-επίπεδο μεταξύ των χρηστών και της βάσης δεδομένων.

2. Εργαλεία ανάπτυξης εφαρμογών

Μερικές φορές τα ενσωματωμένα γραφικά και αναλυτικά εργαλεία δεν ικανοποιούν τις αναλυτικές ανάγκες ενός οργανισμού. Σε τέτοιες περιπτώσεις, οι προσαρμοσμένες αναφορές αναπτύσσονται χρησιμοποιώντας εργαλεία ανάπτυξης εφαρμογών.

3. Εργαλεία εξόρυξης δεδομένων

Η εξόρυξη δεδομένων είναι μια διαδικασία ανακάλυψης σημαντικών νέων συσχετισμών, ευρεσιτεχνιών και τάσεων με την εξόρυξη μεγάλου όγκου δεδομένων. Εργαλεία εξόρυξης δεδομένων χρησιμοποιούνται για να γίνει αυτόματη αυτή η διαδικασία.

4. Εργαλεία OLAP

Αυτά τα εργαλεία βασίζονται σε έννοιες μιας πολυδιάστατης βάσης δεδομένων. Επιτρέπει στους χρήστες να αναλύουν τα δεδομένα χρησιμοποιώντας περίπλοκες και πολύπλοκες πολυδιάστατες προβολές.

Λεωφορείο αποθήκης δεδομένων Archiδομή

Το Δίαυλος αποθήκης δεδομένων καθορίζει τη ροή δεδομένων στην αποθήκη σας. Η ροή δεδομένων σε μια αποθήκη δεδομένων μπορεί να κατηγοριοποιηθεί ως Εισροή, Ανοδική ροή, Καθοδική ροή, Εκροή και Μεταροή.

Κατά τη σχεδίαση ενός διαύλου δεδομένων, πρέπει κανείς να λάβει υπόψη του τις κοινές διαστάσεις, τα γεγονότα σε όλες τις μάρκες δεδομένων.

Data Marts

A δεδομένα mart είναι ένα επίπεδο πρόσβασης που χρησιμοποιείται για τη μετάδοση δεδομένων στους χρήστες. Παρουσιάζεται ως επιλογή για αποθήκη δεδομένων μεγάλου μεγέθους καθώς απαιτεί λιγότερο χρόνο και χρήμα για την κατασκευή. Ωστόσο, δεν υπάρχει τυποποιημένος ορισμός ότι ένα data mart διαφέρει από άτομο σε άτομο.

Με μια απλή λέξη, η Data mart είναι θυγατρική μιας αποθήκης δεδομένων. Το data mart χρησιμοποιείται για την κατάτμηση δεδομένων που δημιουργείται για τη συγκεκριμένη ομάδα χρηστών.

Οι μάρκες δεδομένων θα μπορούσαν να δημιουργηθούν στην ίδια βάση δεδομένων με το Datawarehouse ή σε μια φυσικά ξεχωριστή βάση δεδομένων.

Αποθήκη δεδομένων Architecture καλυτερα Practices

Σχεδιασμός Data Warehouse Architecture, πρέπει να ακολουθήσετε τις παρακάτω βέλτιστες πρακτικές:

• Χρησιμοποιήστε μοντέλα αποθήκης δεδομένων που είναι βελτιστοποιημένα για ανάκτηση πληροφοριών, η οποία μπορεί να είναι η προσέγγιση διαστάσεων, η αποκανονική ή η υβριδική προσέγγιση.
• Επιλέξτε την κατάλληλη προσέγγιση σχεδίασης ως προσέγγιση από πάνω προς τα κάτω και από κάτω προς τα πάνω στο Data Warehouse
• Πρέπει να διασφαλιστεί ότι τα Δεδομένα επεξεργάζονται γρήγορα και με ακρίβεια. Ταυτόχρονα, θα πρέπει να ακολουθήσετε μια προσέγγιση που ενοποιεί τα δεδομένα σε μια ενιαία εκδοχή της αλήθειας.
• Σχεδιάστε προσεκτικά τη διαδικασία απόκτησης και καθαρισμού δεδομένων για την αποθήκη δεδομένων.
• Σχεδιάστε μια αρχιτεκτονική MetaData που επιτρέπει την κοινή χρήση μεταδεδομένων μεταξύ των στοιχείων της Αποθήκης Δεδομένων
• Εξετάστε το ενδεχόμενο εφαρμογής ενός μοντέλου ODS όταν η ανάγκη ανάκτησης πληροφοριών βρίσκεται κοντά στο κάτω μέρος της πυραμίδας αφαίρεσης δεδομένων ή όταν απαιτούνται πολλαπλές λειτουργικές πηγές για πρόσβαση.
• Θα πρέπει να βεβαιωθείτε ότι το μοντέλο δεδομένων είναι ενοποιημένο και όχι απλώς ενοποιημένο. Σε αυτήν την περίπτωση, θα πρέπει να εξετάσετε το μοντέλο δεδομένων 3NF. Είναι επίσης ιδανικό για την απόκτηση εργαλείων ETL και Data cleansing

Περίληψη

• Η αποθήκη δεδομένων είναι ένα πληροφοριακό σύστημα που περιέχει ιστορικά και ανταλλάξιμα δεδομένα από μεμονωμένες ή πολλαπλές πηγές. Αυτές οι πηγές μπορεί να είναι η παραδοσιακή αποθήκη δεδομένων, η αποθήκη δεδομένων cloud ή η εικονική αποθήκη δεδομένων.
• Μια αποθήκη δεδομένων είναι προσανατολισμένη στο θέμα, καθώς προσφέρει πληροφορίες σχετικά με το θέμα αντί για τις τρέχουσες λειτουργίες του οργανισμού.
• Στο Data Warehouse, ενοποίηση σημαίνει τη δημιουργία μιας κοινής μονάδας μέτρησης για όλα τα παρόμοια δεδομένα από τις διαφορετικές βάσεις δεδομένων
• Η αποθήκη δεδομένων είναι επίσης μη πτητική, σημαίνει ότι τα προηγούμενα δεδομένα δεν διαγράφονται όταν εισάγονται νέα δεδομένα σε αυτήν.
• Ένα Datawarehouse είναι χρονική παραλλαγή καθώς τα δεδομένα σε ένα DW έχουν υψηλή διάρκεια ζωής.
• Υπάρχουν κυρίως 5 στοιχεία της Αποθήκης Δεδομένων Architecture: 1) Βάση δεδομένων 2) ETL Tools 3) Meta Data 4) Query Tools 5) DataMarts
• Αυτές είναι τέσσερις κύριες κατηγορίες εργαλείων ερωτημάτων 1. Ερώτηση και αναφορά, εργαλεία 2. Εργαλεία ανάπτυξης εφαρμογών, 3. εργαλεία εξόρυξης δεδομένων 4. Εργαλεία OLAP
• Τα εργαλεία προέλευσης δεδομένων, μετασχηματισμού και μετεγκατάστασης χρησιμοποιούνται για την εκτέλεση όλων των μετατροπών και των συνοψίσεων.
• Στην Αποθήκη Δεδομένων Architecture, τα μεταδεδομένα διαδραματίζουν σημαντικό ρόλο καθώς καθορίζουν την πηγή, τη χρήση, τις τιμές και τα χαρακτηριστικά των δεδομένων της αποθήκης δεδομένων.