Τι είναι το Data Mart στο Data Warehouse; Τύποι & Παράδειγμα

Τι είναι το Data Mart;

A Data Mart επικεντρώνεται σε μια ενιαία λειτουργική περιοχή ενός οργανισμού και περιέχει ένα υποσύνολο δεδομένων που είναι αποθηκευμένα σε μια Αποθήκη Δεδομένων. Το Data Mart είναι μια συμπυκνωμένη έκδοση του Data Warehouse και έχει σχεδιαστεί για χρήση από ένα συγκεκριμένο τμήμα, μονάδα ή σύνολο χρηστών σε έναν οργανισμό. Π.χ., μάρκετινγκ, πωλήσεις, ανθρώπινο δυναμικό ή χρηματοδότηση. Συχνά ελέγχεται από ένα μόνο τμήμα σε έναν οργανισμό.

Το Data Mart συνήθως αντλεί δεδομένα από λίγες μόνο πηγές σε σύγκριση με μια αποθήκη δεδομένων. Τα data marts είναι μικρά σε μέγεθος και είναι πιο ευέλικτα σε σύγκριση με ένα Datawarehouse.

Γιατί χρειαζόμαστε το Data Mart;

• Το Data Mart βοηθά στη βελτίωση του χρόνου απόκρισης του χρήστη λόγω της μείωσης του όγκου των δεδομένων
• Παρέχει εύκολη πρόσβαση σε δεδομένα που ζητούνται συχνά.
• Η εφαρμογή Data mart είναι πιο απλή σε σύγκριση με την εταιρική Datawarehouse. Ταυτόχρονα, το κόστος υλοποίησης του Data Mart είναι σίγουρα χαμηλότερο σε σύγκριση με την υλοποίηση μιας πλήρους αποθήκης δεδομένων.
• Σε σύγκριση με το Data Warehouse, ένα datamart είναι ευέλικτο. Σε περίπτωση αλλαγής μοντέλου, το datamart μπορεί να κατασκευαστεί πιο γρήγορα λόγω μικρότερου μεγέθους.
• Ένα Datamart ορίζεται από έναν μόνο εμπειρογνώμονα σε θέματα. Αντίθετα, η αποθήκη δεδομένων ορίζεται από διεπιστημονικές ΜΜΕ από διάφορους τομείς. Ως εκ τούτου, το Data mart είναι πιο ανοιχτό σε αλλαγές σε σύγκριση με το Datawarehouse.
• Τα δεδομένα είναι χωρισμένα και επιτρέπουν πολύ λεπτομερή δικαιώματα ελέγχου πρόσβασης.
• Τα δεδομένα μπορούν να τμηματοποιηθούν και να αποθηκευτούν σε διαφορετικές πλατφόρμες υλικού/λογισμικού.

Τύποι Data Mart

Υπάρχουν τρεις κύριοι τύποι data mart:

1. Εξαρτώμενος: Οι εξαρτημένες μάρκες δεδομένων δημιουργούνται αντλώντας δεδομένα απευθείας από λειτουργικές, εξωτερικές ή και τις δύο πηγές.
2. Ανεξάρτητος: Το ανεξάρτητο data mart δημιουργείται χωρίς τη χρήση κεντρικής αποθήκης δεδομένων.
3. Υβριδικό: Αυτός ο τύπος μάρκετ δεδομένων μπορεί να λάβει δεδομένα από αποθήκες δεδομένων ή λειτουργικά συστήματα.

Εξαρτημένα δεδομένα Mart

Μια εξαρτημένη αγορά δεδομένων επιτρέπει την προμήθεια δεδομένων ενός οργανισμού από μια ενιαία αποθήκη δεδομένων. Είναι ένα από τα παραδείγματα μάρκετ δεδομένων που προσφέρει το πλεονέκτημα της συγκέντρωσης. Εάν πρέπει να αναπτύξετε ένα ή περισσότερα μάρκα φυσικών δεδομένων, τότε πρέπει να τα διαμορφώσετε ως εξαρτημένα μάρκες δεδομένων.

Το Dependent Data Mart στην αποθήκη δεδομένων μπορεί να κατασκευαστεί με δύο διαφορετικούς τρόπους. Είτε όπου ένας χρήστης μπορεί να έχει πρόσβαση τόσο στο data mart όσο και στην αποθήκη δεδομένων, ανάλογα με την ανάγκη, είτε όπου η πρόσβαση περιορίζεται μόνο στο data mart. Η δεύτερη προσέγγιση δεν είναι βέλτιστη, καθώς παράγει, που μερικές φορές αναφέρεται ως σκουπίδια δεδομένων. Στο χώρο αποθήκευσης δεδομένων, όλα τα δεδομένα ξεκινούν με μια κοινή πηγή, αλλά καταργούνται και ως επί το πλείστον απορρίπτονται.

Independent Data Mart

Δημιουργείται ένα ανεξάρτητο data mart χωρίς τη χρήση κεντρικής αποθήκης δεδομένων. Αυτό το είδος Data Mart είναι μια ιδανική επιλογή για μικρότερες ομάδες μέσα σε έναν οργανισμό.

Μια ανεξάρτητη αγορά δεδομένων δεν έχει σχέση ούτε με την αποθήκη δεδομένων της επιχείρησης ούτε με οποιαδήποτε άλλη αγορά δεδομένων. Στο Independent data mart, τα δεδομένα εισάγονται ξεχωριστά και οι αναλύσεις τους εκτελούνται επίσης αυτόνομα.

Η εφαρμογή ανεξάρτητων μαρκετών δεδομένων είναι αντίθετη με τα κίνητρα για την κατασκευή μιας αποθήκης δεδομένων. Πρώτα απ 'όλα, χρειάζεστε μια συνεπή, κεντρική αποθήκευση εταιρικών δεδομένων που μπορούν να αναλυθούν από πολλούς χρήστες με διαφορετικά ενδιαφέροντα που θέλουν πολύ διαφορετικές πληροφορίες.

Hybrid Data Mart

Ένα υβριδικό data mart συνδυάζει δεδομένα από πηγές εκτός από την αποθήκη δεδομένων. Αυτό θα μπορούσε να είναι χρήσιμο όταν θέλετε ad-hoc ενσωμάτωση, όπως μετά την προσθήκη μιας νέας ομάδας ή προϊόντος στον οργανισμό.

Είναι το καλύτερο παράδειγμα μάρκετ δεδομένων κατάλληλο για πολλαπλά περιβάλλοντα βάσεων δεδομένων και γρήγορη ανάκαμψη υλοποίησης για κάθε οργανισμό. Απαιτεί επίσης τη λιγότερη προσπάθεια καθαρισμού δεδομένων. Το Hybrid Data mart υποστηρίζει επίσης μεγάλες δομές αποθήκευσης και είναι το καταλληλότερο για ευέλικτες για μικρότερες εφαρμογές με επίκεντρο τα δεδομένα.

Βήματα για την εφαρμογή ενός Datamart

Η εφαρμογή ενός Data Mart είναι μια ανταποδοτική αλλά πολύπλοκη διαδικασία. Ακολουθούν τα λεπτομερή βήματα για την υλοποίηση ενός Data Mart:

Σχεδιασμός

Ο σχεδιασμός είναι η πρώτη φάση της υλοποίησης του Data Mart. Καλύπτει όλες τις εργασίες μεταξύ της έναρξης του αιτήματος για μάρκετ δεδομένων έως τη συλλογή πληροφοριών σχετικά με τις απαιτήσεις. Τέλος, δημιουργούμε το λογικό και φυσικό σχέδιο Data Mart.

Το στάδιο του σχεδιασμού περιλαμβάνει τις ακόλουθες εργασίες:

• Συγκέντρωση επιχειρηματικών και τεχνικών απαιτήσεων και αναγνώριση πηγών δεδομένων.
• Επιλέγοντας το κατάλληλο υποσύνολο δεδομένων.
• Σχεδιασμός της λογικής και φυσικής δομής του data mart.

Τα δεδομένα θα μπορούσαν να χωριστούν με βάση τα ακόλουθα κριτήρια:

• Ημερομηνία
• Επιχειρηματική ή Λειτουργική Μονάδα
• Γεωγραφία
• Οποιοσδήποτε συνδυασμός των παραπάνω

Τα δεδομένα θα μπορούσαν να κατατμηθούν σε επίπεδο εφαρμογής ή DBMS. Αν και συνιστάται η κατάτμηση σε επίπεδο εφαρμογής, καθώς επιτρέπει διαφορετικά μοντέλα δεδομένων κάθε χρόνο με την αλλαγή στο επιχειρηματικό περιβάλλον.

Ποια προϊόντα και τεχνολογίες χρειάζεστε;

Ένα απλό στυλό και χαρτί θα αρκούσε. Αν και εργαλεία που σας βοηθούν να δημιουργήσετε UML ή Διάγραμμα ER θα προσέθετε επίσης μεταδεδομένα στα λογικά και φυσικά σας σχέδια.

Κατασκευή

Αυτή είναι η δεύτερη φάση υλοποίησης. Περιλαμβάνει τη δημιουργία του φυσική βάση δεδομένων και τις λογικές δομές.

Αυτό το βήμα περιλαμβάνει τις ακόλουθες εργασίες:

• Υλοποίηση της φυσικής βάσης δεδομένων που σχεδιάστηκε στην προηγούμενη φάση. Για παράδειγμα, δημιουργούνται αντικείμενα σχήματος βάσης δεδομένων όπως πίνακας, ευρετήρια, προβολές κ.λπ.

Ποια προϊόντα και τεχνολογίες χρειάζεστε;

Χρειάζεσαι ένα σχεσιακό σύστημα διαχείρισης βάσεων δεδομένων για την κατασκευή ενός data mart. Τα RDBMS έχουν πολλά χαρακτηριστικά που απαιτούνται για την επιτυχία ενός Data Mart.

• Διαχείριση αποθήκευσης: Ένα RDBMS αποθηκεύει και διαχειρίζεται τα δεδομένα για τη δημιουργία, την προσθήκη και τη διαγραφή δεδομένων.
• Γρήγορη πρόσβαση σε δεδομένα: Με ένα ερώτημα SQL μπορείτε εύκολα να αποκτήσετε πρόσβαση σε δεδομένα βάσει συγκεκριμένων συνθηκών/φίλτρων.
• Προστασία δεδομένων: Το σύστημα RDBMS προσφέρει επίσης έναν τρόπο αποκατάστασης από βλάβες του συστήματος, όπως διακοπές ρεύματος. Επιτρέπει επίσης την επαναφορά δεδομένων από αυτά τα αντίγραφα ασφαλείας σε περίπτωση αποτυχίας του δίσκου.
• Υποστήριξη πολλών χρηστών: Το σύστημα διαχείρισης δεδομένων προσφέρει ταυτόχρονη πρόσβαση, τη δυνατότητα σε πολλούς χρήστες να έχουν πρόσβαση και να τροποποιούν δεδομένα χωρίς να παρεμβαίνουν ή να αντικαθιστούν τις αλλαγές που έγιναν από άλλο χρήστη.
• Ασφάλεια: Το σύστημα RDMS παρέχει επίσης έναν τρόπο ρύθμισης της πρόσβασης των χρηστών σε αντικείμενα και ορισμένους τύπους λειτουργιών.

Πληθυσμός

Στην τρίτη φάση, τα δεδομένα συμπληρώνονται στο data mart.

Το βήμα συμπλήρωσης περιλαμβάνει τις ακόλουθες εργασίες:

• Προέλευση δεδομένων για στόχευση δεδομένων Χαρτογράφηση
• Εξαγωγή δεδομένων πηγής
• Λειτουργίες καθαρισμού και μετατροπής στα δεδομένα
• Φόρτωση δεδομένων στο data mart
• Δημιουργία και αποθήκευση μεταδεδομένων

Ποια προϊόντα και τεχνολογίες χρειάζεστε;

Ολοκληρώνετε αυτές τις εργασίες πληθυσμού χρησιμοποιώντας ένα Εργαλείο ETL (Extract Transform Load).. Αυτό το εργαλείο σάς επιτρέπει να κοιτάξετε τις πηγές δεδομένων, να εκτελέσετε αντιστοίχιση πηγής προς στόχο, να εξαγάγετε τα δεδομένα, να τα μετατρέψετε, να τα καθαρίσετε και να τα φορτώσετε ξανά στο data mart.

Στη διαδικασία, το εργαλείο δημιουργεί επίσης ορισμένα μεταδεδομένα που σχετίζονται με πράγματα όπως από πού προήλθαν τα δεδομένα, πόσο πρόσφατα είναι, τι είδους αλλαγές έγιναν στα δεδομένα και ποιο επίπεδο σύνοψης έγινε.

Πρόσβαση

Η πρόσβαση είναι ένα τέταρτο βήμα που περιλαμβάνει τη χρήση των δεδομένων: αναζήτηση δεδομένων, δημιουργία αναφορών, γραφημάτων και δημοσίευσή τους. Ο τελικός χρήστης υποβάλλει ερωτήματα στη βάση δεδομένων και εμφανίζει τα αποτελέσματα των ερωτημάτων

Το βήμα πρόσβασης πρέπει να εκτελεί τις ακόλουθες εργασίες:

• Ρυθμίστε ένα μετα-επίπεδο που μεταφράζει δομές βάσης δεδομένων και ονόματα αντικειμένων σε επιχειρηματικούς όρους. Αυτό βοηθά τους μη τεχνικούς χρήστες να έχουν εύκολη πρόσβαση στο Data mart.
• Ρύθμιση και διατήρηση δομών βάσης δεδομένων.
• Ρυθμίστε το API και τις διεπαφές εάν απαιτείται

Ποια προϊόντα και τεχνολογίες χρειάζεστε;

Μπορείτε να αποκτήσετε πρόσβαση στο data mart χρησιμοποιώντας τη γραμμή εντολών ή το GUI. Το GUI προτιμάται καθώς μπορεί να δημιουργήσει εύκολα γραφήματα και είναι φιλικό προς το χρήστη σε σύγκριση με τη γραμμή εντολών.

Διευθύνων

Αυτό είναι το τελευταίο βήμα της διαδικασίας υλοποίησης Data Mart. Αυτό το βήμα καλύπτει εργασίες διαχείρισης όπως-

• Διαρκής διαχείριση πρόσβασης χρηστών.
• Βελτιστοποιήσεις συστήματος και μικρορύθμιση για την επίτευξη βελτιωμένης απόδοσης.
• Προσθήκη και διαχείριση φρέσκων δεδομένων στο data mart.
• Σχεδιασμός σεναρίων ανάκτησης και διασφάλιση της διαθεσιμότητας του συστήματος σε περίπτωση που το σύστημα αποτύχει.

Ποια προϊόντα και τεχνολογίες χρειάζεστε;

Θα μπορούσατε να χρησιμοποιήσετε το GUI ή τη γραμμή εντολών για τη διαχείριση δεδομένων mart.

καλυτερα πρακτικες για Implementing Data Marts

Ακολουθούν οι βέλτιστες πρακτικές που πρέπει να ακολουθήσετε κατά τη διαδικασία υλοποίησης του Data Mart:

• Η πηγή ενός Data Mart θα πρέπει να είναι δομημένη κατά τμήμα
• Ο κύκλος υλοποίησης ενός Data Mart θα πρέπει να μετράται σε σύντομες χρονικές περιόδους, δηλαδή σε εβδομάδες αντί για μήνες ή χρόνια.
• Είναι σημαντικό να εμπλέκονται όλοι οι ενδιαφερόμενοι στη φάση του σχεδιασμού και του σχεδιασμού, καθώς η υλοποίηση της τεχνολογίας δεδομένων θα μπορούσε να είναι περίπλοκη.
• Το κόστος υλικού/λογισμικού, δικτύωσης και υλοποίησης Data Mart θα πρέπει να υπολογίζεται με ακρίβεια στο σχέδιό σας
• Ακόμα κι αν το Data mart έχει δημιουργηθεί στο ίδιο υλικό, μπορεί να χρειαστεί διαφορετικό λογισμικό για να χειριστεί τα ερωτήματα των χρηστών. Θα πρέπει να αξιολογηθούν πρόσθετες απαιτήσεις επεξεργαστικής ισχύος και αποθήκευσης δίσκου για γρήγορη απόκριση του χρήστη
• Ένα data mart μπορεί να βρίσκεται σε διαφορετική τοποθεσία από την αποθήκη δεδομένων. Γι' αυτό είναι σημαντικό να διασφαλιστεί ότι έχουν αρκετή ικανότητα δικτύωσης για να χειρίζονται τους όγκους δεδομένων που απαιτούνται για τη μεταφορά δεδομένων στο data mart.
• Το κόστος υλοποίησης θα πρέπει να υπολογίζει τον χρόνο που απαιτείται για τη διαδικασία φόρτωσης του Datamart. Ο χρόνος φόρτωσης αυξάνεται με την αύξηση της πολυπλοκότητας των μετασχηματισμών.

Πλεονεκτήματα και μειονεκτήματα ενός Data Mart

Πλεονεκτήματα

• Οι μάρκες δεδομένων περιέχουν ένα υποσύνολο δεδομένων σε ολόκληρο τον οργανισμό. Αυτά τα Δεδομένα είναι πολύτιμα για μια συγκεκριμένη ομάδα ανθρώπων σε έναν οργανισμό.
• Είναι οικονομικά αποδοτικές εναλλακτικές λύσεις α αποθήκη δεδομένων, που μπορεί να απαιτήσει υψηλό κόστος για την κατασκευή.
• Το Data Mart επιτρέπει ταχύτερη πρόσβαση στα Δεδομένα.
• Το Data Mart είναι εύκολο στη χρήση καθώς έχει σχεδιαστεί ειδικά για τις ανάγκες των χρηστών του. Έτσι, ένα data mart μπορεί να επιταχύνει τις επιχειρηματικές διαδικασίες.
• Το Data Marts χρειάζεται λιγότερο χρόνο υλοποίησης σε σύγκριση με τα συστήματα Data Warehouse. Είναι πιο γρήγορο να εφαρμόσετε το Data Mart καθώς χρειάζεται μόνο να συγκεντρώσετε το μόνο υποσύνολο των δεδομένων.
• Περιέχει ιστορικά δεδομένα που επιτρέπουν στον αναλυτή να προσδιορίσει τις τάσεις των δεδομένων.

Μειονεκτήματα

• Πολλές φορές οι επιχειρήσεις δημιουργούν πάρα πολλές ανόμοιες και άσχετες μάρκες δεδομένων χωρίς μεγάλο όφελος. Μπορεί να γίνει ένα μεγάλο εμπόδιο στη διατήρηση.
• Η Data Mart δεν μπορεί να παρέχει σε όλη την εταιρεία ανάλυση δεδομένων καθώς το σύνολο δεδομένων τους είναι περιορισμένο.

Σύνοψη

• Ορισμός Data Mart : Το Data Mart ορίζεται ως ένα υποσύνολο της Αποθήκης Δεδομένων που εστιάζει σε μια ενιαία λειτουργική περιοχή ενός οργανισμού.
• Το Data Mart βοηθά στη βελτίωση του χρόνου απόκρισης του χρήστη λόγω της μείωσης του όγκου των δεδομένων.
• Τρεις τύποι data mart είναι 1) Εξαρτημένοι 2) Ανεξάρτητοι 3) Υβριδικοί
• Σημαντικά βήματα υλοποίησης του Data Mart είναι 1) Σχεδιασμός 2) Κατασκευή 3 Συμπλήρωση 4) Πρόσβαση και 5) Διαχείριση
• Ο κύκλος υλοποίησης ενός Data Mart θα πρέπει να μετράται σε σύντομες χρονικές περιόδους, δηλαδή σε εβδομάδες αντί για μήνες ή χρόνια.
• Το Data mart είναι οικονομικά αποδοτικές εναλλακτικές λύσεις σε μια αποθήκη δεδομένων, η κατασκευή της οποίας μπορεί να απαιτεί υψηλό κόστος.
• Η Data Mart δεν μπορεί να παρέχει ανάλυση δεδομένων σε ολόκληρη την εταιρεία, καθώς το σύνολο δεδομένων είναι περιορισμένο.