Ce este Data Mart în Data Warehouse? Tipuri și exemple
David Carter
Ce este Data Mart?
A Data Mart se concentrează pe o singură zonă funcțională a unei organizații și conține un subset de date stocate într-un depozit de date. Un Data Mart este o versiune condensată a Data Warehouse și este proiectat pentru utilizare de către un anumit departament, unitate sau set de utilizatori dintr-o organizație. De exemplu, marketing, vânzări, resurse umane sau finanțe. Este adesea controlat de un singur departament dintr-o organizație.
Data Mart extrage de obicei date doar din câteva surse în comparație cu un depozit de date. Magazinele de date sunt de dimensiuni mici și sunt mai flexibile în comparație cu un Datawarehouse.
De ce avem nevoie de Data Mart?
- Data Mart ajută la îmbunătățirea timpului de răspuns al utilizatorului datorită reducerii volumului de date
- Oferă acces facil la datele solicitate frecvent.
- Data mart-ul este mai simplu de implementat în comparație cu Datawarehouse corporativ. În același timp, costul implementării Data Mart este cu siguranță mai mic în comparație cu implementarea unui depozit de date complet.
- În comparație cu Data Warehouse, un datamart este agil. În cazul schimbării modelului, datamart poate fi construit mai rapid datorită dimensiunii mai mici.
- Un Datamart este definit de un singur expert în materie. Dimpotrivă, depozitul de date este definit de IMM-uri interdisciplinare dintr-o varietate de domenii. Prin urmare, Data mart este mai deschisă la schimbare în comparație cu Datawarehouse.
- Datele sunt partiționate și permit privilegii foarte granulare de control al accesului.
- Datele pot fi segmentate și stocate pe diferite platforme hardware/software.
Tipuri de Data Mart
Există trei tipuri principale de data mart:
- Dependent: Martele de date dependente sunt create prin extragerea datelor direct din surse operaționale, externe sau ambele.
- Independent: Data mart independentă este creată fără utilizarea unui depozit de date central.
- Hibrid: Acest tip de magazine de date pot prelua date din depozite de date sau sisteme operaționale.
Dependent Data Mart
Un data mart dependent permite aprovizionarea datelor organizației dintr-un singur Data Warehouse. Este unul dintre exemplele de data mart care oferă avantajul centralizării. Dacă trebuie să dezvoltați unul sau mai multe magazine de date fizice, atunci trebuie să le configurați ca magazine de date dependente.
Dependent Data Mart în depozitul de date poate fi construit în două moduri diferite. Fie acolo unde un utilizator poate accesa atât data mart, cât și data warehouse, în funcție de nevoie, fie unde accesul este limitat doar la data mart. A doua abordare nu este optimă, deoarece produce uneori denumit un depozit de date. În depozitul de date vechi, toate datele încep cu o sursă comună, dar sunt casate și în mare parte junked.
Independent Data Mart
Un data mart independent este creat fără utilizarea depozitului central de date. Acest tip de Data Mart este o opțiune ideală pentru grupuri mai mici din cadrul unei organizații.
Un data mart independent nu are nici o relație cu depozitul de date al întreprinderii și nici cu niciun alt data mart. În Independent data mart, datele sunt introduse separat, iar analizele lor sunt, de asemenea, efectuate în mod autonom.
Implementarea unor magazine independente de date este antitetică cu motivația pentru construirea unui depozit de date. În primul rând, aveți nevoie de un depozit coerent, centralizat de date ale întreprinderii, care poate fi analizat de mai mulți utilizatori cu interese diferite care doresc informații foarte variate.
Hybrid Data Mart
Un data mart hibrid combină intrările din surse, în afară de depozitul de date. Acest lucru ar putea fi util atunci când doriți o integrare ad-hoc, cum ar fi după ce un grup sau un produs nou este adăugat la organizație.
Este cel mai bun exemplu de data mart potrivit pentru mai multe medii de baze de date și pentru o implementare rapidă pentru orice organizație. De asemenea, necesită cel mai mic efort de curățare a datelor. Hybrid Data mart acceptă, de asemenea, structuri mari de stocare și este cel mai potrivit pentru flexibilitate pentru aplicații mai mici centrate pe date.
Pași în implementarea unui Datamart
Implementarea unui Data Mart este o procedură plină de satisfacții, dar complexă. Iată pașii detaliați pentru implementarea unui Data Mart:
Proiectare
Proiectarea este prima fază a implementării Data Mart. Acesta acoperă toate sarcinile de la inițierea cererii pentru un data mart până la colectarea de informații despre cerințe. În cele din urmă, creăm designul logic și fizic Data Mart.
Etapa de proiectare implică următoarele sarcini:
- Colectarea cerințelor de afaceri și tehnice și identificarea surselor de date.
- Selectarea subsetului adecvat de date.
- Proiectarea structurii logice și fizice a data mart-ului.
Datele pot fi împărțite în funcție de următoarele criterii:
- Data
- Unitatea de afaceri sau funcțională
- Geografie
- Orice combinație de mai sus
Datele pot fi partiționate la nivel de aplicație sau DBMS. Deși este recomandată partiția la nivel de aplicație, deoarece permite modele de date diferite în fiecare an, odată cu schimbarea mediului de afaceri.
De ce produse și tehnologii aveți nevoie?
Un simplu stilou și hârtie ar fi suficiente. Deși instrumente care vă ajută să creați UML sau Diagrama ER ar adăuga, de asemenea, metadate în design-ul dvs. logic și fizic.
Construind
Aceasta este a doua fază de implementare. Implica crearea baza de date fizică și structurile logice.
Acest pas implică următoarele sarcini:
- Implementarea bazei de date fizice concepute în faza anterioară. De exemplu, sunt create obiecte de schemă a bazei de date, cum ar fi tabel, indexuri, vederi etc.
De ce produse și tehnologii aveți nevoie?
Ai nevoie de sistem de management al bazelor de date relaționale pentru a construi un data mart. RDBMS are mai multe caracteristici care sunt necesare pentru succesul unui Data Mart.
- Gestionarea stocării: Un RDBMS stochează și gestionează datele pentru a crea, adăuga și șterge date.
- Acces rapid la date: Cu o interogare SQL puteți accesa cu ușurință datele în funcție de anumite condiții/filtre.
- Protejarea datelor: Sistemul RDBMS oferă, de asemenea, o modalitate de a vă recupera după defecțiuni ale sistemului, cum ar fi întreruperile de alimentare. De asemenea, permite restaurarea datelor din aceste copii de rezervă în cazul în care discul eșuează.
- Suport multiutilizator: Sistemul de gestionare a datelor oferă acces concurent, posibilitatea ca mai mulți utilizatori să acceseze și să modifice datele fără a interfera sau a suprascrie modificările făcute de un alt utilizator.
- De securitate: Sistemul RDMS oferă, de asemenea, o modalitate de a regla accesul utilizatorilor la obiecte și anumite tipuri de operațiuni.
Populare
În a treia fază, datele sunt populate în data mart.
Etapa de populare implică următoarele sarcini:
- Maparea datelor sursă la datele țintă
- Extragerea datelor sursă
- Operatii de curatare si transformare a datelor
- Încărcarea datelor în data mart
- Crearea și stocarea metadatelor
De ce produse și tehnologii aveți nevoie?
Îndeplinești aceste sarcini de populație folosind un Instrumentul ETL (Extract Transform Load).. Acest instrument vă permite să priviți sursele de date, să efectuați maparea sursă-la-țintă, să extrageți datele, să le transformați, să le curățați și să le încărcați înapoi în data mart.
În acest proces, instrumentul creează, de asemenea, câteva metadate referitoare la lucruri precum de unde provin datele, cât de recente sunt, ce tip de modificări au fost aduse datelor și ce nivel de rezumare a fost făcut.
accesarea
Accesarea este un al patrulea pas care implică folosirea datelor: interogarea datelor, crearea de rapoarte, diagrame și publicarea acestora. Utilizatorul final trimite interogări la baza de date și afișează rezultatele interogărilor
Pasul de accesare trebuie să îndeplinească următoarele sarcini:
- Configurați un meta layer care traduce structurile bazei de date și numele obiectelor în termeni de afaceri. Acest lucru ajută utilizatorii non-tehnici să acceseze cu ușurință Data mart.
- Configurați și mențineți structurile bazei de date.
- Configurați API și interfețe, dacă este necesar
De ce produse și tehnologii aveți nevoie?
Puteți accesa data mart folosind linia de comandă sau GUI. GUI este preferată deoarece poate genera cu ușurință grafice și este ușor de utilizat în comparație cu linia de comandă.
De conducere
Acesta este ultimul pas al procesului de implementare a Data Mart. Acest pas acoperă sarcini de management, cum ar fi-
- Gestionare continuă a accesului utilizatorilor.
- Optimizări și reglaje ale sistemului pentru a obține performanțe îmbunătățite.
- Adăugarea și gestionarea datelor noi în data mart.
- Planificarea scenariilor de recuperare și asigurarea disponibilității sistemului în cazul în care sistemul eșuează.
De ce produse și tehnologii aveți nevoie?
Puteți utiliza interfața grafică sau linia de comandă pentru gestionarea data mart-ului.
Cele mai bune practici pentru implementarea Data Marts
Următoarele sunt cele mai bune practici pe care trebuie să le urmați în timpul procesului de implementare a Data Mart:
- Sursa unui Data Mart ar trebui să fie structurată în departament
- Ciclul de implementare al unui Data Mart ar trebui măsurat în perioade scurte de timp, adică în săptămâni în loc de luni sau ani.
- Este important să se implice toate părțile interesate în faza de planificare și proiectare, deoarece implementarea data mart ar putea fi complexă.
- Costurile pentru hardware/software, rețea și implementare Data Mart ar trebui să fie bugetate corect în planul dvs.
- Chiar dacă dacă Data mart este creată pe același hardware, este posibil să aibă nevoie de un software diferit pentru a gestiona interogările utilizatorilor. Puterea de procesare suplimentară și cerințele de stocare pe disc ar trebui evaluate pentru un răspuns rapid al utilizatorului
- Un magazin de date poate fi într-o locație diferită de depozitul de date. De aceea, este important să ne asigurăm că au suficientă capacitate de rețea pentru a gestiona volumele de date necesare pentru a transfera date la data mart..
- Costul de implementare ar trebui să bugeteze timpul necesar procesului de încărcare Datamart. Timpul de încărcare crește odată cu creșterea complexității transformărilor.
Avantajele și dezavantajele unui Data Mart
Avantaje
- Data mart-urile conțin un subset de date la nivelul întregii organizații. Aceste date sunt valoroase pentru un anumit grup de oameni dintr-o organizație.
- Este o alternativă rentabilă la a depozit de date, care poate presupune costuri mari pentru a construi.
- Data Mart permite accesul mai rapid la date.
- Data Mart este ușor de utilizat, deoarece este conceput special pentru nevoile utilizatorilor săi. Astfel, un data mart poate accelera procesele de afaceri.
- Data Marts are nevoie de mai puțin timp de implementare în comparație cu sistemele Data Warehouse. Este mai rapid să implementați Data Mart, deoarece trebuie doar să concentrați singurul subset de date.
- Conține date istorice care îi permit analistului să determine tendințele datelor.
Dezavantaje
- De multe ori, întreprinderile creează prea multe magazine de date disparate și care nu au legătură, fără prea multe beneficii. Poate deveni un mare obstacol de întreținut.
- Data Mart nu poate oferi la nivel de companie analiza datelor deoarece setul lor de date este limitat.
Rezumat
- Definiți Data Mart: Un Data Mart este definit ca un subset al Data Warehouse care se concentrează pe o singură zonă funcțională a unei organizații.
- Data Mart ajută la îmbunătățirea timpului de răspuns al utilizatorului datorită unei reduceri a volumului de date.
- Trei tipuri de data mart sunt 1) dependente 2) independente 3) hibride
- Pașii importanți de implementare ai Data Mart sunt 1) Proiectare 2) Construire 3 Populare 4) Accesare și 5) Gestionare
- Ciclul de implementare al unui Data Mart ar trebui măsurat în perioade scurte de timp, adică în săptămâni în loc de luni sau ani.
- Data mart este o alternativă rentabilă la un depozit de date, care poate presupune costuri mari pentru a construi.
- Data Mart nu poate oferi analize de date la nivel de companie, deoarece setul de date este limitat.
