Ce este Data Mart în Data Warehouse? Tipuri și exemple
David Carter
⚡ Rezumat inteligent
Designul Data Mart oferă un subset concentrat de informații din depozitul de date unui singur departament, acoperind cele trei tipuri de data mart, cele cinci faze de la proiectare până la management și cele mai bune practici care mențin livrarea rapidă, sigură și rentabilă.
Un data mart aduce puterea analitică a unui depozit de date unei singure echipe. Concentrându-se pe un singur domeniu, permite unui departament să își analizeze rapid propriile date fără a aștepta în urma sarcinilor de lucru la nivelul întregii companii. Secțiunile de mai jos explică ce este un data mart, de ce organizațiile îl folosesc, cele trei tipuri disponibile și cum să îl implementeze și să îl gestioneze.
Ce este Data Mart?
Un data mart este concentrat pe o singură zonă funcțională a unei organizații și conține un subset al datelor stocate într-un Depozitul de dateEste o versiune condensată a unui depozit de date, concepută pentru a fi utilizată de către un anumit departament, unitate sau grup de utilizatori - de exemplu, Marketing, Vânzări, Resurse Umane sau Finanțe.
Deoarece îndeplinește o singură funcție, un data mart este de obicei controlat de un singur departament din cadrul organizației. Această concentrare menține domeniul său de aplicare restrâns și proprietatea clară.
Un data mart extrage date doar din câteva surse, spre deosebire de un data warehouse care integrează mai multe. Prin urmare, data mart-urile sunt de dimensiuni reduse și mult mai flexibile decât un data warehouse complet.
De ce avem nevoie de Data Mart?
Organizațiile se bazează pe data marturi din mai multe motive practice:
- Un data mart îmbunătățește timpul de răspuns al utilizatorilor prin reducerea volumului de date pe care le interoghează.
- Oferă acces facil la datele solicitate frecvent.
- Un data mart este mai simplu și mai ieftin de implementat decât un depozit de date corporativ.
- Este agil: atunci când modelul se schimbă, un data mart mai mic poate fi reconstruit rapid.
- Un data mart este definit de un singur expert în domeniu, în timp ce un depozit de date este definit de o echipă interdisciplinară, astfel încât un mart este mai deschis la schimbare.
- Datele sunt partiționate, permițând privilegii de control al accesului foarte granulare.
- Datele pot fi segmentate și stocate pe diferite platforme hardware sau software.
Pe scurt, deoarece un data mart gestionează o porțiune de date mai mică și bine definită, este mai rapid de construit, mai ieftin de utilizat și mai ușor de securizat decât un depozit de date pentru întreprinderi.
Totuși, data mart-urile nu sunt toate construite în același mod. Sursa din care se inspiră un data mart determină cu care dintre cele trei tipuri lucrați.
Tipuri de Data Mart
Există trei tipuri principale de data mart-uri, care se disting prin sursa de unde își extrag datele:
- Dependent: Data mart-urile dependente extrag date direct din surse operaționale, surse externe sau ambele.
- Independent: Un data mart independent este creat fără un depozit de date central.
- Hibrid: Un data mart hibrid poate prelua date din depozite de date sau sisteme operaționale.
Dependent Data Mart
Un data mart dependent își extrage datele dintr-un singur depozit de date, ceea ce îi oferă avantajul centralizării. Dacă trebuie să construiți unul sau mai multe data mart-uri fizice, le configurați ca data mart-uri dependente.
Un data mart dependent poate fi construit în două moduri: unul în care utilizatorii accesează atât data mart-ul, cât și depozitul de date, în funcție de necesități, și unul în care accesul este limitat doar la data mart. A doua abordare nu este optimă, deoarece poate produce un „depozit de date vechi” - date care pornesc de la o sursă comună, dar sunt apoi eliminate și în mare parte neutilizate.
Independent Data Mart
Un data mart independent este creat fără un depozit de date central. Acest tip de data mart este o opțiune ideală pentru grupuri mai mici din cadrul unei organizații.
Un data mart independent nu are nicio relație cu un depozit de date al unei întreprinderi sau cu orice alt data mart. Datele sale sunt încărcate și analizate independent. Această abordare contravine motivului principal pentru construirea unui depozit de date: un depozit centralizat și consistent de date ale întreprinderii pe care mulți utilizatori cu interese diferite îl pot analiza.
Hybrid Data Mart
Un data mart hibrid combină informații din surse din afara depozitului de date. Acest lucru este util atunci când aveți nevoie de integrare ad-hoc - de exemplu, după ce un nou grup sau produs este adăugat la organizație.
Este potrivit pentru mediile cu mai multe baze de date și oferă o implementare rapidă cu cel mai mic efort de curățare a datelor. Un data mart hibrid acceptă, de asemenea, structuri de stocare mari și funcționează bine pentru aplicații mai mici, centrate pe date.
Pași în implementarea unui Datamart
Implementarea unui data mart este un proces plin de satisfacții, dar detaliat. Acesta trece prin cinci faze - proiectare, construire, populare, accesare și gestionare - fiecare fiind descrisă mai jos.
Proiectare
Proiectarea este prima fază a implementării unui data mart. Acoperă fiecare sarcină, de la solicitarea inițială pentru un data mart până la colectarea cerințelor și se încheie cu designul logic și fizic al data mart-ului.
Etapa de proiectare implică următoarele sarcini:
- Colectarea cerințelor de afaceri și tehnice și identificarea surselor de date.
- Selectarea subsetului adecvat de date.
- Proiectarea structurii logice și fizice a data mart-ului.
Datele pot fi partiționate pe baza următoarelor criterii:
- Data
- Unitate de afaceri sau funcțională
- Geografie
- Orice combinație a celor de mai sus
Datele pot fi partiționate la nivel de aplicație sau SGBD, deși partiționarea la nivel de aplicație este recomandată deoarece permite un model de date diferit în fiecare an, pe măsură ce mediul de afaceri se schimbă. Majoritatea data mart-urilor sunt construite pe o model dimensional, cum ar fi o schemă în stea, pentru a menține interogările rapide.
De ce produse și tehnologii aveți nevoie?
Un simplu stilou și hârtie vor fi suficiente în această etapă. Instrumentele care vă ajută să creați diagrame UML sau entitate-relație pot, de asemenea, adăuga metadate la proiectele dvs. logice și fizice.
Construind
Construcția este a doua fază a implementării. Aceasta implică crearea bazei de date fizice și a structurilor logice.
Acest pas implică următoarea sarcină:
- Implementarea bazei de date fizice proiectate în faza anterioară — de exemplu, crearea de obiecte schemă, cum ar fi tabele, indexuri și vizualizări.
De ce produse și tehnologii aveți nevoie?
Aveți nevoie de un sistem de gestionare a bazelor de date relaționale (RDBMS) pentru a construi un data mart. Un RDBMS oferă mai multe caracteristici esențiale pentru succesul unui data mart:
- Gestionarea stocării: Un RDBMS stochează și gestionează date, permițându-vă să creați, să adăugați și să ștergeți înregistrări.
- Acces rapid la date: Cu o interogare SQL puteți recupera cu ușurință date pe baza unor condiții sau filtre specifice.
- Protejarea datelor: RDBMS poate recupera datele în urma erorilor de sistem, cum ar fi pene de curent, și poate restaura datele din copii de rezervă dacă un disc se defectează.
- Suport multiutilizator: Oferă acces concurent, astfel încât mai mulți utilizatori pot citi și modifica date fără a suprascrie modificările efectuate unii de alții.
- De securitate: Reglează ce utilizatori pot accesa ce obiecte și ce operațiuni pot efectua.
Populare
În a treia fază, datele sunt introduse în data mart-ul.
Etapa de populare implică următoarele sarcini:
- Hartăping datele sursă la datele țintă.
- Extracprelucrarea datelor sursă.
- Curățarea și transformarea datelor.
- Încărcarea datelor în data mart.
- Crearea și stocarea metadatelor.
De ce produse și tehnologii aveți nevoie?
Aceste sarcini le îndepliniți cu un ETL (Ex.tract, Transformare, Încărcare). Examinează sursele de date, efectuează maparea sursă-țintăping, și apoi extracts, transformă, curăță și încarcă datele în data mart.
Pe parcurs, instrumentul creează și metadate — detalii precum proveniența datelor, cât de recente sunt, ce modificări au fost făcute și ce nivel de sumarizare a fost aplicat.
accesarea
Accesarea este al patrulea pas și pune datele în funcțiune: interogarea datelor, crearea de rapoarte și diagrame și publicarea acestora. Utilizatorii finali trimit interogări și vizualizează rezultatele, adesea prin OLAP unelte.
Etapa de accesare implică următoarele sarcini:
- Configurarea unui meta-strat care traduce structurile bazei de date și numele obiectelor în termeni de afaceri, astfel încât utilizatorii non-tehnici să poată accesa cu ușurință data mart-ul.
- Configurarea și întreținerea structurilor bazei de date.
- Configurarea API-urilor și a interfețelor, dacă este necesar.
De ce produse și tehnologii aveți nevoie?
Puteți accesa data mart-ul folosind linia de comandă sau o interfață grafică. O interfață grafică este de obicei preferată deoarece generează grafice cu ușurință și este mai ușor de utilizat decât linia de comandă.
De conducere
Gestionarea este faza finală a procesului de implementare a data mart-ului. Folosind fie o interfață grafică, fie o linie de comandă, echipele gestionează sarcini de gestionare continue, cum ar fi:
- Gestionare continuă a accesului utilizatorilor.
- Optimizarea și reglarea fină a sistemului pentru o performanță mai bună.
- Adăugarea și gestionarea datelor noi în data mart.
- Planificarea scenariilor de recuperare pentru a menține sistemul disponibil în cazul în care acesta se defectează.
- Recuperarea după defecțiuni hardware și software, păstrând în același timp datele.
Cele mai bune practici pentru implementarea Data Marts
Urmați aceste bune practici pe tot parcursul procesului de implementare a data mart-ului:
- Structurați sursa unui data mart pe departamente.
- Măsurați ciclul de implementare în săptămâni, nu în luni sau ani.
- Implică toate părțile interesate în faza de planificare și proiectare, deoarece implementarea unui data mart poate fi complexă.
- Bugetați cu precizie costurile hardware, software, de rețea și de implementare ale datamart-ului.
- Chiar și atunci când un data mart partajează hardware, poate necesita software diferit pentru a gestiona interogările utilizatorilor; evaluați puterea suplimentară de procesare și stocarea necesare pentru răspunsuri rapide.
- Când un data mart se află într-o locație diferită de depozitul de date, asigurați-vă că există suficientă capacitate de rețea pentru a muta volumele de date necesare.
- Bugetați timpul de încărcare, care crește pe măsură ce complexitatea transformărilor crește.
Avantajele și dezavantajele unui Data Mart
Ca orice alegere arhitecturală, un data mart aduce beneficii clare, împreună cu câteva compromisuri.
Avantaje
- Un data mart deține un subset de date la nivelul întregii organizații, care sunt valoroase pentru un anumit grup de utilizatori.
- Este o alternativă eficientă din punct de vedere al costurilor la un depozit de date, a cărui construire poate fi costisitoare.
- Un data mart permite accesul mai rapid la date.
- Este ușor de utilizat, deoarece este conceput pentru nevoile specifice ale utilizatorilor săi, ceea ce poate accelera procesele de afaceri.
- Un data mart necesită mai puțin timp de implementare decât un data warehouse, deoarece te concentrezi doar pe un subset de date.
- Conține date istorice care ajută analiștii să identifice tendințe.
Dezavantaje
- Uneori, întreprinderile creează prea multe data mart-uri disparate și nerelaționate, care devin dificil de întreținut.
- Un data mart nu poate oferi analize de date la nivelul întregii companii, deoarece setul său de date este limitat.
