Što je Data Mart u skladištu podataka? Vrste i primjer

Što je Data Mart?

A Data Mart usredotočen je na jedno funkcionalno područje organizacije i sadrži podskup podataka pohranjenih u skladištu podataka. Data Mart je sažeta verzija Data Warehousea i dizajniran je za korištenje od strane određenog odjela, jedinice ili skupa korisnika u organizaciji. Npr. marketing, prodaja, HR ili financije. Često ga kontrolira jedan odjel u organizaciji.

Data Mart obično crpi podatke iz samo nekoliko izvora u usporedbi sa skladištem podataka. Podatkovne trgovine male su veličine i fleksibilnije su u usporedbi s Datawarehouseom.

Zašto nam je potreban Data Mart?

• Data Mart pomaže povećati vrijeme odziva korisnika zbog smanjenja količine podataka
• Omogućuje jednostavan pristup često traženim podacima.
• Data mart je jednostavniji za implementaciju u usporedbi s korporativnim Datawarehouseom. U isto vrijeme, trošak implementacije Data Marta svakako je niži u usporedbi s implementacijom punog skladišta podataka.
• U usporedbi sa skladištem podataka, datamart je agilan. U slučaju promjene modela, Datamart se može izgraditi brže zbog manje veličine.
• Datamart definira jedan stručnjak za predmet. Naprotiv, skladište podataka definiraju interdisciplinarna mala i srednja poduzeća iz raznih domena. Stoga je Data mart otvoreniji za promjene u usporedbi s Datawarehouseom.
• Podaci su particionirani i dopuštaju vrlo detaljne privilegije kontrole pristupa.
• Podaci se mogu segmentirati i pohraniti na različite hardverske/softverske platforme.

Vrste Data Marta

Postoje tri glavne vrste podatkovnih martova:

1. zavisan: Zavisne baze podataka stvaraju se izvlačenjem podataka izravno iz operativnih, vanjskih ili oba izvora.
2. Nezavisan: Neovisna baza podataka kreirana je bez korištenja središnjeg skladišta podataka.
3. Hibrid: Ova vrsta prodajnih mjesta može preuzimati podatke iz skladišta podataka ili operativnih sustava.

Zavisna baza podataka

Zavisna baza podataka omogućuje dobivanje podataka organizacije iz jednog skladišta podataka. To je jedan od primjera burze podataka koji nudi prednosti centralizacije. Ako trebate razviti jednu ili više fizičkih martova podataka, trebate ih konfigurirati kao ovisne marte podataka.

Ovisni Data Mart u skladištu podataka može se izgraditi na dva različita načina. Ili gdje korisnik može pristupiti i podatkovnoj trgovini i skladištu podataka, ovisno o potrebi, ili gdje je pristup ograničen samo na podatkovnu trgovinu. Drugi pristup nije optimalan jer proizvodi koji se ponekad nazivaju otpadom podataka. Na otpadu podataka svi podaci započinju s zajedničkim izvorom, ali se odbacuju i uglavnom se odbacuju.

Neovisna baza podataka

Neovisna baza podataka kreirana je bez korištenja središnjeg skladišta podataka. Ova vrsta Data Marta idealna je opcija za manje grupe unutar organizacije.

Neovisni podatkovni štand nije povezan ni sa skladištem podataka poduzeća niti s bilo kojim drugim podatkovnim štandom. U Independent data mart podaci se unose odvojeno, a njihove se analize također provode autonomno.

Implementacija neovisnih martova podataka suprotna je motivaciji za izgradnju skladišta podataka. Prije svega, potrebna vam je dosljedna, centralizirana pohrana poslovnih podataka koju može analizirati više korisnika s različitim interesima koji žele vrlo različite informacije.

Hybrid Data Mart

Hibridni podatkovni mart kombinira unose iz izvora osim skladišta podataka. To bi moglo biti od pomoći kada želite ad-hoc integraciju, na primjer nakon dodavanja nove grupe ili proizvoda u organizaciju.

To je najbolji primjer vitrine podataka prikladan za višestruka okruženja baza podataka i brzu implementaciju za svaku organizaciju. Također zahtijeva najmanje napora za čišćenje podataka. Hybrid Data mart također podržava velike strukture za pohranu i najprikladniji je za fleksibilne za manje aplikacije usmjerene na podatke.

Koraci u implementaciji Datamarta

Implementacija Data Marta je isplativ, ali složen postupak. Evo detaljnih koraka za implementaciju Data Marta:

Projektiranje

Projektiranje je prva faza implementacije Data Marta. Pokriva sve zadatke od pokretanja zahtjeva za podatkovnom markom do prikupljanja informacija o zahtjevima. Na kraju, stvaramo logičan i fizički dizajn Data Marta.

Korak dizajna uključuje sljedeće zadatke:

• Prikupljanje poslovnih i tehničkih zahtjeva i prepoznavanje izvora podataka.
• Odabir odgovarajućeg podskupa podataka.
• Projektiranje logičke i fizičke strukture podatkovne vitrine.

Podaci se mogu podijeliti na temelju sljedećih kriterija:

• Datum
• Poslovna ili funkcionalna jedinica
• Geografija
• Bilo koja kombinacija gore navedenog

Podaci se mogu particionirati na razini aplikacije ili DBMS-a. Iako se preporučuje podjela na razini aplikacije jer dopušta različite modele podataka svake godine s promjenom poslovnog okruženja.

Koje proizvode i tehnologije trebate?

Obična olovka i papir bili bi dovoljni. Iako alati koji vam pomažu stvoriti UML ili ER dijagram također bi dodao meta podatke u vaše logičke i fizičke dizajne.

Izgradnja

Ovo je druga faza implementacije. To uključuje stvaranje fizičke baze podataka i logičke strukture.

Ovaj korak uključuje sljedeće zadatke:

• Implementacija fizičke baze podataka dizajnirane u ranijoj fazi. Na primjer, kreiraju se objekti sheme baze podataka poput tablice, indeksa, pogleda itd.

Koje proizvode i tehnologije trebate?

Trebaš sustav upravljanja relacijskim bazama podataka konstruirati data mart. RDBMS ima nekoliko značajki koje su potrebne za uspjeh Data Marta.

• Upravljanje pohranom: RDBMS pohranjuje i upravlja podacima za stvaranje, dodavanje i brisanje podataka.
• Brzi pristup podacima: Pomoću SQL upita možete jednostavno pristupiti podacima na temelju određenih uvjeta/filtara.
• Zaštita podataka: RDBMS sustav također nudi način oporavka od kvarova sustava kao što su nestanci struje. Također omogućuje vraćanje podataka iz tih sigurnosnih kopija u slučaju kvara diska.
• Podrška za više korisnika: Sustav za upravljanje podacima nudi istovremeni pristup, mogućnost da više korisnika pristupi i mijenja podatke bez ometanja ili prepisivanja promjena koje je napravio drugi korisnik.
• Sigurnost: RDMS sustav također pruža način reguliranja pristupa korisnika objektima i određenim vrstama operacija.

Punjenje

U trećoj fazi, podaci se popunjavaju u podatkovnoj marci.

Korak popunjavanja uključuje sljedeće zadatke:

• Izvor podataka do ciljanih podataka Mapiranje
• Ekstrakcija izvornih podataka
• Operacije čišćenja i transformacije podataka
• Učitavanje podataka u stalak podataka
• Stvaranje i pohranjivanje metapodataka

Koje proizvode i tehnologije trebate?

Ove populacijske zadatke postižete pomoću Alat ETL (Extract Transform Load).. Ovaj vam alat omogućuje pregled izvora podataka, izvođenje mapiranja od izvora do cilja, ekstrahiranje podataka, transformaciju, čišćenje i učitavanje natrag u podatkovnu trgovinu.

U procesu, alat također stvara neke metapodatke koji se odnose na stvari kao što su odakle su podaci došli, koliko su noviji, koje su vrste promjena napravljene na podacima i koja je razina sažetka napravljena.

Pristup

Pristup je četvrti korak koji uključuje stavljanje podataka u upotrebu: postavljanje upita za podatke, stvaranje izvješća, grafikona i njihovo objavljivanje. Krajnji korisnik šalje upite u bazu podataka i prikazuje rezultate upita

Korak pristupa treba izvršiti sljedeće zadatke:

• Postavite meta sloj koji prevodi strukture baze podataka i nazive objekata u poslovne pojmove. To pomaže netehničkim korisnicima da lako pristupe Data martu.
• Postavite i održavajte strukture baze podataka.
• Postavite API i sučelja ako je potrebno

Koje proizvode i tehnologije trebate?

Vitrini podataka možete pristupiti pomoću naredbenog retka ili GUI-ja. GUI je poželjan jer može lako generirati grafikone i jednostavan je za korištenje u usporedbi s naredbenim redkom.

Upravljanje

Ovo je posljednji korak procesa implementacije Data Marta. Ovaj korak pokriva zadatke upravljanja kao što su-

• Stalno upravljanje korisničkim pristupom.
• Optimizacija i fino podešavanje sustava za postizanje poboljšanih performansi.
• Dodavanje i upravljanje svježim podacima u podatkovnu trgovinu.
• Planiranje scenarija oporavka i osiguranje dostupnosti sustava u slučaju kvara sustava.

Koje proizvode i tehnologije trebate?

Možete koristiti GUI ili naredbeni redak za upravljanje kioskom podataka.

Najbolji primjeri iz prakse za implementaciju podatkovnih martova

Slijede najbolji postupci kojih se morate pridržavati tijekom procesa implementacije Data Marta:

• Izvor Data Marta trebao bi biti strukturiran prema odjelima
• Implementacijski ciklus Data Marta trebao bi se mjeriti u kratkim vremenskim razdobljima, tj. tjednima umjesto mjesecima ili godinama.
• Važno je uključiti sve dionike u fazu planiranja i projektiranja jer bi implementacija podatkovne vitrine mogla biti složena.
• Troškovi hardvera/softvera, umrežavanja i implementacije Data Marta trebaju biti točno predviđeni u vašem planu
• Iako je Data mart stvoren na istom hardveru, možda će trebati drugačiji softver za obradu korisničkih upita. Dodatne zahtjeve za procesorskom snagom i diskovnom pohranom treba procijeniti za brz odgovor korisnika
• Vitrina podataka može biti na drugoj lokaciji od skladišta podataka. Zato je važno osigurati da imaju dovoljno mrežnog kapaciteta za rukovanje količinama podataka potrebnim za prijenos podataka na prodajnu stranicu podataka.
• Trošak implementacije trebao bi uključiti vrijeme potrebno za proces učitavanja Datamarta. Vrijeme učitavanja raste s povećanjem složenosti transformacija.

Prednosti i nedostaci Data Marta

Prednosti

• Trgovine podacima sadrže podskup podataka za cijelu organizaciju. Ovi podaci su vrijedni za određenu grupu ljudi u organizaciji.
• To je isplativa alternativa a skladište podataka, čija izgradnja može zahtijevati visoke troškove.
• Data Mart omogućuje brži pristup podacima.
• Data Mart je jednostavan za korištenje jer je posebno dizajniran za potrebe svojih korisnika. Stoga data mart može ubrzati poslovne procese.
• Data Marts zahtijeva manje vremena implementacije u usporedbi sa sustavima Data Warehouse. Brže je implementirati Data Mart jer trebate koncentrirati samo jedini podskup podataka.
• Sadrži povijesne podatke koji analitičaru omogućuju određivanje trendova podataka.

Nedostaci

• Mnogo puta poduzeća stvaraju previše različitih i nepovezanih prodajnih mjesta bez velike koristi. To može postati velika prepreka za održavanje.
• Data Mart ne može pružiti na razini cijele tvrtke Analiza podataka jer je njihov skup podataka ograničen.

rezime

• Definirajte Data Mart : Data Mart je definiran kao podskup Data Warehouse koji je usredotočen na jedno funkcionalno područje organizacije.
• Data Mart pomaže povećati vrijeme odziva korisnika zbog smanjenja količine podataka.
• Tri vrste podatkovnih martova su 1) ovisne 2) neovisne 3) hibridne
• Važni koraci implementacije Data Marta su 1) Dizajniranje 2) Izrada 3 Popunjavanje 4) Pristup i 5) Upravljanje
• Implementacijski ciklus Data Marta trebao bi se mjeriti u kratkim vremenskim razdobljima, tj. tjednima umjesto mjesecima ili godinama.
• Data mart je isplativa alternativa skladištu podataka, čija izgradnja može zahtijevati visoke troškove.
• Data Mart ne može pružiti analizu podataka za cijelu tvrtku jer je skup podataka ograničen.