Hva er Data Mart i Data Warehouse? Typer og eksempler

Hva er Data Mart?

A Databutikk er fokusert på et enkelt funksjonsområde i en organisasjon og inneholder et undersett av data som er lagret i et datavarehus. En Data Mart er en komprimert versjon av Data Warehouse og er designet for bruk av en spesifikk avdeling, enhet eller sett med brukere i en organisasjon. For eksempel markedsføring, salg, HR eller økonomi. Det er ofte kontrollert av en enkelt avdeling i en organisasjon.

Data Mart trekker vanligvis data fra bare noen få kilder sammenlignet med et datavarehus. Datamars er små i størrelse og er mer fleksible sammenlignet med et Datawarehouse.

Hvorfor trenger vi Data Mart?

• Data Mart bidrar til å forbedre brukerens responstid på grunn av reduksjon i datamengde
• Det gir enkel tilgang til ofte etterspurte data.
• Datamart er enklere å implementere sammenlignet med bedriftens Datawarehouse. Samtidig er kostnadene ved å implementere Data Mart absolutt lavere sammenlignet med implementering av et komplett datavarehus.
• Sammenlignet med Data Warehouse er en datamart smidig. Ved endring i modell kan datamart bygges raskere på grunn av en mindre størrelse.
• En Datamart er definert av en enkelt fagekspert. Tvert imot er datavarehus definert av tverrfaglige SMB fra en rekke domener. Derfor er Datamart mer åpen for endring sammenlignet med Datawarehouse.
• Data er partisjonert og tillater svært detaljerte tilgangskontrollprivilegier.
• Data kan segmenteres og lagres på forskjellige maskinvare-/programvareplattformer.

Typer Data Mart

Det er tre hovedtyper av datamart:

1. Avhengig: Avhengige datamars opprettes ved å trekke data direkte fra operasjonelle, eksterne eller begge kilder.
2. Frittstående optiker: Uavhengig datamart opprettes uten bruk av et sentralt datavarehus.
3. Hybrid: Denne typen datamars kan ta data fra datavarehus eller driftssystemer.

Dependent Data Mart

En avhengig datamart gjør det mulig å hente organisasjonens data fra ett enkelt datavarehus. Det er et av datamart-eksemplene som gir fordelen med sentralisering. Hvis du trenger å utvikle en eller flere fysiske datamarts, må du konfigurere dem som avhengige datamarts.

Dependent Data Mart i datavarehus kan bygges på to forskjellige måter. Enten hvor en bruker kan få tilgang til både datamart og datavarehus, avhengig av behov, eller hvor tilgangen kun er begrenset til datamart. Den andre tilnærmingen er ikke optimal da den produserer noen ganger referert til som en datasøppelplass. I datasøppelplassen begynner all data med en felles kilde, men de blir skrotet, og for det meste søppelpost.

Independent Data Mart

En uavhengig datamart opprettes uten bruk av sentralt datavarehus. Denne typen Data Mart er et ideelt alternativ for mindre grupper i en organisasjon.

Et uavhengig datamarked har verken et forhold til bedriftens datavarehus eller med noe annet datamarked. I Independent data mart legges dataene inn separat, og analysene utføres også autonomt.

Implementering av uavhengige datamars er antitetisk til motivasjonen for å bygge et datavarehus. Først av alt trenger du en konsistent, sentralisert lagring av bedriftsdata som kan analyseres av flere brukere med forskjellige interesser som ønsker vidt varierende informasjon.

Hybrid Data Mart

En hybrid datamart kombinerer input fra kilder bortsett fra datavarehus. Dette kan være nyttig når du ønsker ad-hoc-integrasjon, for eksempel etter at en ny gruppe eller et nytt produkt er lagt til organisasjonen.

Det er det beste datamart-eksemplet som passer for flere databasemiljøer og rask implementering for enhver organisasjon. Det krever også minst innsats for datarensing. Hybrid Data mart støtter også store lagringsstrukturer, og den egner seg best for fleksibel for mindre datasentriske applikasjoner.

Trinn for å implementere en Datamart

Å implementere en Data Mart er en givende, men kompleks prosedyre. Her er de detaljerte trinnene for å implementere en Data Mart:

Prosjektering

Design er den første fasen av Data Mart-implementering. Den dekker alle oppgavene mellom å initiere forespørselen om et datamarked til innhenting av informasjon om kravene. Til slutt lager vi den logiske og fysiske Data Mart-designen.

Designtrinnet innebærer følgende oppgaver:

• Samle forretnings- og tekniske krav og identifisere datakilder.
• Velge riktig delsett av data.
• Utforme den logiske og fysiske strukturen til datamarkedet.

Data kan partisjoneres basert på følgende kriterier:

• Dato
• Forretnings- eller funksjonell enhet
• Geografi
• Enhver kombinasjon av ovenstående

Data kan partisjoneres på applikasjons- eller DBMS-nivå. Selv om det anbefales å partisjonere på applikasjonsnivå, da det tillater forskjellige datamodeller hvert år med endringen i forretningsmiljøet.

Hvilke produkter og teknologier trenger du?

En enkel penn og papir ville være tilstrekkelig. Selv om verktøy som hjelper deg med å lage UML eller ER-diagram vil også legge til metadata i dine logiske og fysiske design.

Konstruksjon

Dette er den andre fasen av implementeringen. Det innebærer å skape fysisk database og de logiske strukturene.

Dette trinnet innebærer følgende oppgaver:

• Implementering av den fysiske databasen designet i tidligere fase. For eksempel opprettes databaseskjemaobjekter som tabell, indekser, visninger, etc..

Hvilke produkter og teknologier trenger du?

Du trenger en relasjonsdatabasestyringssystem å konstruere en datamart. RDBMS har flere funksjoner som kreves for å lykkes med en Data Mart.

• Lagringshåndtering: En RDBMS lagrer og administrerer dataene for å opprette, legge til og slette data.
• Rask datatilgang: Med en SQL-spørring kan du enkelt få tilgang til data basert på visse forhold/filtre.
• Data beskyttelse: RDBMS-systemet tilbyr også en måte å komme seg etter systemfeil som strømbrudd. Det tillater også å gjenopprette data fra disse sikkerhetskopiene i tilfelle disken feiler.
• Flerbrukerstøtte: Databehandlingssystemet tilbyr samtidig tilgang, muligheten for flere brukere til å få tilgang til og endre data uten å forstyrre eller overskrive endringer gjort av en annen bruker.
• Sikkerhet: RDMS-systemet gir også en måte å regulere brukernes tilgang til objekter og visse typer operasjoner.

Befolker

I den tredje fasen fylles data inn i datamarkedet.

Fyllingstrinnet involverer følgende oppgaver:

• Kilde data til måldata Kartlegging
• Uttak av kildedata
• Rengjørings- og transformasjonsoperasjoner på dataene
• Laster data inn i datamart
• Opprette og lagre metadata

Hvilke produkter og teknologier trenger du?

Du utfører disse populasjonsoppgavene ved å bruke en ETL-verktøy (Extract Transform Load).. Dette verktøyet lar deg se på datakildene, utføre kilde-til-mål-kartlegging, trekke ut dataene, transformere, rense dem og laste dem tilbake til datamarkedet.

I prosessen lager verktøyet også noen metadata relatert til ting som hvor dataene kom fra, hvor nylige de er, hvilken type endringer som ble gjort i dataene og hvilket nivå av oppsummering som ble gjort.

Tilgang

Tilgang er et fjerde trinn som innebærer å ta dataene i bruk: spørre etter dataene, lage rapporter, diagrammer og publisere dem. Sluttbruker sender inn spørringer til databasen og viser resultatene av spørringene

Tilgangstrinnet må utføre følgende oppgaver:

• Sett opp et metalag som oversetter databasestrukturer og objektnavn til forretningstermer. Dette hjelper ikke-tekniske brukere å få tilgang til datamarkedet enkelt.
• Sette opp og vedlikeholde databasestrukturer.
• Sett opp API og grensesnitt om nødvendig

Hvilke produkter og teknologier trenger du?

Du kan få tilgang til datamart ved å bruke kommandolinjen eller GUI. GUI foretrekkes da det enkelt kan generere grafer og er brukervennlig sammenlignet med kommandolinjen.

Administrerende

Dette er det siste trinnet i Data Mart-implementeringsprosessen. Dette trinnet dekker ledelsesoppgaver som

• Løpende administrasjon av brukertilgang.
• Systemoptimalisering og finjustering for å oppnå den forbedrede ytelsen.
• Legge til og administrere ferske data i datamarkedet.
• Planlegge gjenopprettingsscenarier og sikre systemtilgjengelighet i tilfelle systemet svikter.

Hvilke produkter og teknologier trenger du?

Du kan bruke GUI eller kommandolinje for datamart-administrasjon.

Beste praksis for implementering av Data Marts

Følgende er de beste fremgangsmåtene du må følge mens du er i Data Mart-implementeringsprosessen:

• Kilden til en Data Mart bør være avdelingsstrukturert
• Implementeringssyklusen til en Data Mart bør måles i korte tidsperioder, dvs. i uker i stedet for måneder eller år.
• Det er viktig å involvere alle interessenter i planleggings- og designfasen da implementeringen av datamart kan være kompleks.
• Data Mart Maskinvare/programvare, nettverk og implementeringskostnader bør budsjetteres nøyaktig i planen din
• Selv om datamarkedet er opprettet på samme maskinvare, kan de trenge annen programvare for å håndtere brukerspørsmål. Ytterligere krav til prosessorkraft og disklagring bør evalueres for rask brukerrespons
• En datamart kan være på et annet sted enn datavarehuset. Det er derfor det er viktig å sikre at de har nok nettverkskapasitet til å håndtere datavolumene som trengs for å overføre data til datamarkedet.
• Implementeringskostnadene bør budsjettere tiden det tar for Datamart-lastingsprosessen. Lastetiden øker med økningen i kompleksiteten til transformasjonene.

Fordeler og ulemper med en datamart

Fordeler

• Datamars inneholder et undersett av organisasjonsomfattende data. Disse dataene er verdifulle for en bestemt gruppe mennesker i en organisasjon.
• Det er kostnadseffektive alternativer til en datalager, som kan ta høye kostnader å bygge.
• Data Mart gir raskere tilgang til data.
• Data Mart er enkel å bruke siden den er spesielt designet for brukernes behov. Dermed kan en datamarked akselerere forretningsprosesser.
• Data Marts trenger mindre implementeringstid sammenlignet med Data Warehouse-systemer. Det er raskere å implementere Data Mart siden du bare trenger å konsentrere den eneste delmengden av dataene.
• Den inneholder historiske data som gjør det mulig for analytikeren å bestemme datatrender.

Ulemper

• Mange ganger oppretter bedrifter for mange forskjellige og urelaterte datamars uten mye nytte. Det kan bli et stort hinder å opprettholde.
• Data Mart kan ikke tilby hele selskapet dataanalyse siden deres datasett er begrenset.

Sammendrag

• Definer Data Mart: En Data Mart er definert som en delmengde av Data Warehouse som er fokusert på et enkelt funksjonsområde i en organisasjon.
• Data Mart bidrar til å forbedre brukerens responstid på grunn av en reduksjon i datavolumet.
• Tre typer datamarked er 1) Avhengig 2) Uavhengig 3) Hybrid
• Viktige implementeringstrinn for Data Mart er 1) designe 2) konstruere 3 fylle 4) få tilgang til og 5) administrere
• Implementeringssyklusen til en Data Mart bør måles i korte tidsperioder, dvs. i uker i stedet for måneder eller år.
• Datamart er kostnadseffektive alternativer til et datavarehus, som kan ta høye kostnader å bygge.
• Data Mart kan ikke tilby dataanalyse for hele selskapet da datasettet er begrenset.