Wat is DataMart in Data Warehouse? Typen & voorbeeld

Wat is datamart?

A Datamart is gericht op een enkel functioneel gebied van een organisatie en bevat een subset van gegevens die zijn opgeslagen in een datawarehouse. Een Data Mart is een verkorte versie van Data Warehouse en is ontworpen voor gebruik door een specifieke afdeling, eenheid of groep gebruikers in een organisatie. Bijvoorbeeld marketing, verkoop, HR of financiën. Het wordt vaak beheerd door één afdeling in een organisatie.

Data Mart haalt doorgaans gegevens uit slechts een paar bronnen, vergeleken met een datawarehouse. Datamarts zijn klein van formaat en flexibeler vergeleken met een datawarehouse.

Waarom hebben we DataMart nodig?

• Data Mart helpt de responstijd van de gebruiker te verbeteren dankzij de vermindering van het gegevensvolume
• Het biedt eenvoudig toegang tot veelgevraagde gegevens.
• Datamart is eenvoudiger te implementeren in vergelijking met datawarehouse voor bedrijven. Tegelijkertijd zijn de kosten voor het implementeren van Data Mart zeker lager vergeleken met het implementeren van een volledig datawarehouse.
• Vergeleken met Data Warehouse is een datamart wendbaar. Bij verandering van model kan datamart sneller gebouwd worden vanwege de kleinere omvang.
• Een Datamart wordt gedefinieerd door één enkele Subject Matter Expert. Integendeel, datawarehouse wordt gedefinieerd door interdisciplinaire MKB-bedrijven uit verschillende domeinen. Daarom staat Datamart meer open voor verandering dan Datawarehouse.
• Gegevens worden gepartitioneerd en maken zeer gedetailleerde toegangscontrolerechten mogelijk.
• Gegevens kunnen worden gesegmenteerd en opgeslagen op verschillende hardware-/softwareplatforms.

Soorten datamart

Er zijn drie hoofdtypen datamart:

1. AfhankelijkAfhankelijke datamarts worden gemaakt door gegevens rechtstreeks uit operationele, externe of beide bronnen te halen.
2. Zelfstandigen: Onafhankelijke datamart wordt gecreëerd zonder het gebruik van een centraal datawarehouse.
3. Hybride:Dit type datamarts kan gegevens uit datawarehouses of operationele systemen halen.

Afhankelijke datamart

Met een afhankelijke datamart kunnen de gegevens van de organisatie uit één datawarehouse worden gehaald. Het is een van de datamart-voorbeelden die het voordeel van centralisatie biedt. Als u een of meer fysieke datamarts moet ontwikkelen, moet u deze configureren als afhankelijke datamarts.

Afhankelijke Data Mart in datawarehouse kan op twee verschillende manieren worden gebouwd. Ofwel waar een gebruiker toegang heeft tot zowel de datamart als het datawarehouse, afhankelijk van de behoefte, of waar de toegang alleen beperkt is tot de datamart. De tweede benadering is niet optimaal, omdat deze soms een data-schroothoop oplevert. Op de data-rommelmarkt beginnen alle gegevens met een gemeenschappelijke bron, maar ze worden gesloopt en grotendeels weggegooid.

Onafhankelijke DataMart

Er ontstaat een onafhankelijke datamart zonder gebruik te maken van een centraal Data Warehouse. Voor kleinere groepen binnen een organisatie is dit soort Data Mart een ideale optie.

Een onafhankelijke datamart heeft geen relatie met het bedrijfsdatawarehouse, noch met enige andere datamart. Bij Independent data mart worden de gegevens afzonderlijk ingevoerd en worden de analyses ook autonoom uitgevoerd.

De implementatie van onafhankelijke datamarts is in strijd met de motivatie voor het bouwen van een datawarehouse. Allereerst heb je een consistente, gecentraliseerde opslag van bedrijfsgegevens nodig die kunnen worden geanalyseerd door meerdere gebruikers met verschillende interesses die zeer uiteenlopende informatie willen.

Hybride datamart

Een hybride datamart combineert input van andere bronnen dan het datawarehouse. Dit kan handig zijn als u ad-hocintegratie wilt, bijvoorbeeld nadat een nieuwe groep of product aan de organisatie is toegevoegd.

Het is het beste datamart-voorbeeld dat geschikt is voor meerdere databaseomgevingen en een snelle implementatietijd voor elke organisatie. Het vereist ook de minste inspanningen voor het opschonen van gegevens. Hybrid Data Mart ondersteunt ook grote opslagstructuren en is het meest geschikt voor flexibele en kleinere datacentrische toepassingen.

Stappen bij het implementeren van een Datamart

Het implementeren van een Data Mart is een lonende maar complexe procedure. Hier zijn de gedetailleerde stappen om een ​​Data Mart te implementeren:

Het ontwerpen van

Ontwerpen is de eerste fase van de implementatie van Data Mart. Het omvat alle taken vanaf het initiëren van de aanvraag voor een datamart tot het verzamelen van informatie over de vereisten. Ten slotte creëren we het logische en fysieke Data Mart-ontwerp.

De ontwerpstap omvat de volgende taken:

• Het verzamelen van de zakelijke en technische vereisten en het identificeren van gegevensbronnen.
• Het selecteren van de juiste subset van gegevens.
• Het ontwerpen van de logische en fysieke structuur van de datamart.

Gegevens kunnen worden gepartitioneerd op basis van de volgende criteria:

• Datum
• Bedrijfs- of functionele eenheid
• Aardrijkskunde
• Elke combinatie van bovenstaande

Gegevens kunnen worden gepartitioneerd op applicatie- of DBMS-niveau. Hoewel het wordt aanbevolen om op applicatieniveau te partitioneren, omdat dit elk jaar verschillende datamodellen mogelijk maakt, afhankelijk van de verandering in de zakelijke omgeving.

Welke producten en technologieën heeft u nodig?

Een simpele pen en papier zouden voldoende zijn. Hoewel tools waarmee u UML of ER-diagram zou ook metadata toevoegen aan uw logische en fysieke ontwerpen.

Bouwen

Dit is de tweede implementatiefase. Het gaat om het creëren van de fysieke database en de logische structuren.

Deze stap omvat de volgende taken:

• Implementatie van de fysieke database ontworpen in de eerdere fase. Er worden bijvoorbeeld databaseschema-objecten zoals tabellen, indexen, views, enz. gemaakt.

Welke producten en technologieën heeft u nodig?

Je hebt een nodig relationeel databasebeheersysteem om een ​​datamart te bouwen. RDBMS hebben verschillende functies die nodig zijn voor het succes van een Data Mart.

• Opslagbeheer: Een RDBMS slaat de gegevens op en beheert deze om gegevens te maken, toe te voegen en te verwijderen.
• Snelle gegevenstoegang: Met een SQL-query kunt u op basis van bepaalde voorwaarden/filters eenvoudig toegang krijgen tot gegevens.
• Gegevensbescherming: Het RDBMS-systeem biedt ook een manier om te herstellen van systeemstoringen, zoals stroomstoringen. Het maakt het ook mogelijk om gegevens uit deze back-ups te herstellen als de schijf defect raakt.
• Ondersteuning voor meerdere gebruikers: Het gegevensbeheersysteem biedt gelijktijdige toegang, de mogelijkheid voor meerdere gebruikers om toegang te krijgen tot gegevens en deze te wijzigen zonder wijzigingen van een andere gebruiker te verstoren of te overschrijven.
• Beveiliging: Het RDMS-systeem biedt ook een manier om de toegang van gebruikers tot objecten en bepaalde soorten handelingen te reguleren.

bevolken

In de derde fase worden gegevens ingevuld in de datamart.

De stap 'invullen' omvat de volgende taken:

• Brongegevens naar doelgegevens In kaart brengen
• Extractie van brongegevens
• Reinigings- en transformatiebewerkingen op de gegevens
• Gegevens in de datamart laden
• Metagegevens maken en opslaan

Welke producten en technologieën heeft u nodig?

U voert deze populatietaken uit met behulp van een ETL-tool (Extract Transform Load).. Met deze tool kunt u de gegevensbronnen bekijken, bron-naar-doel-toewijzingen uitvoeren, de gegevens extraheren, transformeren, opschonen en weer in de datamart laden.

Tijdens dit proces creëert de tool ook metadata over zaken als de herkomst van de data, hoe recent deze is, welke wijzigingen er in de data zijn aangebracht en welk samenvattingsniveau er is toegepast.

Toegang

Toegang krijgen tot de gegevens is een vierde stap, waarbij gebruik wordt gemaakt van de gegevens: de gegevens opvragen, rapporten en grafieken maken en deze publiceren. Eindgebruikers dienen zoekopdrachten in de database in en geven de resultaten van de zoekopdrachten weer

De toegangsstap moet de volgende taken uitvoeren:

• Zet een metalaag op die databasestructuren en objectnamen vertaalt naar zakelijke termen. Dit helpt niet-technische gebruikers om gemakkelijk toegang te krijgen tot de Datamart.
• Opzetten en onderhouden van databasestructuren.
• Stel indien nodig API en interfaces in

Welke producten en technologieën heeft u nodig?

U krijgt toegang tot de datamart via de opdrachtregel of GUI. GUI heeft de voorkeur omdat het gemakkelijk grafieken kan genereren en gebruiksvriendelijk is in vergelijking met de opdrachtregel.

Beheren

Dit is de laatste stap van het Data Mart-implementatieproces. Deze stap omvat beheertaken zoals:

• Doorlopend beheer van gebruikerstoegang.
• Systeemoptimalisaties en fijnafstemming om de verbeterde prestaties te bereiken.
• Nieuwe gegevens toevoegen en beheren in de datamart.
• Plan herstelscenario's en zorg voor systeembeschikbaarheid in het geval dat het systeem uitvalt.

Welke producten en technologieën heeft u nodig?

U kunt de GUI of opdrachtregel gebruiken voor datamartbeheer.

Best practices voor het implementeren van datamarts

Hieronder staan ​​de best practices die u moet volgen tijdens het implementatieproces van een datamart:

• De bron van een Data Mart moet afdelingsgestructureerd zijn
• De implementatiecyclus van een Data Mart moet in korte tijdsperioden worden gemeten, dat wil zeggen in weken in plaats van maanden of jaren.
• Het is belangrijk om alle belanghebbenden te betrekken bij de plannings- en ontwerpfase, omdat de implementatie van een datamart complex kan zijn.
• Data Mart-hardware/software-, netwerk- en implementatiekosten moeten nauwkeurig worden begroot in uw plan
• Zelfs als de Datamart op dezelfde hardware is gemaakt, hebben ze mogelijk andere software nodig om gebruikersvragen af ​​te handelen. Extra verwerkingskracht en schijfopslagvereisten moeten worden geëvalueerd voor een snelle reactie van de gebruiker
• Een datamart kan zich op een andere locatie bevinden dan het datawarehouse. Daarom is het belangrijk om ervoor te zorgen dat ze voldoende netwerkcapaciteit hebben om de datavolumes te verwerken die nodig zijn om data naar de datamart over te dragen..
• Implementatiekosten moeten de tijd begroten die nodig is voor het Datamart-laadproces. De laadtijd neemt toe naarmate de complexiteit van de transformaties toeneemt.

Voor- en nadelen van een datamart

Voordelen

• Datamarts bevatten een subset van organisatiebrede gegevens. Deze gegevens zijn waardevol voor een specifieke groep mensen in een organisatie.
• Het zijn kosteneffectieve alternatieven voor a datawarehouse, wat hoge bouwkosten kan vergen.
• Data Mart biedt snellere toegang tot gegevens.
• Data Mart is eenvoudig te gebruiken omdat het specifiek is ontworpen voor de behoeften van zijn gebruikers. Zo kan een datamart bedrijfsprocessen versnellen.
• Data Marts heeft minder implementatietijd nodig vergeleken met Data Warehouse-systemen. Het is sneller om Data Mart te implementeren, omdat u alleen de enige subset van de gegevens hoeft te concentreren.
• Het bevat historische gegevens waarmee de analist datatrends kan bepalen.

Nadelen

• Vaak creëren ondernemingen te veel ongelijksoortige en niet-gerelateerde datamarts zonder veel voordeel. Het kan een grote hindernis worden om te handhaven.
• Data Mart kan niet bedrijfsbreed leveren gegevensanalyse omdat hun dataset beperkt is.

Samenvatting

• Definieer Data Mart: Een Data Mart wordt gedefinieerd als een subset van Data Warehouse die gericht is op een enkel functioneel gebied van een organisatie.
• Data Mart helpt de responstijd van de gebruiker te verbeteren dankzij een vermindering van het gegevensvolume.
• Drie soorten datamart zijn 1) Afhankelijk 2) Onafhankelijk 3) Hybride
• Belangrijke implementatiestappen van Data Mart zijn 1) Ontwerpen 2) Constructeren 3 Bevullen 4) Toegang krijgen tot en 5) Beheren
• De implementatiecyclus van een Data Mart moet in korte tijdsperioden worden gemeten, dat wil zeggen in weken in plaats van maanden of jaren.
• Datamart is een kosteneffectief alternatief voor een datawarehouse, waarvan de bouw hoge kosten kan vergen.
• Data Mart kan geen bedrijfsbrede data-analyse bieden, omdat de dataset beperkt is.