Wat is DataMart in Data Warehouse? Typen & voorbeeld
David Carter
⚡ Slimme samenvatting
Het ontwerp van een datamart levert een gerichte subset van datawarehouse-informatie aan één afdeling, waarbij de drie datamart-typen, de vijf fasen van ontwerp tot beheer en de best practices voor een snelle, veilige en kosteneffectieve levering worden behandeld.
Een datamart biedt de analytische kracht van een datawarehouse voor één enkel team. Door zich te concentreren op één onderwerp, kan een afdeling snel haar eigen gegevens analyseren zonder te hoeven wachten op de verwerking van bedrijfsbrede workloads. De onderstaande paragrafen leggen uit wat een data mart is, waarom organisaties er een gebruiken, de drie beschikbare typen en hoe je er een implementeert en beheert.
Wat is datamart?
Een datamart is gericht op één specifiek functioneel gebied binnen een organisatie en bevat een subset van de gegevens die zijn opgeslagen in een database. DatawarehouseHet is een compacte versie van een datawarehouse, ontworpen voor gebruik door een specifieke afdeling, eenheid of groep gebruikers, bijvoorbeeld marketing, verkoop, personeelszaken of financiën.
Omdat een datamart slechts één functie vervult, wordt deze doorgaans beheerd door één afdeling binnen de organisatie. Deze focus zorgt ervoor dat de reikwijdte beperkt blijft en het eigenaarschap duidelijk is.
Een datamart haalt gegevens uit slechts een paar bronnen, in tegenstelling tot een datawarehouse dat veel bronnen integreert. Daardoor zijn datamarts klein en veel flexibeler dan een volledig datawarehouse.
Waarom hebben we DataMart nodig?
Organisaties maken om verschillende praktische redenen gebruik van data marts:
- Een datawarehouse verbetert de reactietijd van gebruikers door de hoeveelheid gegevens die ze opvragen te verminderen.
- Het biedt eenvoudig toegang tot veelgevraagde gegevens.
- Een datamart is eenvoudiger en goedkoper te implementeren dan een bedrijfsdatawarehouse.
- Het is flexibel: wanneer het model verandert, kan een kleinere datawarehouse snel opnieuw worden opgebouwd.
- Een datamart wordt gedefinieerd door één expert op een specifiek vakgebied, terwijl een datawarehouse wordt gedefinieerd door een interdisciplinair team. Daardoor is een datamart flexibeler en vatbaarder voor veranderingen.
- De gegevens zijn gepartitioneerd, waardoor zeer gedetailleerde toegangscontrole mogelijk is.
- Gegevens kunnen worden gesegmenteerd en opgeslagen op verschillende hardware- of softwareplatformen.
Kortom, omdat een data mart een kleiner, goed gedefinieerd deel van de data beheert, is deze sneller te bouwen, goedkoper in gebruik en gemakkelijker te beveiligen dan een enterprise data warehouse.
Niet alle data marts worden echter op dezelfde manier gebouwd. De bron waaruit een mart zijn gegevens haalt, bepaalt met welk van de drie typen je te maken hebt.
Soorten datamart
Er zijn drie hoofdtypen data marts, die zich onderscheiden door de herkomst van hun gegevens:
- Afhankelijk: Afhankelijke data marts halen gegevens rechtstreeks uit operationele bronnen, externe bronnen of beide.
- Onafhankelijk: Er wordt een onafhankelijke datamart gecreëerd zonder een centraal datawarehouse.
- Hybride: Een hybride datamart kan gegevens halen uit datawarehouses of operationele systemen.
Afhankelijke datamart
Een afhankelijke datamart haalt de gegevens van een organisatie uit één datawarehouse, wat het voordeel van centralisatie biedt. Als u een of meer fysieke datamarts wilt bouwen, configureert u deze als afhankelijke datamarts.
Een afhankelijke datamart kan op twee manieren worden gebouwd: een waarbij gebruikers naar behoefte toegang hebben tot zowel de datamart als het datawarehouse, en een waarbij de toegang beperkt is tot alleen de datamart. De tweede aanpak is niet optimaal, omdat deze kan leiden tot een "data-afvalberg" – data die afkomstig is van een gemeenschappelijke bron, maar vervolgens wordt weggegooid en grotendeels ongebruikt blijft.
Onafhankelijke DataMart
Een onafhankelijke data mart wordt gecreëerd zonder een centraal datawarehouse. Dit type data mart is een ideale optie voor kleinere afdelingen binnen een organisatie.
Een onafhankelijke datamart heeft geen enkele relatie met een enterprise datawarehouse of met een andere datamart. De gegevens worden er zelfstandig in geladen en geanalyseerd. Deze aanpak druist in tegen de belangrijkste reden voor het bouwen van een datawarehouse: een consistente, gecentraliseerde opslagplaats voor bedrijfsgegevens die door veel gebruikers met verschillende interesses kan worden geanalyseerd.
Hybride datamart
Een hybride datamart combineert input van bronnen buiten het datawarehouse. Dit is handig wanneer ad-hocintegratie nodig is, bijvoorbeeld nadat een nieuwe groep of een nieuw product aan de organisatie is toegevoegd.
Het is zeer geschikt voor omgevingen met meerdere databases en biedt een snelle implementatie met minimale inspanning voor het opschonen van gegevens. Een hybride datawarehouse ondersteunt ook grote opslagstructuren en werkt goed voor kleinere, datacentrische applicaties.
Stappen bij het implementeren van een Datamart
Het implementeren van een datawarehouse is een lonend, maar gedetailleerd proces. Het doorloopt vijf fasen: ontwerpen, bouwen, vullen, toegang krijgen tot en beheren. Elke fase wordt hieronder beschreven.
Het ontwerpen van
Ontwerpen is de eerste fase van de implementatie van een datamart. Het omvat alle taken, van het eerste verzoek om een datamart tot het verzamelen van de vereisten, en het eindigt met het logische en fysieke ontwerp van de datamart.
De ontwerpstap omvat de volgende taken:
- Het verzamelen van de zakelijke en technische vereisten en het identificeren van gegevensbronnen.
- Het selecteren van de juiste subset van gegevens.
- Het ontwerpen van de logische en fysieke structuur van de datamart.
Gegevens kunnen worden gepartitioneerd op basis van de volgende criteria:
- Datum
- Bedrijfs- of functionele eenheid
- Aardrijkskunde
- Elke combinatie van bovenstaande
Gegevens kunnen worden gepartitioneerd op applicatie- of DBMS-niveau, hoewel partitionering op applicatieniveau wordt aanbevolen omdat dit een ander datamodel mogelijk maakt naarmate de bedrijfsomgeving verandert. De meeste data marts zijn gebouwd op een dimensionaal model, zoals een sterschema, om query's snel te houden.
Welke producten en technologieën heeft u nodig?
Een eenvoudige pen en papier volstaan in dit stadium. Hulpmiddelen waarmee je UML- of entiteit-relatiediagrammen kunt maken, kunnen ook metadata toevoegen aan je logische en fysieke ontwerpen.
Bouwen
Constructie is de tweede fase van de implementatie. Deze fase omvat het creëren van de fysieke database en de logische structuren.
Deze stap omvat de volgende taak:
- Het implementeren van de fysieke database die in de eerdere fase is ontworpen, bijvoorbeeld door schemaobjecten zoals tabellen, indexen en weergaven te creëren.
Welke producten en technologieën heeft u nodig?
Voor het bouwen van een datamart hebt u een relationeel databasebeheersysteem (RDBMS) nodig. Een RDBMS biedt diverse functies die essentieel zijn voor het succes van een datamart:
- Opslagbeheer: Een RDBMS slaat gegevens op en beheert deze, waardoor u records kunt aanmaken, toevoegen en verwijderen.
- Snelle gegevenstoegang: Met een SQL-query kunt u eenvoudig gegevens ophalen op basis van specifieke voorwaarden of filters.
- Gegevensbescherming: Het RDBMS kan herstellen van systeemstoringen zoals stroomuitval en gegevens terugzetten vanuit back-ups als een schijf uitvalt.
- Ondersteuning voor meerdere gebruikers: Het biedt gelijktijdige toegang, waardoor meerdere gebruikers gegevens kunnen lezen en wijzigen zonder elkaars wijzigingen te overschrijven.
- Beveiliging: Het regelt welke gebruikers toegang hebben tot welke objecten en welke bewerkingen ze kunnen uitvoeren.
bevolken
In de derde fase worden de gegevens in de datawarehouse ingevoerd.
De stap 'invullen' omvat de volgende taken:
- Wereldmapping brongegevens naar doelgegevens.
- Extracde brongegevens verwerken.
- Het opschonen en transformeren van de gegevens.
- De gegevens worden in de datawarehouse geladen.
- Metadata aanmaken en opslaan.
Welke producten en technologieën heeft u nodig?
Je voert deze taken uit met een ETL (bijvoorbeeldtracDe tool (Transform, Load) onderzoekt de gegevensbronnen en voert een bron-naar-doel-mapping uit.ping, en vervolgens extracts transformeert, reinigt en laadt de gegevens in de datawarehouse.
Gaandeweg genereert de tool ook metadata: details zoals de herkomst van de gegevens, de actualiteit, de aangebrachte wijzigingen en het toegepaste samenvattingsniveau.
Toegang
Toegang tot de gegevens is de vierde stap en hierbij worden de gegevens daadwerkelijk gebruikt: het opvragen van gegevens, het maken van rapporten en grafieken, en het publiceren ervan. Eindgebruikers dienen zoekopdrachten in en bekijken de resultaten, vaak via OLAP gereedschap.
De toegangsstap omvat de volgende taken:
- Het opzetten van een meta-laag die databasestructuren en objectnamen vertaalt naar zakelijke termen, zodat niet-technische gebruikers gemakkelijk toegang hebben tot de datawarehouse.
- Het opzetten en onderhouden van de databasestructuren.
- Indien nodig, het opzetten van API's en interfaces.
Welke producten en technologieën heeft u nodig?
Je kunt de datawarehouse benaderen via de commandoregel of een grafische gebruikersinterface (GUI). Een GUI heeft meestal de voorkeur omdat hiermee eenvoudig grafieken gegenereerd kunnen worden en de interface gebruiksvriendelijker is dan de commandoregel.
Beheren
Beheer is de laatste fase van het implementatieproces van de datawarehouse. Teams gebruiken een grafische gebruikersinterface (GUI) of de commandoregel om doorlopende beheertaken uit te voeren, zoals:
- Doorlopend beheer van gebruikerstoegang.
- Systeemoptimalisatie en fijnafstelling voor betere prestaties.
- Nieuwe gegevens toevoegen en beheren in de datawarehouse.
- Het plannen van herstelscenario's om de beschikbaarheid van het systeem te garanderen in geval van een storing.
- Herstellen van hardware- en softwarefouten met behoud van gegevens.
Best practices voor het implementeren van datamarts
Volg deze best practices gedurende het gehele implementatieproces van de datawarehouse:
- Structureer de bron van een datawarehouse per afdeling.
- Meet de implementatiecyclus in weken in plaats van maanden of jaren.
- Betrek alle belanghebbenden bij de plannings- en ontwerpfase, want de implementatie van een datawarehouse kan complex zijn.
- Begroot nauwkeurig de kosten voor hardware, software, netwerken en implementatie van de datawarehouse.
- Zelfs wanneer een datawarehouse dezelfde hardware deelt, kan het zijn dat er andere software nodig is om gebruikersvragen af te handelen; beoordeel de extra rekenkracht en opslagruimte die nodig zijn voor snelle reacties.
- Als een datamart zich op een andere locatie bevindt dan het datawarehouse, zorg dan voor voldoende netwerkcapaciteit om de benodigde datavolumes te kunnen verplaatsen.
- Reserveer budget voor laadtijd, die toeneemt naarmate de complexiteit van de transformaties groter wordt.
Voor- en nadelen van een datamart
Net als bij elke architectuurkeuze, biedt een datawarehouse duidelijke voordelen, maar ook een aantal nadelen.
Voordelen
- Een data mart bevat een subset van organisatiebrede gegevens die waardevol zijn voor een specifieke groep gebruikers.
- Het is een kosteneffectief alternatief voor een datawarehouse, waarvan de bouw duur kan zijn.
- Een datawarehouse maakt snellere toegang tot gegevens mogelijk.
- Het is gebruiksvriendelijk omdat het is ontworpen voor de specifieke behoeften van de gebruikers, wat bedrijfsprocessen kan versnellen.
- Een datamart vereist minder implementatietijd dan een datawarehouse, omdat je je concentreert op slechts een subset van de gegevens.
- Het bevat historische gegevens die analisten helpen trends te identificeren.
Nadelen
- Bedrijven creëren soms te veel uiteenlopende, niet-gerelateerde data marts, die vervolgens moeilijk te onderhouden zijn.
- Een datawarehouse kan geen bedrijfsbrede data-analyse bieden, omdat de dataset beperkt is.
