Wat is een datawarehouse? Soorten

Wat is datawarehousing?

Datawarehousing (DW) Datawarehouse is het proces van het verzamelen en beheren van data uit diverse bronnen om waardevolle zakelijke inzichten te verkrijgen. Een datawarehouse wordt doorgaans gebruikt om bedrijfsdata uit heterogene bronnen te verbinden en te analyseren, en vormt de kern van elk business intelligence (BI)-systeem dat is ontworpen voor data-analyse en rapportage.

Datawarehousing is een combinatie van technologieën en componenten die het strategische gebruik van data ondersteunt. Het is de elektronische opslag van grote hoeveelheden bedrijfsinformatie, ontworpen voor het opvragen en analyseren van gegevens in plaats van voor transactieverwerking. Het datawarehouse transformeert ruwe data in bruikbare informatie en levert deze tijdig aan gebruikers, zodat zij belangrijke beslissingen kunnen nemen.

Een beslissingsondersteunende database (het datawarehouse) wordt los van de operationele database van een organisatie beheerd. Het datawarehouse is geen product, maar een omgeving – een architectonische constructie van een informatiesysteem dat gebruikers voorziet van actuele en historische beslissingsondersteunende informatie die moeilijk toegankelijk of aanwezig is in een traditionele operationele dataopslag.

U weet wellicht dat een 3NF-database voor een voorraadbeheersysteem doorgaans veel tabellen bevat die met elkaar verbonden zijn. Een rapport over de huidige voorraad kan bijvoorbeeld meer dan 12 gekoppelde voorwaarden vereisen, wat de responstijden van query's en rapporten vertraagt. Een datawarehouse biedt een gedenormaliseerd ontwerp dat de responstijd verkort en de prestaties voor rapportage en analyses verbetert.

Het datawarehouse-systeem is ook bekend onder de volgende namen:

• Beslissingsondersteunend systeem (DSS)
• Uitvoerend informatiesysteem
• Beheer informatie Systeem
• Business Intelligence-oplossing
• Analytische toepassing
• Datawarehouse

Geschiedenis van het datawarehouse

Een datawarehouse helpt gebruikers de prestaties van hun organisatie te begrijpen en te verbeteren. De behoefte aan dataopslag is ontstaan ​​doordat computersystemen complexer werden en steeds grotere hoeveelheden informatie verwerkten. Datawarehousing is geen nieuw concept; het kent een lange evolutiegeschiedenis.

Hieronder volgen enkele belangrijke gebeurtenissen in de evolutie van het datawarehouse:

• 1960 — Dartmouth en General Mills ontwikkelen in een gezamenlijk onderzoeksproject de termen 'dimensies' en 'feiten'.
• 1970 — AC Nielsen en IRI introduceren dimensionale data marts voor detailhandelsverkopen.
• 1983 — Teradata Corporation introduceert een databasemanagementsysteem dat specifiek is ontworpen voor besluitvormingsondersteuning.
• Late 1980s - IBM Onderzoekers Paul Murphy en Barry Devlin ontwikkelen het concept van het Business Data Warehouse.
• De moderne visie op datawarehouses wordt toegeschreven aan Bill InmonHij wordt vaak de "vader van het datawarehouse" genoemd. Hij schreef baanbrekende werken over het bouwen, gebruiken en onderhouden van het datawarehouse en de Corporate Information Factory.

Hoe werkt een datawarehouse?

Een datawarehouse fungeert als een centrale opslagplaats waar informatie vanuit één of meerdere databronnen binnenkomt. Data stroomt het datawarehouse binnen vanuit transactionele systemen en andere relationele databases.

De binnenkomende gegevens kunnen zijn:

1. Gestructureerde
2. Semi-gestructureerd
3. Ongestructureerd

De gegevens worden verwerkt, getransformeerd en ingevoerd, zodat gebruikers toegang hebben tot de samengestelde dataset via business intelligence-tools, SQL-clients en spreadsheets. Een datawarehouse voegt informatie uit verschillende bronnen samen in één uitgebreide database.

Door al deze informatie op één plek te verzamelen, kan een organisatie haar klanten holistisch analyseren en bevestigen dat ze elk beschikbaar datapunt in overweging heeft genomen. Datawarehousing maakt datamining mogelijk — datamining zoekt naar patronen in de data die leiden tot hogere omzet, lagere kosten en betere prognoses.

Soorten datawarehouse

De drie belangrijkste typen datawarehouses (DWH) zijn:

1. Enterprise-datawarehouse (EDW):

Een Enterprise Data Warehouse is een gecentraliseerd datawarehouse dat beslissingsondersteunende diensten levert aan de gehele organisatie. Het biedt een uniforme aanpak voor het organiseren en weergeven van gegevens en maakt het mogelijk om gegevens te classificeren op onderwerp en toegang te verlenen op basis van die categorieën.

2. OperaNationale gegevensopslag (ODS):

An OperaEen National Data Store (ODS) is een dataopslag die wordt gebruikt wanneer noch een datawarehouse, noch OLTP-systemen aan de rapportagebehoeften van de organisatie kunnen voldoen. In een ODS worden gegevens in realtime vernieuwd, waardoor het ideaal is voor routinematige activiteiten zoals het opslaan van actuele personeelsgegevens.

3. Datamart:

A Datamart Een datamart is een subset van het datawarehouse, ontworpen voor een specifieke bedrijfslijn, zoals verkoop, financiën of marketing. In een onafhankelijke datamart kunnen gegevens rechtstreeks uit bronsystemen worden verzameld.

Algemene fasen van een datawarehouse

Aanvankelijk maakten organisaties gebruik van relatief eenvoudige vormen van datawarehousing. Na verloop van tijd ontstonden er meer geavanceerde patronen. De volgende fasen zijn over het algemeen te onderscheiden in het gebruik van een datawarehouse (DWH):

offline Operaationele database:

Gegevens worden van een operationeel systeem naar een andere server gekopieerd. Het laden, verwerken en rapporteren van de kopie heeft geen invloed op de prestaties van het operationele systeem.

Offline datawarehouse:

De gegevens in het datawarehouse worden regelmatig bijgewerkt vanuit de operationele database. De gegevens worden in kaart gebracht en getransformeerd om te voldoen aan de doelstellingen van het datawarehouse.

Realtime datawarehouse:

Datawarehouses worden bijgewerkt telkens wanneer er een transactie plaatsvindt in de operationele database. Boekingssystemen voor luchtvaartmaatschappijen en spoorwegmaatschappijen zijn klassieke voorbeelden.

Geïntegreerd datawarehouse:

Datawarehouses worden continu bijgewerkt wanneer operationele systemen transacties uitvoeren. Het datawarehouse genereert vervolgens transacties die worden teruggestuurd naar het operationele systeem.

Onderdelen van een datawarehouse

De vier componenten van een datawarehouse zijn:

Laadmanager: De Load Manager, ook wel de frontcomponent genoemd, beheert alle bewerkingen die verband houden met extracHet laden en verwerken van gegevens in het datawarehouse. Deze bewerkingen omvatten de transformaties die de gegevens voorbereiden voor invoer in het datawarehouse.

Warenhuis manager: De magazijnbeheerder voert taken uit die te maken hebben met het beheren van gegevens in het datawarehouse. Hij of zij analyseert gegevens om consistentie te waarborgen, creëert indexen en weergaven, genereert denormalisaties en aggregaties, transformeert en voegt brongegevens samen en archiveert of maakt back-ups van gegevens.

Querybeheerder: De Query Manager, ook wel de backend-component genoemd, behandelt bewerkingen met betrekking tot gebruikersquery's. Het stuurt query's door naar de juiste tabellen en plant de uitvoering ervan in.

Toegangstools voor eindgebruikers:

Deze tools vallen in vijf groepen uiteen: 1) Datarapportage, 2) Querytools, 3) Hulpmiddelen voor applicatieontwikkeling, 4) EIS-tools en 5) OLAP-tools. Dataminingtools.

Wie heeft een datawarehouse nodig?

Een datawarehouse (DWH) is nodig voor alle soorten gebruikers, waaronder:

• Besluitvormers die afhankelijk zijn van grote hoeveelheden data.
• Gebruikers die op maat gemaakte, complexe processen uitvoeren om informatie uit meerdere bronnen te combineren.
• Mensen die op zoek zijn naar eenvoudige, gebruiksvriendelijke technologie om toegang te krijgen tot gegevens.
• Teams die een systematische, herhaalbare aanpak willen voor het nemen van beslissingen.
• Gebruikers die snelle prestaties nodig hebben op enorme datasets voor rapporten, dashboards, tabellen of grafieken.
• Analisten die op zoek zijn naar verborgen patronen in datastromen en groeperingenpings.

Waar wordt een datawarehouse voor gebruikt?

Hieronder staan ​​de meest voorkomende sectoren waarin datawarehouses worden gebruikt:

Luchtvaartmaatschappij:

In de luchtvaartindustrie ondersteunen datawarehouses de planning van bemanningen, de analyse van de winstgevendheid van routes, promoties voor frequent flyer-programma's en soortgelijke operationele beslissingen.

Banking:

Datawarehouses worden in de banksector veelvuldig gebruikt om de resources van de verschillende afdelingen effectief te beheren. Verschillende banken zetten ze ook in voor marktonderzoek, productprestatieanalyse en operationele planning.

Gezondheidszorg:

De gezondheidszorgsector gebruikt datawarehouses om strategieën te ontwikkelen en resultaten te voorspellen, patiëntbehandelingsrapporten te genereren en gegevens te delen met verzekeringsmaatschappijen en medische hulpdiensten.

Publieke sector:

In de publieke sector ondersteunen datawarehouses het vergaren van inlichtingen en helpen ze overheidsinstanties bij het bijhouden en analyseren van belastinggegevens en gegevens over gezondheidszorgverzekeringen voor elk individu.

Beleggingen en verzekeringen:

In deze sector worden datawarehouses gebruikt om datapatronen, klanttrends en marktontwikkelingen te analyseren.

Winkelketens:

Winkelketens gebruiken datawarehouses voor distributie en marketing, om track artikelen en koopgedrag van klanten analyseren, promoties plannen en het prijsbeleid bepalen.

Telecommunicatie:

Telecombedrijven gebruiken datawarehouses voor productpromoties, verkoopbeslissingen en distributiebeslissingen.

Horeca:

De horeca gebruikt datawarehouses om reclame- en promotiecampagnes te ontwerpen en te schatten die gericht zijn op klanten op basis van feedback en reispatronen.

Stappen voor het implementeren van een datawarehouse

De beste manier om de bedrijfsrisico's die gepaard gaan met de implementatie van een datawarehouse te beheersen, is door een drieledige strategie te volgen:

1. Bedrijfsstrategie: Identificeer de huidige technische architectuur en tools, evenals de feiten, dimensies en kenmerken die het datawarehouse moet ondersteunen. Datamapping En transformatie maakt deel uit van deze fase.
2. Gefaseerde levering: Implementeer het datawarehouse gefaseerd, gebaseerd op de verschillende onderwerpen. Gerelateerde bedrijfsonderdelen zoals boekingen en facturering moeten eerst worden opgeleverd en vervolgens worden geïntegreerd.
3. Iteratieve Prototyping: In plaats van een grootschalige implementatie in één keer, moet het datawarehouse stapsgewijs worden ontwikkeld, getest en verfijnd.

Hieronder vindt u de belangrijkste stappen in de implementatie van een datawarehouse, samen met de bijbehorende resultaten:

Stap voor	Taken	Deliverables
1	Definieer de projectomvang	Reikwijdte Definitie
2	Bepaal de bedrijfsbehoeften	Logisch gegevensmodel
3	Define OperaNationale gegevensopslagvereisten	Operaationaal gegevensopslagmodel
4	Verwerf of ontwikkel extractie-instrumenten	Extract Hulpmiddelen en software
5	Definieer de datavereisten voor het datawarehouse.	Transitiedatamodel
6	Documenteer ontbrekende gegevens	Takenlijst
7	Wereldmap Operaationele gegevensopslag naar datawarehouse	DW-gegevensintegratiekaart
8	Ontwikkel een datawarehouse-databaseontwerp.	DW-databaseontwerp
9	Extract-gegevens van Operaationele gegevensopslag	Geïntegreerde DW-gegevens Extracts
10	Laad het datawarehouse.	Initiële gegevensbelasting
11	Het datawarehouse onderhouden	Doorlopende gegevenstoegang en daaropvolgende laadprocessen

Beste werkwijzen voor het implementeren van een datawarehouse

• Stel een plan op om de consistentie, nauwkeurigheid en integriteit van de gegevens te testen.
• Het datawarehouse moet goed geïntegreerd, goed gedefinieerd en van een tijdstempel voorzien zijn.
• Gebruik bij het ontwerpen van het datawarehouse de juiste tool, volg de levenscyclus, pak dataconflicten vroegtijdig aan en leer van fouten.
• Vervang operationele systemen en operationele rapporten nooit door het magazijn.
• Besteed niet te veel tijd aan extracHet verwerken, opschonen en laden van data — automatiseer waar mogelijk.
• Betrek alle belanghebbenden, inclusief de business teams, bij de implementatie van het datawarehouse. Beschouw het datawarehouse als een gezamenlijk project, zodat het nuttig blijft voor de eindgebruikers.
• Maak een opleidingsplan voor de eindgebruikers.

Voordelen en nadelen van een datawarehouse

Voordelen van een datawarehouse (DWH):

• Zakelijke gebruikers hebben zo snel toegang tot cruciale gegevens uit diverse bronnen op één centrale plek.
• Biedt consistente informatie voor alle activiteiten binnen verschillende afdelingen en ondersteunt ad-hoc rapportages en zoekopdrachten.
• Integreert meerdere gegevensbronnen, waardoor de belasting van productiesystemen wordt verminderd.
• Verkort de totale doorlooptijd voor analyse en rapportage.
• Door herstructurering en integratie worden rapportage en analyse eenvoudiger voor de eindgebruiker.
• Bespaart de gebruiker tijd doordat het niet meer nodig is om gegevens uit meerdere bronnen op te halen.
• Slaat grote hoeveelheden historische gegevens op, wat trendanalyses en toekomstige voorspellingen mogelijk maakt.

Nadelen van een datawarehouse:

• Geen ideale optie voor ongestructureerde gegevens.
• Het creëren en implementeren ervan kost veel tijd.
• Zonder actief onderhoud kunnen datawarehouses relatief snel verouderen.
• Wijzigingen in gegevenstypen, bereiken, bronschema's, indexen of query's zijn lastig.
• Een datawarehouse lijkt misschien eenvoudig, maar is complex voor de gemiddelde gebruiker.
• Ondanks alle inspanningen heeft de projectomvang de neiging om tijdens de implementatie uit te breiden.
• Soms hanteren verschillende bedrijfsonderdelen tegenstrijdige bedrijfsregels.
• Organisaties moeten aanzienlijke middelen vrijmaken voor training en implementatie.

De toekomst van datawarehousing

• Regelgevende beperkingen Dit kan de mogelijkheid beperken om gegevensbronnen uit verschillende bronnen te combineren, waaronder ongestructureerde gegevens die moeilijker op te slaan en te beheren zijn.
• Aangezien de lengte van de duwkabel Naarmate het aantal databases groeit, verschuift de definitie van een zeer grote database steeds verder naar boven, en het bouwen en beheren van datawarehouses op die schaal wordt steeds complexer.
• Multimediale gegevens Het is niet zo makkelijk te manipuleren als tekst. Relationele software kan goed overweg met tekstuele informatie, maar rich media blijft een actief onderzoeksgebied.

Datawarehouse-tools

Er zijn veel datawarehouse-tools beschikbaar op de markt. Hieronder enkele van de meest prominente:

1. Mark Logic:

MarkLogic Dit is een datawarehouse-oplossing die data-integratie vereenvoudigt en versnelt met een uitgebreide set bedrijfsfuncties. Het voert complexe zoekopdrachten uit en kan documenten, relaties en metadata doorzoeken.

2. Oracle:

Oracle is de toonaangevende database in de branche. Het biedt een breed scala aan datawarehouse-oplossingen voor zowel on-premises als cloudimplementaties en helpt de klantervaring te optimaliseren door de operationele efficiëntie te verbeteren.

3. Amazon Roodverschuiving:

Amazon Redshift is een datawarehouse-service die eenvoudig en kosteneffectief is voor het analyseren van gegevens met standaardmethoden. SQL en bestaande BI-tools. Het voert complexe query's uit op petabytes aan gestructureerde data met behulp van query-optimalisatietechnieken.

Hier is een volledige lijst met nuttige Datawarehouse-tools.

Veelgestelde vragen