Vad är ett datalager? Typer

Vad är Data Warehousing?

Datalagerhantering (DW) är processen att samla in och hantera data från olika källor för att ge meningsfulla affärsinsikter. Ett datalager används vanligtvis för att koppla samman och analysera affärsdata från heterogena källor, och det är kärnan i alla Business Intelligence (BI)-system som är byggda för dataanalys och rapportering.

Datalager är en blandning av tekniker och komponenter som stöder strategisk användning av data. Det är elektronisk lagring av stora mängder affärsinformation utformad för frågor och analys snarare än transaktionsbehandling. Datalagret omvandlar rådata till användbar information och levererar den till användare i tid för att fatta viktiga beslut.

En beslutsstödsdatabas (datalagret) underhålls separat från en organisations operativa databas. Datalagret är inte en produkt utan en miljö – en arkitektonisk konstruktion av ett informationssystem som förser användare med aktuell och historisk beslutsstödsinformation som är svår att komma åt eller presentera i ett traditionellt operativt datalager.

Du kanske vet att en 3NF-designad databas för ett lagersystem vanligtvis har många tabeller som är relaterade till varandra. Till exempel kan en rapport om aktuellt lager kräva fler än 12 sammanfogade villkor, vilket saktar ner svarstider för frågor och rapporter. Ett datalager tillhandahåller en avnormaliserad design som minskar svarstiden och förbättrar prestandan för rapportering och analys.

Datalagersystemet är också känt under följande namn:

• Decision Support System (DSS)
• Verkställande informationssystem
• Management Information System
• Business Intelligence-lösning
• Analytisk applikation
• Datalager

Datalagrets historia

Datalagret hjälper användare att förstå och förbättra organisationens prestanda. Behovet av att lagra data utvecklades i takt med att datorsystem blev mer komplexa och bearbetade ständigt växande informationsvolymer. Datalager är inte ett nytt koncept – det har en lång utvecklingshistoria.

Här är några av de viktigaste händelserna i datalagrets utveckling:

• 1960 — Dartmouth och General Mills utvecklar i ett gemensamt forskningsprojekt termerna ”dimensioner” och ”fakta”.
• 1970 — AC Nielsen och IRI introducerar dimensionella datamarts för detaljhandelsförsäljning.
• 1983 — Teradata Corporation introducerar ett databashanteringssystem som är särskilt utformat för beslutsstöd.
• Sent på 1980-talet - IBM Forskarna Paul Murphy och Barry Devlin utvecklar konceptet Business Data Warehouse.
• Den moderna datalagervisionen tillskrivs Bill Inmon, ofta kallad "datalagrets fader". Han författade grundläggande verk om att bygga, använda och underhålla datalagret och Corporate Information Factory.

Hur fungerar ett datalager?

Ett datalager fungerar som ett centralt arkiv där information kommer från en eller flera datakällor. Data flödar in i lagret från transaktionssystem och andra relationsdatabaser.

Inkommande data kan vara:

1. Strukturerad
2. Halvstrukturerad
3. Ostrukturerad

Data bearbetas, transformeras och matas in så att användare kan komma åt den kurerade datamängden via Business Intelligence-verktyg, SQL-klienter och kalkylblad. Ett datalager sammanfogar information från olika källor till en omfattande databas.

Genom att samla all denna information på ett ställe kan en organisation analysera sina kunder holistiskt och bekräfta att de har beaktat alla tillgängliga datapunkter. Datalager möjliggör datautvinning – datautvinning söker efter mönster i data som leder till högre försäljning, lägre kostnader och bättre prognoser.

Typer av datalager

De tre huvudtyperna av datalager (DWH) är:

1. Enterprise Data Warehouse (EDW):

Ett Enterprise Data Warehouse är ett centraliserat lager som tillhandahåller beslutsstödstjänster över hela organisationen. Det erbjuder en enhetlig metod för att organisera och representera data och ger möjlighet att klassificera data efter ämne och bevilja åtkomst enligt dessa indelningar.

2. Operationellt datalager (ODS):

An OperaEtt tionellt datalager är ett datalager som används när varken ett datalager eller OLTP-system kan tillgodose organisationens rapporteringsbehov. I ett ODS uppdateras data i realtid, vilket gör det idealiskt för rutinmässiga aktiviteter som att lagra aktuella medarbetarregister.

3. Data Mart:

A Data Mart är en delmängd av datalagret utformat för en specifik affärsverksamhet, såsom försäljning, finans eller marknadsföring. I en oberoende datamart kan data samlas in direkt från källsystem.

Allmänna steg i ett datalager

Inledningsvis antog organisationer relativt enkla användningsområden för datalager. Med tiden framträdde mer sofistikerade mönster. Följande är de allmänna stegen i användningen av datalager (DWH):

Off-line Operationell databas:

Data kopieras från ett operativsystem till en annan server. Inläsning, bearbetning och rapportering mot kopian påverkar inte operativsystemets prestanda.

Offline Data Warehouse:

Data i datalagret uppdateras regelbundet från den operativa databasen. Informationen mappas och omvandlas för att uppfylla datalagrets mål.

Realtidsdatalager:

Datalager uppdateras varje gång en transaktion sker i den operativa databasen. Bokningssystem för flygbolag och järnvägar är klassiska exempel.

Integrerat datalager:

Datalager uppdateras kontinuerligt när operativsystem utför transaktioner. Datalagret genererar sedan transaktioner som skickas tillbaka till operativsystemet.

Komponenter i ett datalager

De fyra komponenterna i ett datalager är:

Lasthanterare: Även kallad frontkomponenten, hanterar Load Manager alla operationer associerade med extraction och inläsning av data i datalagret. Dessa operationer inkluderar transformationer som förbereder data för inmatning i datalagret.

Lagerchef: Lagerchefen utför operationer som är förknippade med datahantering inom lagret. Hen analyserar data för att säkerställa konsekvens, skapar index och vyer, genererar denormaliseringar och aggregeringar, transformerar och sammanfogar källdata samt arkiverar eller säkerhetskopierar data.

Frågehanterare: Frågehanteraren, även känd som backend-komponenten, hanterar operationer relaterade till användarfrågor. Den dirigerar frågor till lämpliga tabeller och schemalägger deras körning.

Åtkomstverktyg för slutanvändare:

Dessa verktyg delas in i fem grupper: 1) Datarapportering, 2) Frågeverktyg, 3) Verktyg för applikationsutveckling, 4) EIS-verktyg och 5) OLAP-verktyg och Data Mining-verktyg.

Vem behöver ett datalager?

Ett datalager (DWH) behövs för alla typer av användare, inklusive:

• Beslutsfattare som är beroende av stora datamängder.
• Användare som kör anpassade, komplexa processer för att kombinera information från flera källor.
• Människor som vill ha enkel och smidig teknik för att komma åt data.
• Team som vill ha en systematisk och repeterbar metod för att fatta beslut.
• Användare som behöver snabb prestanda på stora datamängder för rapporter, dashboards, rutnät eller diagram.
• Analytiker som vill upptäcka dolda mönster i dataflöden och grupperpings.

Vad används ett datalager till?

Nedan följer de vanligaste sektorerna där datalager används:

Flygbolag:

Inom flygbranschen stöder datalager besättningstilldelning, analys av rutternas lönsamhet, kampanjer för bonusprogram och liknande operativa beslut.

Bank:

Datalager används flitigt inom banksektorn för att effektivt hantera skrivbordsresurser. Flera banker använder dem också för marknadsundersökningar, produktprestandaanalyser och verksamhetsplanering.

Sjukvård:

Hälso- och sjukvårdssektorn använder datalager för att strategisera och förutsäga resultat, generera patientbehandlingsrapporter och dela data med försäkringspartners och sjukvårdstjänster.

Offentlig sektor:

Inom den offentliga sektorn stöder datalager underrättelseinsamling och hjälper myndigheter att upprätthålla och analysera skatteregister och hälsopolicyregister för varje individ.

Investeringar och försäkringar:

Inom denna sektor används lager för att analysera datamönster, kundtrender och marknadsrörelser.

Detaljhandelskedjor:

Detaljhandelskedjor använder datalager för distribution och marknadsföring, för att track-artiklar och kunders köpmönster, planera kampanjer och fastställa prispolicy.

Telekommunikation:

Telekomföretag använder datalager för produktkampanjer, försäljningsbeslut och distributionsbeslut.

Besöksnäringen:

Hotell- och restaurangbranschen använder datalager för att utforma och uppskatta reklam- och marknadsföringskampanjer som riktar sig till kunder baserat på feedback och resmönster.

Steg för att implementera ett datalager

Det bästa sättet att hantera affärsrisken i samband med en implementering av ett datalager är att följa en tredelad strategi:

1. Företagsstrategi: Identifiera den nuvarande tekniska arkitekturen och verktygen, plus de fakta, dimensioner och attribut som lagret måste stödja. Datakartaping och transformation är en del av detta skede.
2. Fasad leverans: Implementera datalagret i faser baserat på ämnesområden. Relaterade affärsenheter som bokning och fakturering bör levereras först och sedan integreras.
3. Iterativ prototypping: Snarare än en big bang-implementering bör datalagret utvecklas, testas och förfinas iterativt.

Här är de viktigaste stegen i implementeringen av datalager tillsammans med deras leveranser:

Steg	Uppgifter	Deliverables
1	Definiera projektets omfattning	Omfattning Definition
2	Fastställ affärsbehov	Logisk datamodell
3	definiera OperaKrav för nationella datalager	Operationell datalagringsmodell
4	Förvärva eller utveckla extractionsverktyg	ExtracVerktyg och programvara
5	Definiera datakrav för datalager	Övergångsdatamodell
6	Dokument saknade data	Att-göra-projektlista
7	Karta Operational Data Store till Data Warehouse	DW-dataintegrationskarta
8	Utveckla databasdesign för datalager	DW-databasdesign
9	Extract-data från Operational Data Store	Integrerad DW-dataextracts
10	Ladda datalagret	Initial dataladdning
11	Underhålla datalagret	Löpande dataåtkomst och efterföljande laddningar

Bästa praxis för att implementera ett datalager

• Definiera en plan för att testa datas konsekvens, noggrannhet och integritet.
• Datalagret måste vara välintegrerat, väldefinierat och tidsstämplat.
• När du utformar datalagret, använd rätt verktyg, följ livscykeln, åtgärda datakonflikter tidigt och lär dig av misstag.
• Ersätt aldrig operativa system och operativa rapporter med lagret.
• Lägg inte för mycket tid på extracrensning och laddning av data – automatisera där det är möjligt.
• Involvera alla intressenter, inklusive affärsteam, i implementeringen av datalagret. Behandla lagret som ett gemensamt projekt så att det förblir användbart för slutanvändarna.
• Förbered en utbildningsplan för slutanvändarna.

Fördelar och nackdelar med ett datalager

Fördelar med ett datalager (DWH):

• Företagsanvändare kan snabbt komma åt viktig data från många källor på ett och samma ställe.
• Tillhandahåller konsekvent information över tvärfunktionella aktiviteter och stöder ad hoc-rapportering och frågor.
• Integrerar flera datakällor, vilket minskar belastningen på produktionssystem.
• Minskar den totala handläggningstiden för analys och rapportering.
• Omstrukturering och integration gör rapportering och analys enklare för slutanvändaren.
• Sparar användarens tid genom att eliminera behovet av att hämta data från flera källor.
• Lagrar stora mängder historisk data, vilket möjliggör trendanalys och framtida förutsägelser.

Nackdelar med ett datalager:

• Inte ett idealiskt alternativ för ostrukturerad data.
• Skapande och implementering är tidskrävande.
• Datalager kan bli föråldrade relativt snabbt utan aktivt underhåll.
• Ändringar av datatyper, intervall, källscheman, index eller frågor är svåra.
• Datalagret kan verka enkelt vid ytan men är komplext för den genomsnittliga användaren.
• Trots bästa ansträngningar tenderar projektets omfattning att utökas under genomförandet.
• Olika affärsenheter utvecklar ibland motstridiga affärsregler.
• Organisationer måste avsätta betydande resurser för utbildning och implementering.

Framtiden för datalager

• Regulatoriska begränsningar kan begränsa möjligheten att kombinera olika datakällor, inklusive ostrukturerad data som är svårare att lagra och hantera.
• Som Storlek av databaser växer, det som räknas som en mycket stor databas fortsätter att flyttas uppåt, och att bygga och driva lager i den skalan blir alltmer komplext.
• Multimediadata kan inte manipuleras lika lätt som text. Relationell programvara hanterar textinformation väl, men rich media är fortfarande ett aktivt forskningsområde.

Data Warehouse-verktyg

Det finns många datalagerverktyg tillgängliga på marknaden. Här är några av de mest framträdande:

1. MarkLogic:

Marklogic är en datalagerlösning som förenklar och accelererar dataintegration med en omfattande uppsättning företagsfunktioner. Den utför komplexa sökoperationer och kan söka efter dokument, relationer och metadata.

2. Oracle:

Oracle är den branschledande databasen. Den erbjuder ett brett utbud av datalagerlösningar för både lokala och molnbaserade driftsättningar och hjälper till att optimera kundupplevelsen genom att förbättra den operativa effektiviteten.

3. Amazon Rödförskjutning:

Amazon rödförskjutning är en datalagertjänst som är enkel och kostnadseffektiv för att analysera data med standard SQL och befintliga BI-verktyg. Den kör komplexa frågor mot petabyte av strukturerad data med hjälp av frågeoptimeringstekniker.

Här är en komplett lista med användbara Data Warehouse-verktyg.

Vanliga frågor