Hvad er et datalager? Typer

Hvad er data warehousing?

Datalagring (DW) er processen med at indsamle og administrere data fra forskellige kilder for at give meningsfuld forretningsindsigt. Et datalager bruges typisk til at forbinde og analysere forretningsdata fra heterogene kilder, og det er kernen i ethvert Business Intelligence (BI)-system, der er bygget til dataanalyse og rapportering.

Data warehousing er en blanding af teknologier og komponenter, der understøtter strategisk brug af data. Det er elektronisk lagring af store mængder forretningsinformation designet til forespørgsler og analyse snarere end transaktionsbehandling. Data warehouse omdanner rådata til brugbar information og leverer den til brugerne i tide til at træffe beslutninger, der er vigtige.

En beslutningsstøttedatabase (Data Warehouse) vedligeholdes separat fra en organisations driftsdatabase. Data Warehouse er ikke et produkt, men et miljø – en arkitektonisk konstruktion af et informationssystem, der giver brugerne aktuelle og historiske beslutningsstøtteoplysninger, som er vanskelige at få adgang til eller præsentere i et traditionelt driftsdatalager.

Du ved måske, at en 3NF-designet database til et lagersystem typisk har mange tabeller, der er relateret til hinanden. For eksempel kan en rapport om den aktuelle lagerbeholdning kræve mere end 12 sammenføjede betingelser, hvilket forsinker svartiderne for forespørgsler og rapporter. Et datalager leverer et denormaliseret design, der reducerer svartid og forbedrer ydeevnen for rapportering og analyse.

Datavarehussystemet er også kendt under følgende navne:

• Decision Support System (DSS)
• Executive Information System
• Management Information System
• Business Intelligence-løsning
• Analytisk applikation
• Data varehus

Datalagerets historie

Datawarehouse hjælper brugerne med at forstå og forbedre deres organisations præstationer. Behovet for at lagre data udviklede sig i takt med at computersystemer blev mere komplekse og behandlede stadigt voksende mængder information. Datawarehousing er ikke et nyt koncept – det har en lang evolutionær historie.

Her er nogle af de vigtigste begivenheder i udviklingen af ​​datalageret:

• 1960 — Dartmouth og General Mills udvikler i et fælles forskningsprojekt begreberne "dimensioner" og "fakta".
• 1970 — AC Nielsen og IRI introducerer dimensionelle datamarts til detailsalg.
• 1983 — Teradata Corporation introducerer et databasestyringssystem, der er specielt designet til beslutningsstøtte.
• Sent i 1980'erne — IBM Forskerne Paul Murphy og Barry Devlin udvikler Business Data Warehouse-konceptet.
• Den moderne datavarehusvision tilskrives Bill Inmon, ofte kaldet "datalagerets fader". Han forfattede grundlæggende værker om opbygning, brug og vedligeholdelse af datalageret og Corporate Information Factory.

Hvordan fungerer et datalager?

Et datalager fungerer som et centralt lager, hvor information ankommer fra en eller flere datakilder. Data strømmer ind i lageret fra transaktionelle systemer og andre relationelle databaser.

De indgående data kan være:

1. Struktureret
2. Halvstruktureret
3. Ustruktureret

Dataene behandles, transformeres og indtages, så brugerne kan få adgang til det kuraterede datasæt via Business Intelligence-værktøjer, SQL-klienter og regneark. Et datalager samler information fra forskellige kilder i én omfattende database.

Ved at konsolidere al denne information på ét sted kan en organisation analysere sine kunder holistisk og bekræfte, at den har taget alle tilgængelige datapunkter i betragtning. Data Warehousing muliggør Data Mining — Data Mining søger efter mønstre i dataene, der fører til højere salg, lavere omkostninger og bedre prognoser.

Typer af datavarehus

De tre hovedtyper af datalagre (DWH) er:

1. Enterprise Data Warehouse (EDW):

Et Enterprise Data Warehouse er et centraliseret lager, der leverer beslutningsstøttetjenester på tværs af en hel organisation. Det tilbyder en samlet tilgang til organisering og repræsentation af data og giver mulighed for at klassificere data efter emne og give adgang i henhold til disse opdelinger.

2. Operanationalt datalager (ODS):

An OperaEt ationalt datalager er et datalager, der bruges, når hverken et datalager eller OLTP-systemer kan opfylde organisationens rapporteringsbehov. I et ODS opdateres data i realtid, hvilket gør det ideelt til rutinemæssige aktiviteter såsom lagring af aktuelle medarbejderregistre.

3. Data Mart:

A Data Mart er en delmængde af datalageret, der er designet til en specifik forretningsområde, såsom salg, finans eller marketing. I et uafhængigt datalager kan data indsamles direkte fra kildesystemer.

Generelle stadier af et datalager

I starten anvendte organisationer relativt simple anvendelser af data warehousing. Med tiden opstod der mere sofistikerede mønstre. Følgende er de generelle stadier i brugen af ​​data warehouse (DWH):

Offline Operanational database:

Data kopieres fra et operativsystem til en anden server. Indlæsning, behandling og rapportering mod kopien påvirker ikke operativsystemets ydeevne.

Offline datavarehus:

Data i datalageret opdateres regelmæssigt fra den operationelle database. Dataene kortlægges og transformeres for at opfylde datalagerets mål.

Realtidsdatalager:

Datalagre opdateres, hver gang en transaktion finder sted i den operationelle database. Fly- og togbookingsystemer er klassiske eksempler.

Integreret datavarehus:

Datalagre opdateres løbende, når operativsystemer udfører transaktioner. Datalagreet genererer derefter transaktioner, der sendes tilbage til operativsystemet.

Komponenter i et datavarehus

De fire komponenter i et datalager er:

Indlæsningsstyring: Load Manager, også kaldet frontkomponenten, håndterer alle operationer forbundet med f.eks.traction og indlæsning af data i datalageret. Disse operationer omfatter de transformationer, der forbereder data til indtastning i datalageret.

Lagerchefen: Lagerchefen udfører operationer forbundet med håndtering af data i lageret. Vedkommende analyserer data for at sikre konsistens, opretter indeks og visninger, genererer denormaliseringer og aggregeringer, transformerer og fletter kildedata og arkiverer eller sikkerhedskopierer data.

Query Manager: Query Manager, også kendt som backend-komponenten, håndterer handlinger relateret til brugerforespørgsler. Den sender forespørgsler til de relevante tabeller og planlægger deres udførelse.

Adgangsværktøjer for slutbrugere:

Disse værktøjer falder i fem grupper: 1) Datarapportering, 2) Forespørgselsværktøjer, 3) Applikationsudviklingsværktøjer, 4) EIS-værktøjer og 5) OLAP-værktøjer og Data Mining-værktøjer.

Hvem har brug for et datalager?

Et datalager (DWH) er nødvendigt for alle typer brugere, herunder:

• Beslutningstagere, der er afhængige af store mængder data.
• Brugere, der kører tilpassede, komplekse processer for at kombinere information fra flere kilder.
• Folk, der ønsker enkel, problemfri teknologi til at få adgang til data.
• Teams, der ønsker en systematisk og gentagelig tilgang til beslutningstagning.
• Brugere, der har brug for hurtig ydeevne på enorme datasæt til rapporter, dashboards, gitre eller diagrammer.
• Analytikere, der søger at opdage skjulte mønstre i datastrømme og grupperpings.

Hvad bruges et datavarehus til?

Nedenfor er de mest almindelige sektorer, hvor datalagre anvendes:

Flyselskab:

I luftfartsbranchen understøtter datalagre tildeling af besætning, analyse af ruterentabilitet, kampagner for bonusprogrammer og lignende operationelle beslutninger.

Banker:

Datalagre bruges i vid udstrækning i banksektoren til effektivt at administrere skrivebordsressourcer. Flere banker bruger dem også til markedsundersøgelser, produktpræstationsanalyse og driftsplanlægning.

Healthcare:

Sundhedssektoren bruger datalagre til at strategisere og forudsige resultater, generere patientbehandlingsrapporter og dele data med forsikringspartnere og lægehjælpstjenester.

Offentlige sektor:

I den offentlige sektor understøtter datalagre indsamling af efterretninger og hjælper offentlige myndigheder med at vedligeholde og analysere skatteregistre og sundhedspolitikregistre for hver enkelt person.

Investering og forsikring:

I denne sektor bruges lagre til at analysere datamønstre, kundetendenser og markedsbevægelser.

Detailkæder:

Detailkæder bruger datalagre til distribution og markedsføring, til track varer og kundernes købsmønstre, planlægge kampagner og fastlægge prispolitik.

Telekommunikation:

Teleselskaber bruger datalagre til produktpromoveringer, salgsbeslutninger og distributionsbeslutninger.

Gæstfrihedsbranche:

Hotel- og restaurationsbranchen bruger datalagre til at designe og estimere reklame- og salgskampagner, der er målrettet kunder baseret på feedback og rejsemønstre.

Trin til implementering af et datalager

Den bedste måde at håndtere forretningsrisikoen forbundet med en datawarehouse-implementering på er at følge en tredelt strategi:

1. Virksomhedsstrategi: Identificer den nuværende tekniske arkitektur og værktøjer, plus de fakta, dimensioner og attributter, som lageret skal understøtte. Datakortping og transformation er en del af denne fase.
2. Faseopdelt levering: Implementer datalageret i faser baseret på emneområder. Relaterede forretningsenheder såsom booking og fakturering bør leveres først og derefter integreres.
3. Iterativ prototypeping: I stedet for en big bang-implementering bør datawarehouset udvikles, testes og forfines iterativt.

Her er de vigtigste trin i implementeringen af ​​et datalager sammen med deres leverancer:

Trin	Opgaver	Leverancer
1	Definer projektets omfang	Definition af omfang
2	Fastlæg forretningsbehov	Logisk datamodel
3	Definere OperaKrav til nationale datalager	Operational Data Store Model
4	Erhverve eller udvikle ekstractionsværktøjer	ExtracVærktøjer og software
5	Definer datakrav til datalageret	Overgangsdatamodel
6	Dokumenter manglende data	Opgaveliste
7	Kort Operational Data Store til Data Warehouse	DW-dataintegrationskort
8	Udvikle design af Data Warehouse-database	DW-databasedesign
9	Extract-data fra Operanationalt datalager	Integreret DW-dataeksempeltracts
10	Indlæs datalageret	Indledende dataindlæsning
11	Vedligehold datalageret	Løbende dataadgang og efterfølgende indlæsninger

Bedste praksis til implementering af et datalager

• Definer en plan for at teste dataenes konsistens, nøjagtighed og integritet.
• Datavarehuset skal være velintegreret, veldefineret og tidsstemplet.
• Når du designer et datalager, skal du bruge det rigtige værktøj, følge livscyklussen, håndtere datakonflikter tidligt og lære af fejl.
• Erstat aldrig driftssystemer og driftsrapporter med lageret.
• Brug ikke for meget tid på ekstracrensning og indlæsning af data — automatiser hvor det er muligt.
• Involver alle interessenter, inklusive forretningsteams, i implementeringen af ​​data warehouset. Betragt data warehouset som et fælles projekt, så det forbliver nyttigt for slutbrugerne.
• Udarbejd en træningsplan for slutbrugerne.

Fordele og ulemper ved et datalager

Fordele ved et datalager (DWH):

• Erhvervsbrugere kan hurtigt få adgang til kritiske data fra mange kilder på ét sted.
• Leverer ensartede oplysninger på tværs af tværfunktionelle aktiviteter og understøtter ad hoc-rapportering og forespørgsler.
• Integrerer flere datakilder, hvilket reducerer belastningen på produktionssystemerne.
• Reducerer den samlede behandlingstid for analyse og rapportering.
• Omstrukturering og integration gør rapportering og analyse nemmere for slutbrugeren.
• Sparer brugerens tid ved at fjerne behovet for at hente data fra flere kilder.
• Lagrer store mængder historiske data, hvilket muliggør trendanalyse og fremtidige forudsigelser.

Ulemper ved et datalager:

• Ikke en ideel mulighed for ustrukturerede data.
• Oprettelse og implementering er tidskrævende.
• Datalagre kan blive forældede relativt hurtigt uden aktiv vedligeholdelse.
• Ændringer af datatyper, intervaller, kildeskemaer, indeks eller forespørgsler er vanskelige.
• Datalageret kan virke nemt på overfladen, men er komplekst for den gennemsnitlige bruger.
• Trods de bedste bestræbelser har projektets omfang en tendens til at udvides under implementeringen.
• Forskellige forretningsenheder udvikler sommetider modstridende forretningsregler.
• Organisationer skal afsætte betydelige ressourcer til træning og udrulning.

Fremtiden for data warehousing

• Reguleringsmæssige begrænsninger kan begrænse muligheden for at kombinere kilder til forskellige data, herunder ustrukturerede data, der er sværere at lagre og administrere.
• Som størrelse af databaser vokser, det, der tæller som en meget stor database, bliver ved med at flytte sig opad, og det bliver stadig mere komplekst at bygge og drive lagre i den skala.
• Multimediedata kan ikke manipuleres lige så let som tekst. Relationel software håndterer tekstinformation godt, men rich media er fortsat et aktivt forskningsområde.

Værktøjer til datavarehus

Der findes mange data warehousing-værktøjer på markedet. Her er nogle af de mest fremtrædende:

1. MarkLogic:

MarkLogic er en datalagerløsning, der forenkler og accelererer dataintegration med et omfattende sæt af virksomhedsfunktioner. Den udfører komplekse søgeoperationer og kan forespørge på dokumenter, relationer og metadata.

2. Oracle:

Oracle er den brancheførende database. Den tilbyder en bred vifte af datalagerløsninger til både lokale og cloud-implementeringer og hjælper med at optimere kundeoplevelsen ved at forbedre driftseffektiviteten.

3. Amazon Rødforskydning:

Amazon rødforskydning er en datalagertjeneste, der er enkel og omkostningseffektiv til at analysere data med standard SQL og eksisterende BI-værktøjer. Den kører komplekse forespørgsler mod petabytes af strukturerede data ved hjælp af forespørgselsoptimeringsteknikker.

Her er en komplet liste over nyttige Værktøjer til datavarehus.

Ofte Stillede Spørgsmål