Mis on andmeladu? Tüübid, määratlus ja näide

Mis on andmehoidla?

A Andmete ladustamine (DW) on protsess andmete kogumiseks ja haldamiseks erinevatest allikatest, et pakkuda sisukaid äriülevaateid. Andmeladu kasutatakse tavaliselt heterogeensetest allikatest pärit äriandmete ühendamiseks ja analüüsimiseks. Andmeladu on BI-süsteemi tuum, mis on loodud andmete analüüsiks ja aruandluseks.

See on tehnoloogiate ja komponentide segu, mis aitab andmeid strateegiliselt kasutada. See on suure hulga teabe elektrooniline salvestamine ettevõtte poolt, mis on mõeldud tehingute töötlemise asemel päringute ja analüüside tegemiseks. See on protsess, mille käigus muudetakse andmed teabeks ja tehakse need õigeaegselt kasutajatele kättesaadavaks, et midagi muuta.

Otsuste toetamise andmebaasi (Andmelaod) peetakse organisatsiooni operatiivandmebaasist eraldi. Andmeladu pole aga toode, vaid keskkond. See on infosüsteemi arhitektuurne konstruktsioon, mis pakub kasutajatele praegust ja ajaloolist otsustustoetusteavet, millele on raske juurde pääseda või mis on traditsioonilises operatiivandmete salves olemas.

Paljud teavad, et 3NF-i loodud inventarisüsteemi andmebaasis on paljudel omavahel seotud tabelid. Näiteks võib praeguse laoseisu teabe aruanne sisaldada rohkem kui 12 ühendatud tingimust. See võib päringu ja aruande reageerimisaega kiiresti aeglustada. Andmeladu pakub uut kujundust, mis võib aidata vähendada reageerimisaega ning parandada aruannete ja analüüsi päringute toimivust.

Andmelaosüsteemi tuntakse ka järgmise nime all:

Otsuste tugisüsteem (DSS)
Täitevinfosüsteem
Juhtimisinfosüsteem
Ärianalüüsi lahendus
Analüütiline rakendus
Andmeladu

Andmevaramu ajalugu

Andmehoidla aitab kasutajatel mõista ja parandada oma organisatsiooni toimivust. Vajadus andmete ladustamiseks arenes, kuna arvutisüsteemid muutusid keerukamaks ja muutusid vajalikuks üha suurema hulga teabe haldamiseks. Andmeladu pole aga uus asi.

Siin on mõned võtmesündmused andmelao arengus

1960 – Dartmouth ja General Mills ühises uurimisprojektis arendavad välja mõisted mõõtmed ja faktid.

1970 – Nielsen ja IRI tutvustavad jaemüügi jaoks mõõtmete andmemarke.
1983 – Tera Data Corporation tutvustab andmebaasihaldussüsteemi, mis on spetsiaalselt loodud otsuste toetamiseks

Andmehoidla sai alguse 1980. aastate lõpus, kui IBM töötaja Paul Murphy ja Barry Devlin töötasid välja Business Data Warehouse'i.

Tegeliku kontseptsiooni andis aga Inmon Bill. Teda peeti andmelao isaks. Ta oli kirjutanud mitmesugustel lao ja ettevõtte teabevabriku ehitamise, kasutamise ja hooldamise teemadel.

Kuidas Datawarehouse töötab?

Andmeladu toimib keskse hoidlana, kuhu saabub teave ühest või mitmest andmeallikast. Andmed liiguvad andmelattu tehingusüsteemist ja muudest relatsiooniandmebaasidest.

Andmed võivad olla:

Struktureeritud
Poolstruktureeritud
Struktureerimata andmed

Andmeid töödeldakse, teisendatakse ja neelatakse nii, et kasutajad pääseksid Business Intelligence'i tööriistade, SQL-i klientide ja arvutustabelite kaudu andmelaos töödeldud andmetele juurde. Andmeladu liidab erinevatest allikatest pärineva teabe üheks terviklikuks andmebaasiks.

Kogu selle teabe ühte kohta liites saab organisatsioon oma kliente terviklikumalt analüüsida. See aitab tagada, et ta on kogu olemasoleva teabe arvesse võtnud. Andmehoidla teeb andmete kaevandamise võimalikuks. Andmekaevandamine otsib andmetest mustreid, mis võivad kaasa tuua suurema müügi ja kasumi.

Andmelao tüübid

Andmeladude (DWH) kolm peamist tüüpi on:

1. Enterprise Data Warehouse (EDW):

Enterprise Data Warehouse (EDW) on tsentraliseeritud ladu. See pakub otsustusabiteenust kogu ettevõttes. See pakub ühtset lähenemist andmete korraldamiseks ja esitamiseks. Samuti annab see võimaluse klassifitseerida andmeid vastavalt subjektile ja anda juurdepääs vastavalt nendele jaotustele.

2. OperaRiiklik andmehoidla:

Operational Data Store, mida nimetatakse ka ODS-iks, pole muud kui andmehoidla, mis on vajalik, kui andmeladu ega OLTP-süsteemid ei toeta organisatsioonide aruandlusvajadusi. ODS-is värskendatakse andmeladu reaalajas. Seetõttu eelistatakse seda laialdaselt rutiinsete tegevuste jaoks, nagu töötajate dokumentide salvestamine.

3. Data Mart:

A andmed mart on andmelao alamhulk. See on spetsiaalselt loodud konkreetse ärivaldkonna jaoks, näiteks müük, rahandus, müük või rahandus. Sõltumatu andmeturu puhul saab andmeid koguda otse allikatest.

Andmelao üldised etapid

Varem hakkasid organisatsioonid andmelao kasutamist suhteliselt lihtsalt kasutama. Kuid aja jooksul hakati andmehoidlat kasutama keerukamalt.

Andmelao (DWH) kasutamise üldised etapid on järgmised:

offline Operariiklik andmebaas:

Selles etapis kopeeritakse andmed lihtsalt operatsioonisüsteemist teise serverisse. Sel viisil ei mõjuta kopeeritud andmete laadimine, töötlemine ja aruandlus operatsioonisüsteemi jõudlust.

Võrguühenduseta andmeladu:

Andmehoidlas olevaid andmeid uuendatakse regulaarselt alates Operariiklik andmebaas. Andmehoidlas olevad andmed kaardistatakse ja teisendatakse, et need vastaksid andmeladu eesmärkidele.

Reaalajas andmeladu:

Selles etapis värskendatakse andmeladusid iga kord, kui operatiivandmebaasis toimub tehing. Näiteks lennufirma või raudtee broneerimissüsteem.

Integreeritud andmeladu:

Selles etapis värskendatakse andmeladusid pidevalt, kui operatsioonisüsteem sooritab tehingu. Andmeladu genereerib seejärel tehingud, mis edastatakse tagasi operatsioonisüsteemi.

Andmelao komponendid

Andmeladude neli komponenti on:

Laadimishaldur: Koormushaldurit nimetatakse ka esikomponendiks. See teostab kõiki toiminguid, mis on seotud andmete väljavõtmise ja lattu laadimisega. Need toimingud hõlmavad teisendusi andmete ettevalmistamiseks andmelattu sisestamiseks.

Laohaldur: Laohaldur teostab laos olevate andmete haldamisega seotud toiminguid. See teostab selliseid toiminguid nagu andmete analüüs järjepidevuse tagamiseks, indeksite ja vaadete loomine, denormaliseerimise ja koondamiste genereerimine, lähteandmete teisendamine ja ühendamine ning andmete arhiveerimine ja küpsetamine.

Päringuhaldur: Päringuhaldurit tuntakse ka taustakomponendina. See teostab kõiki kasutajapäringute haldamisega seotud toiminguid. Selle andmelao komponentide toimingud on otsepäringud vastavatesse tabelitesse päringute täitmise ajastamiseks.

Lõppkasutaja juurdepääsu tööriistad:

See on jagatud viide rühma, näiteks 1. Andmearuandlus 2. Päringutööriistad 3. Rakenduste arendustööriistad 4. EIS-i tööriistad, 5. OLAP-tööriistad ja andmekaeve tööriistad.

Kellele on andmeladu vaja?

DWH-d (andmeladu) on vaja igat tüüpi kasutajatele, näiteks:

Otsustajad, kes toetuvad massilistele andmetele
Kasutajad, kes kasutavad mitmest andmeallikast teabe hankimiseks kohandatud keerulisi protsesse.
Seda kasutavad ka inimesed, kes soovivad andmetele juurdepääsuks lihtsat tehnoloogiat
See on oluline ka neile, kes soovivad otsuste tegemisel süsteemset lähenemist.
Kui kasutaja soovib kiiret jõudlust tohutul hulgal andmetel, mis on aruannete, ruudustik või diagrammide jaoks vajalik, on andmeladu kasulik.
Andmeladu on esimene samm, kui soovite avastada andmevoogude ja rühmituste "peidetud mustreid".

Milleks andmeladu kasutatakse?

Siin on kõige levinumad sektorid, kus andmeladu kasutatakse:

Lennufirma:

Lennufirma süsteemis kasutatakse seda opereerimise eesmärgil, nagu meeskonna määramine, marsruudi tasuvuse analüüsid, püsikliendiprogrammi reklaamid jne.

Pangandus:

Seda kasutatakse laialdaselt pangandussektoris, et tõhusalt hallata laual olevaid ressursse. Vähesed pangad kasutasid ka turu-uuringuid, toote ja operatsioonide tulemuslikkuse analüüsi.

Tervishoid:

Tervishoiusektor kasutas andmeladu ka tulemuste strateegiaks ja prognoosimiseks, patsientide raviaruannete koostamiseks, andmete jagamiseks kindlustusseltsidega, meditsiiniabiteenustega jne.

Avalik sektor:

Avalikus sektoris kasutatakse andmeladu luureandmete kogumiseks. See aitab valitsusasutustel säilitada ja analüüsida iga üksikisiku maksudokumente, tervisepoliitika dokumente.

Investeerimis- ja kindlustussektor:

Selles sektoris kasutatakse ladusid peamiselt andmemustrite, klientide trendide analüüsimiseks ja turu liikumise jälgimiseks.

Säilitage kett:

Jaekettides kasutatakse Andmeladu laialdaselt levitamiseks ja turustamiseks. Samuti aitab see jälgida esemeid, klientide ostumustrit, tutvustusi ja seda kasutatakse ka hinnapoliitika kindlaksmääramiseks.

Telekommunikatsioon:

Andmeladu kasutatakse selles sektoris toodete reklaamimiseks, müügiotsuste tegemiseks ja levitamisotsuste tegemiseks.

Hotellindus:

See tööstusharu kasutab laoteenuseid, et kavandada ja hinnata oma reklaami- ja müügiedenduskampaaniaid, kus nad soovivad sihtida kliente nende tagasiside ja reisimustrite põhjal.

Andmelao rakendamise sammud

Parim viis andmeaida juurutamisega seotud äririskiga tegelemiseks on kasutada alltoodud kolmeosalist strateegiat.

Ettevõtte strateegia: Siin tuvastame tehnilised, sealhulgas praeguse arhitektuuri ja tööriistad. Samuti tuvastame faktid, mõõtmed ja atribuudid. Samuti on läbitud andmete kaardistamine ja teisendamine.
Järkjärguline kohaletoimetamine: Andmehoidla juurutamine peaks olema järkjärguline ainevaldkondade alusel. Seotud äriüksused, nagu broneerimine ja arveldamine, tuleks esmalt juurutada ja seejärel omavahel integreerida.
Iteratiivne prototüüpimine: Suure paugu rakendamise asemel tuleks andmeladu arendada ja katsetada iteratiivselt.

Siin on Datawarehouse'i juurutamise peamised sammud ja selle tulemused.

Samm	Ülesanded	Saavutused
1	Vajadus määratleda projekti ulatus	Reguleerimisala määratlus
2	On vaja kindlaks määrata ettevõtte vajadused	Loogiline andmemudel
3	Määratle Operariiklikud andmesalve nõuded	Operariiklik andmesalve mudel
4	Ekstraheerimistööriistade hankimine või arendamine	Ekstrakti tööriistad ja tarkvara
5	Määratlege andmelao andmenõuded	Üleminekuandmete mudel
6	Dokumendis puuduvad andmed	Tehtavate projektide loend
7	kaardid Operaandmehoidlast andmelaosse	D/W andmete integreerimise kaart
8	Andmelao andmebaasi disaini arendamine	D/W andmebaasi disain
9	Andmete ekstraktimine Operariiklik andmepood	Integreeritud D/W andmeekstraktid
10	Laadige andmeladu	Esialgne andmete laadimine
11	Andmeladu hooldamine	Pidev juurdepääs andmetele ja hilisemad laadimised

Andmelao rakendamise parimad tavad

Otsustage andmete järjepidevuse, täpsuse ja terviklikkuse testimise plaan.
Andmeladu peab olema hästi integreeritud, hästi määratletud ja ajatempliga.
Andmevarastu kujundamisel veenduge, et kasutate õiget tööriista, järgite elutsüklit, hoolitsete andmekonfliktide eest ja olete valmis õppima, et olete oma vead.
Ärge kunagi asendage operatsioonisüsteeme ja aruandeid
Ärge kulutage liiga palju aega andmete ekstraheerimiseks, puhastamiseks ja laadimiseks.
Kaasake kõik sidusrühmad, sealhulgas äripersonal, andmehoidla juurutamisprotsessi. Tehke kindlaks, et andmehoidla on ühis-/meeskonnaprojekt. Te ei soovi luua andmeladu, mis pole lõppkasutajatele kasulik.
Koostage lõppkasutajatele koolitusplaan.

Miks me vajame andmeladu? Eelised & Puudused

Andmelao (DWH) eelised:

Andmeladu võimaldab ärikasutajatel ühest kohast kiiresti juurde pääseda mõnest allikast pärit kriitilistele andmetele.
Andmeladu pakub järjepidevat teavet erinevate funktsionaalsete tegevuste kohta. See toetab ka ad-hoc aruandlust ja päringuid.
Data Warehouse aitab integreerida paljusid andmeallikaid, et vähendada tootmissüsteemi stressi.
Andmeladu aitab vähendada analüüsi ja aruandluse kogutööaega.
Ümberkorraldamine ja integreerimine muudavad kasutaja jaoks aruandluse ja analüüsimise kasutamise lihtsamaks.
Andmeladu võimaldab kasutajatel ühes kohas juurdepääsu kriitilistele andmetele paljudest allikatest. Seetõttu säästab see kasutaja aega andmete hankimisel mitmest allikast.
Andmeladu salvestab suure hulga ajaloolisi andmeid. See aitab kasutajatel analüüsida erinevaid ajaperioode ja suundumusi, et teha tulevikuprognoose.

Andmelao puudused:

Pole ideaalne valik struktureerimata andmete jaoks.
Andmelao loomine ja juurutamine on kindlasti ajas segane asi.
Andmeladu võib suhteliselt kiiresti vananeda
Andmetüüpides ja vahemikes, andmeallika skeemis, indeksites ja päringutes on raske muudatusi teha.
Andmeladu võib tunduda lihtne, kuid tegelikult on see tavakasutaja jaoks liiga keeruline.
Vaatamata parimatele jõupingutustele projektijuhtimisel suureneb andmehoidlaprojektide ulatus alati.
Mõnikord töötavad lao kasutajad välja erinevad ärireeglid.
Organisatsioonid peavad kulutama palju oma ressursse koolituse ja rakendamise eesmärgil.

Andmeladustamise tulevik

Muutus Regulatiivsed piirangud võib piirata erinevate andmete allika kombineerimise võimalust. Need erinevad allikad võivad sisaldada struktureerimata andmeid, mida on raske salvestada.
Kui suurus Andmebaaside arvu suurenemine, hinnangud väga suure andmebaasi kohta kasvavad jätkuvalt. Pidevalt suurenevate andmelaosüsteemide ehitamine ja käitamine on keeruline. Tänapäeval kättesaadavad riist- ja tarkvararessursid ei võimalda suurel hulgal andmeid võrgus hoida.
Multimeedia andmed ei saa lihtsalt tekstiandmetena manipuleerida, samas kui tekstilist teavet saab hankida tänapäeval saadaoleva relatsioonitarkvara abil. See võib olla uurimisobjekt.

Andmelao tööriistad

Turul on saadaval palju andmehoidla tööriistu. Siin on mõned kõige silmapaistvamad:

1. MarkLogic:

MarkLogic on kasulik andmelaolahendus, mis muudab andmete integreerimise lihtsamaks ja kiiremaks, kasutades mitmesuguseid ettevõtte funktsioone. See tööriist aitab teha väga keerulisi otsingutoiminguid. See võib teha päringuid erinevat tüüpi andmete kohta, nagu dokumendid, seosed ja metaandmed.

https://www.marklogic.com/product/getting-started/

2. Oracle:

Oracle on valdkonna juhtiv andmebaas. See pakub laia valikut andmelaolahendusi nii kohapealseks kui ka pilvepõhiseks kasutamiseks. See aitab optimeerida klientide kogemusi, suurendades tegevuse efektiivsust.

https://www.oracle.com/index.html

3. Amazon RedShift:

Amazon Redshift on andmelao tööriist. See on lihtne ja kulutõhus tööriist igat tüüpi andmete analüüsimiseks, kasutades standardset SQL ja olemasolevad BI tööriistad. Samuti võimaldab see käivitada keerulisi päringuid petabaitide struktureeritud andmete põhjal, kasutades päringu optimeerimise tehnikat.

https://aws.amazon.com/redshift/?nc2=h_m1

Siin on kasulike asjade täielik loetelu Andmehoidla tööriistad.

VÕTMINE ÕPPIMINE

Andmeladu (DWH) on tuntud ka kui Enterprise Data Warehouse (EDW).
Andmeladu on defineeritud kui keskne hoidla, kus teave pärineb ühest või mitmest andmeallikast.
Kolm peamist andmeladude tüüpi on Enterprise Data Warehouse (EDW), Operational Data Store ja Data Mart.
Andmelao üldine olek on võrguühenduseta Operariiklik andmebaas, võrguühenduseta andmeladu, reaalajas andmeladu ja integreeritud andmeladu.
Datawarehouse'i neli peamist komponenti on laadimishaldur, laohaldur, päringuhaldur ja lõppkasutaja juurdepääsu tööriistad
Andmevarastu kasutatakse erinevates tööstusharudes, nagu lennundus, pangandus, tervishoid, kindlustus, jaemüük jne.
Datawarehosue'i juurutamine on kolmeosaline strateegia, nimelt. Ettevõtte strateegia, etapiviisiline tarnimine ja iteratiivne prototüüpimine.
Andmeladu võimaldab ärikasutajatel ühest kohast kiiresti juurde pääseda mõnest allikast pärit kriitilistele andmetele.