Mis on andmeladu? Tüübid
David Carter
⚡ Nutikas kokkuvõte
Andmeladu defineerib tsentraliseeritud hoidlat, mis koondab paljudest allikatest pärinevat teavet analüüsi, aruandluse ja otsuste toetamiseks. See õpetus selgitab ajalugu, töömudelit, tüüpe, etappe, komponente, rakendamisetappe, eeliseid, puudusi ja silmapaistvaid tööriistu, mis teevad andmeladudest tänapäevase ärianalüüsi aluse.
Mis on andmehoidla?
Andmeladu (DW) on protsess, mille käigus kogutakse ja hallatakse andmeid erinevatest allikatest, et pakkuda sisukat ärialast teavet. Andmelattu kasutatakse tavaliselt heterogeensetest allikatest pärit äriandmete ühendamiseks ja analüüsimiseks ning see on iga andmeanalüüsiks ja aruandluseks loodud ärianalüüsi (BI) süsteemi tuum.
Andmeladu on tehnoloogiate ja komponentide segu, mis toetab andmete strateegilist kasutamist. See on suure hulga äriteabe elektrooniline salvestamine, mis on mõeldud päringute tegemiseks ja analüüsimiseks, mitte tehingute töötlemiseks. Andmeladu muudab toorandmed kasutatavaks teabeks ja edastab need kasutajatele õigeaegselt, et nad saaksid teha olulisi otsuseid.
Otsustustoetuse andmebaasi (andmelattu) hallatakse organisatsiooni operatiivandmebaasist eraldi. Andmelattu ei ole toode, vaid keskkond – infosüsteemi arhitektuuriline konstruktsioon, mis pakub kasutajatele praegust ja ajaloolist otsustustoetuse teavet, millele on traditsioonilises operatiivandmehoidlas keeruline juurde pääseda või mida seal esitada.
Võib-olla teate, et 3NF-i abil loodud varude haldamise süsteemi andmebaasis on tavaliselt palju omavahel seotud tabeleid. Näiteks praeguse varude aruande jaoks võib olla vaja rohkem kui 12 ühendatud tingimust, mis aeglustab päringute ja aruannete vastamise aega. Andmeladu pakub denormaliseeritud disaini, mis vähendab reageerimise aega ja parandab aruandluse ja analüüsi jõudlust.
Andmelao süsteemi tuntakse ka järgmiste nimede all:
- Otsuste tugisüsteem (DSS)
- Täitevinfosüsteem
- Juhtimisinfosüsteem
- Ärianalüüsi lahendus
- Analüütiline rakendus
- Andmeladu
Andmelao ajalugu
Andmeladu aitab kasutajatel mõista ja parandada oma organisatsiooni toimivust. Andmeladustamise vajadus arenes koos arvutisüsteemide keerukamaks muutumisega ja üha kasvavate infomahtude töötlemisega. Andmeladustamine ei ole uus kontseptsioon – sellel on pikk evolutsiooniline ajalugu.
Siin on mõned andmelao arengu olulisemad sündmused:
- 1960 — Dartmouth ja General Mills arendavad ühises uurimisprojektis välja terminid „mõõtmed” ja „faktid”.
- 1970 — AC Nielsen ja IRI tutvustavad jaemüügiks dimensioonilisi andmemägesid.
- 1983 — Teradata Corporation tutvustab spetsiaalselt otsuste toetamiseks loodud andmebaasihaldussüsteemi.
- 1980ndate lõpp - IBM Teadlased Paul Murphy ja Barry Devlin töötavad välja äriandmete lao kontseptsiooni.
- Kaasaegse andmelao visioonile omistatakse Bill Inmon, keda sageli nimetatakse andmelao isaks. Ta kirjutas alustöid andmelao ja ettevõtte teabevabriku loomise, kasutamise ja hooldamise kohta.
Kuidas andmeladu töötab?
Andmeladu toimib keskse hoidlana, kuhu teave saabub ühest või mitmest andmeallikast. Andmed voolavad lattu tehingusüsteemidest ja teistest relatsioonandmebaasidest.
Sissetulevad andmed võivad olla järgmised:
- Struktureeritud
- Poolstruktureeritud
- Struktureerimata
Andmeid töödeldakse, teisendatakse ja sisestatakse, et kasutajad saaksid kureeritud andmestikule juurde pääseda ärianalüüsi tööriistade, SQL-klientide ja arvutustabelite kaudu. Andmeladu ühendab erinevatest allikatest pärit teabe ühte terviklikku andmebaasi.
Kogu selle teabe ühte kohta koondades saab organisatsioon oma kliente terviklikult analüüsida ja kinnitada, et on arvesse võtnud kõiki saadaolevaid andmepunkte. Andmeladustamine võimaldab andmekaevandamist – andmekaevandamine otsib andmetest mustreid, mis viivad suurema müügi, madalamate kulude ja paremate prognoosideni.
Andmelao tüübid
Andmeladude (DWH) kolm peamist tüüpi on:
1. Enterprise Data Warehouse (EDW):
Ettevõtte andmeladu on tsentraliseeritud ladu, mis pakub otsustustugi teenuseid kogu organisatsioonis. See pakub ühtset lähenemisviisi andmete korraldamiseks ja esitamiseks ning annab võimaluse andmeid teemade kaupa liigitada ja juurdepääsu anda vastavalt nendele jaotustele.
2. Operariiklik andmehoidla (ODS):
An OperaAndmehoidla on andmehoidla, mida kasutatakse siis, kui ei andmeladu ega OLTP-süsteemid ei suuda organisatsiooni aruandlusvajadusi rahuldada. ODS-is värskendatakse andmeid reaalajas, mis teeb selle ideaalseks rutiinseteks tegevusteks, näiteks praeguste töötajate andmete salvestamiseks.
3. Data Mart:
A Andmed Mart on andmelao alamhulk, mis on loodud kindla ärivaldkonna, näiteks müügi, rahanduse või turunduse jaoks. Sõltumatu andmelao abil saab andmeid koguda otse alliksüsteemidest.
Andmelao üldised etapid
Algselt võtsid organisatsioonid kasutusele andmelao suhteliselt lihtsad kasutusviisid. Aja jooksul tekkisid keerukamad mustrid. Andmelao (DWH) kasutamise üldised etapid on järgmised:
offline Operariiklik andmebaas:
Andmed kopeeritakse operatsioonisüsteemist teise serverisse. Koopia laadimine, töötlemine ja aruandlus ei mõjuta operatsioonisüsteemi jõudlust.
Võrguühenduseta andmeladu:
Andmelao andmeid uuendatakse regulaarselt operatiivandmebaasist. Andmeid kaardistatakse ja teisendatakse vastavalt andmelao eesmärkidele.
Reaalajas andmeladu:
Andmeladusid uuendatakse iga kord, kui operatiivandmebaasis toimub tehing. Lennufirmade ja raudteede broneerimissüsteemid on klassikalised näited.
Integreeritud andmeladu:
Andmeladusid uuendatakse pidevalt, kui operatsioonisüsteemid tehinguid teostavad. Seejärel genereerib andmeladu tehinguid, mis edastatakse tagasi operatsioonisüsteemile.
Andmelao komponendid
Andmelao neli komponenti on:
Koormuse haldur: Koormushaldur, mida nimetatakse ka esikomponendiks, tegeleb kõigi toimingutega, mis on seotud näiteks ...tracandmete sisestamine ja laadimine andmelattu. Nende toimingute hulka kuuluvad teisendused, mis valmistavad andmeid ette andmelattu sisestamiseks.
Laohaldur: Laohaldur teostab laos andmete haldamisega seotud toiminguid. Ta analüüsib andmeid järjepidevuse tagamiseks, loob indekseid ja vaateid, genereerib denormaliseeringuid ja agregaate, teisendab ja ühendab lähteandmeid ning arhiveerib või varundab andmeid.
Päringuhaldur: Päringuhaldur, tuntud ka kui taustkomponent, tegeleb kasutajapäringutega seotud toimingutega. See suunab päringud vastavatesse tabelitesse ja ajastab nende täitmise.
Lõppkasutaja juurdepääsu tööriistad:
Need tööriistad jagunevad viide rühma: 1) andmearuandlus, 2) päringutööriistad, 3) rakenduste arendustööriistad, 4) EIS-tööriistad ja 5) OLAP-tööriistad. Andmekaevandamise tööriistad.
Kellel on vaja andmeladu?
Andmeladu (DWH) on vajalik igat tüüpi kasutajatele, sealhulgas:
- Otsustajad, kes toetuvad suurtele andmemahtudele.
- Kasutajad, kes käitavad kohandatud ja keerukaid protsesse, et kombineerida teavet mitmest allikast.
- Inimesed, kes soovivad andmetele juurdepääsuks lihtsat ja vähese hõõrdumisega tehnoloogiat.
- Meeskonnad, kes soovivad otsuste langetamisel süstemaatilist ja korduvat lähenemist.
- Kasutajad, kes vajavad kiiret jõudlust suurte andmekogumite puhul aruannete, armatuurlaudade, ruudustike või diagrammide jaoks.
- Analüütikud, kes soovivad avastada andmevoogude ja rühmade varjatud mustreidpings.
Milleks andmeladu kasutatakse?
Allpool on loetletud kõige levinumad sektorid, kus andmeladusid kasutatakse:
Lennufirma:
Lennunduses toetavad andmelaod meeskonna määramist, marsruudi kasumlikkuse analüüsi, sagedase lendaja programmi reklaamimist ja sarnaseid operatiivseid otsuseid.
Pangandus:
Andmeladusid kasutatakse panganduses laialdaselt kontoriressursside tõhusaks haldamiseks. Mitmed pangad kasutavad neid ka turu-uuringuteks, toodete toimivuse analüüsiks ja tegevuse planeerimiseks.
Tervishoid:
Tervishoiusektor kasutab andmeladusid tulemuste strateegiate koostamiseks ja prognoosimiseks, patsientide raviaruannete koostamiseks ning andmete jagamiseks kindlustuspartnerite ja meditsiiniabiteenustega.
Avalik sektor:
Avalikus sektoris toetavad andmelaod luureandmete kogumist ning aitavad valitsusasutustel hallata ja analüüsida iga üksikisiku maksuandmeid ja tervishoiupoliitika andmeid.
Investeerimine ja kindlustus:
Selles sektoris kasutatakse ladusid andmemustrite, klienditrendide ja turuliikumiste analüüsimiseks.
Jaemüügiketid:
Jaemüügiketid kasutavad andmeladusid levitamiseks ja turustamiseks, et track esemeid ja klientide ostuharjumusi, planeerida kampaaniaid ja määrata hinnapoliitika.
Telekommunikatsioon:
Telekommunikatsioonifirmad kasutavad andmeladusid toote reklaamimiseks, müügiotsuste tegemiseks ja turustusotsuste tegemiseks.
Hotellindus:
Majutus- ja toitlustussektor kasutab andmeladusid reklaami- ja müügiedenduskampaaniate kavandamiseks ja hindamiseks, mis on suunatud klientidele tagasiside ja reisimisharjumuste põhjal.
Andmelao juurutamise sammud
Andmelao juurutamisega seotud äririski juhtimise parim viis on järgida kolmeharulist strateegiat:
- Ettevõtte strateegia: Tuvastage praegune tehniline arhitektuur ja tööriistad, lisaks faktid, dimensioonid ja atribuudid, mida ladu peab toetama. Andmekaartping ja transformatsioon on selle etapi osa.
- Järkjärguline kohaletoimetamine: Andmeladu tuleks rakendada etappide kaupa, lähtudes teemavaldkondadest. Seotud äriüksused, näiteks broneerimine ja arveldamine, tuleks esmalt üle anda ja seejärel integreerida.
- Iteratiivne prototüüpping: Suure pauguga juurutamise asemel tuleks andmeladu iteratiivselt arendada, testida ja täiustada.
Siin on andmelao juurutamise peamised sammud koos nende tulemustega:
| Samm | Ülesanded | Saavutused |
|---|---|---|
| 1 | Määratlege projekti ulatus | Reguleerimisala määratlus |
| 2 | Ettevõtte vajaduste kindlakstegemine | Loogiline andmemudel |
| 3 | Määratle OperaRahvuslikud andmesalvestusnõuded | Operariiklik andmesalve mudel |
| 4 | Omandada või arendada endinetractööriistad | ExtracTööriistad ja tarkvara |
| 5 | Andmelao andmenõuete määratlemine | Üleminekuandmete mudel |
| 6 | Dokumendis puuduvad andmed | Ülesannete nimekiri |
| 7 | kaart Operaandmehoidlast andmelaosse | DW andmete integreerimise kaart |
| 8 | Andmelao andmebaasi kujunduse arendamine | DW andmebaasi disain |
| 9 | Extract andmed alates Operariiklik andmepood | Integreeritud DW Data Extracts |
| 10 | Laadi andmeladu | Esialgne andmete laadimine |
| 11 | Andmelao haldamine | Pidev andmetele juurdepääs ja järgnevad laadimised |
Andmelao juurutamise parimad tavad
- Määratlege andmete järjepidevuse, täpsuse ja terviklikkuse testimise plaan.
- Andmeladu peab olema hästi integreeritud, täpselt määratletud ja ajatempliga varustatud.
- Andmelao kujundamisel kasutage õiget tööriista, järgige elutsüklit, lahendage andmekonfliktid varakult ja õppige vigadest.
- Ärge kunagi asendage operatsioonisüsteeme ja operatsiooniaruandeid laosüsteemidega.
- Ära kuluta liiga palju aega endise pealetracandmete töötlemine, puhastamine ja laadimine – automatiseerige võimaluse korral.
- Kaasa andmelao juurutamisse kõik sidusrühmad, sealhulgas ärimeeskonnad. Käsitle andmelao ühisprojektina, et see jääks lõppkasutajatele kasulikuks.
- Koostage lõppkasutajatele koolitusplaan.
Andmelao eelised ja puudused
Andmelao (DWH) eelised:
- Ärikasutajad saavad kiiresti juurde pääseda olulistele andmetele paljudest allikatest ühest kohast.
- Pakub järjepidevat teavet valdkondadevaheliste tegevuste kohta ning toetab ad hoc aruandlust ja päringuid.
- Integreerib mitu andmeallikat, mis vähendab tootmissüsteemide koormust.
- Vähendab analüüsi ja aruandluse koguaega.
- Ümberstruktureerimine ja integreerimine muudavad lõppkasutaja jaoks aruandluse ja analüüsi lihtsamaks.
- Säästab kasutaja aega, kuna pole vaja andmeid mitmest allikast hankida.
- Salvestab suures mahus ajaloolisi andmeid, mis võimaldab trendide analüüsi ja tulevikuprognoose.
Andmelao puudused:
- Pole ideaalne valik struktureerimata andmete jaoks.
- Loomine ja rakendamine on aeganõudev.
- Andmelaod võivad aktiivse hoolduseta suhteliselt kiiresti vananeda.
- Andmetüüpide, vahemike, allikaskeemide, indeksite või päringute muutmine on keeruline.
- Andmeladu võib pealtnäha lihtne tunduda, kuid keskmise kasutaja jaoks on see keeruline.
- Vaatamata parimatele pingutustele kipub projekti ulatus elluviimise käigus laienema.
- Erinevad äriüksused töötavad mõnikord välja vastuolulisi ärireegleid.
- Organisatsioonid peavad eraldama koolituseks ja juurutamiseks märkimisväärseid ressursse.
Andmeladustamise tulevik
- Regulatiivsed piirangud võib piirata erinevate andmete allikate, sealhulgas struktureerimata andmete, mida on raskem säilitada ja hallata, kombineerimise võimalust.
- Kui suurus Andmebaaside arvu kasvades nihkub väga suureks andmebaasiks peetav kogus pidevalt ülespoole ning sellises mahus andmebaaside loomine ja haldamine muutub üha keerukamaks.
- Multimeedia andmed ei saa nii lihtsalt manipuleerida kui teksti. Relatsioontarkvara käsitleb tekstilist teavet hästi, kuid rikasmeedia on endiselt aktiivne uurimisvaldkond.
Andmelao tööriistad
Turul on saadaval palju andmeladustamise tööriistu. Siin on mõned neist silmapaistvamad:
1. MarkLogic:
MarkLogic on andmelao lahendus, mis lihtsustab ja kiirendab andmete integreerimist rikkaliku ettevõtte funktsioonide komplekti abil. See teostab keerukaid otsingutoiminguid ning saab pärida dokumente, seoseid ja metaandmeid.
2. Oracle:
Oracle on valdkonna juhtiv andmebaas. See pakub laia valikut andmelao lahendusi nii kohapealseks kui ka pilvepõhiseks juurutamiseks ning aitab optimeerida kliendikogemust, parandades tegevuse efektiivsust.
3. Amazon Punanihe:
Amazon Redshift on andmelao teenus, mis on lihtne ja kulutõhus andmete analüüsimiseks standardsete standardite abil SQL ja olemasolevaid ärianalüütika tööriistu. See käitab keerukaid päringuid petabaitide ulatuses struktureeritud andmete vastu, kasutades päringute optimeerimise tehnikaid.
Siin on kasulike asjade täielik loetelu Andmelao tööriistad.
