Mikä on tietovarasto? Tyypit
David Carter
⚡ Älykäs yhteenveto
Tietovarasto määrittelee keskitetyn tietovaraston, joka yhdistää tietoa useista lähteistä analysointia, raportointia ja päätöksentekotukea varten. Tämä opetusohjelma selittää historian, toimintamallin, tyypit, vaiheet, komponentit, toteutusvaiheet, edut, haitat ja tärkeimmät työkalut, jotka tekevät tietovarastosta modernin liiketoimintatiedon perustan.
Mikä on datavarastointi?
Tietovarastointi (DW) on prosessi, jossa kerätään ja hallitaan tietoa eri lähteistä merkityksellisten liiketoimintatietojen tarjoamiseksi. Tietovarastoa käytetään tyypillisesti yhdistämään ja analysoimaan liiketoimintatietoja heterogeenisista lähteistä, ja se on minkä tahansa liiketoimintatiedon (BI) järjestelmän ydin, joka on rakennettu data-analyysiä ja raportointia varten.
Tietovarastointi on teknologioiden ja komponenttien yhdistelmä, joka tukee datan strategista käyttöä. Se on suurten liiketoimintatietojen sähköistä tallennusta, joka on suunniteltu kyselyihin ja analysointiin tapahtumien käsittelyn sijaan. Tietovarasto muuntaa raakadatan käyttökelpoiseksi tiedoksi ja toimittaa sen käyttäjille ajoissa, jotta he voivat tehdä tärkeitä päätöksiä.
Päätöksenteon tukitietokantaa (tietovarastoa) ylläpidetään erillään organisaation operatiivisesta tietokannasta. Tietovarasto ei ole tuote, vaan ympäristö – tietojärjestelmän arkkitehtoninen rakennelma, joka tarjoaa käyttäjille ajankohtaisia ja historiallisia päätöksenteon tukitietoja, joihin on vaikea päästä käsiksi tai joita on vaikea esittää perinteisessä operatiivisessa tietovarastossa.
Saatat tietää, että 3NF-suunnittelulla suunnitellussa varastonhallintajärjestelmän tietokannassa on tyypillisesti useita toisiinsa liittyviä taulukoita. Esimerkiksi nykyistä varastoa koskeva raportti saattaa vaatia yli 12 liitettyä ehtoa, mikä hidastaa kyselyjen ja raporttien vasteaikoja. Tietovarasto tarjoaa denormalisoidun rakenteen, joka lyhentää vasteaikaa ja parantaa raportoinnin ja analytiikan suorituskykyä.
Tietovarastojärjestelmä tunnetaan myös seuraavilla nimillä:
- Päätöksen tukijärjestelmä (DSS)
- Executive Information System
- Johdon tietojärjestelmä
- Business Intelligence -ratkaisu
- Analyyttinen sovellus
- Tietovarasto
Tietovaraston historia
Tietovarasto auttaa käyttäjiä ymmärtämään ja parantamaan organisaationsa suorituskykyä. Tarve varastoida tietoa kehittyi tietokonejärjestelmien monimutkaistuessa ja käsitellessä jatkuvasti kasvavia tietomääriä. Tietovarastointi ei ole uusi käsite – sillä on pitkä kehityshistoria.
Tässä on joitakin keskeisiä tapahtumia tietovaraston kehityksessä:
- 1960 — Dartmouth ja General Mills kehittävät yhteisessä tutkimushankkeessa termit ”ulottuvuudet” ja ”faktat”.
- 1970 — AC Nielsen ja IRI esittelevät dimensionaaliset datamartit vähittäismyyntiin.
- 1983 — Teradata Corporation esittelee tietokannan hallintajärjestelmän, joka on erityisesti suunniteltu päätöksenteon tukemiseen.
- 1980-luvun lopulla - IBM Tutkijat Paul Murphy ja Barry Devlin kehittävät Business Data Warehouse -konseptin.
- Nykyaikainen tietovarastovisio on kunniassa Bill Inmon, jota usein kutsutaan "tietovaraston isäksi". Hän kirjoitti perustavanlaatuisia teoksia tietovaraston ja Corporate Information Factoryn rakentamisesta, käytöstä ja ylläpidosta.
Miten tietovarasto toimii?
Tietovarasto toimii keskitettynä tietovarastona, johon tiedot saapuvat yhdestä tai useammasta tietolähteestä. Tiedot virtaavat varastoon transaktiojärjestelmistä ja muista relaatiotietokannoista.
Saapuvat tiedot voivat olla:
- Strukturoidut
- Puolirakenteinen
- Rakentamaton
Dataa käsitellään, muunnetaan ja syötetään, jotta käyttäjät voivat käyttää kuratoitua datajoukkoa Business Intelligence -työkalujen, SQL-asiakasohjelmien ja laskentataulukoiden kautta. Tietovarasto yhdistää eri lähteistä peräisin olevat tiedot yhdeksi kattavaksi tietokannaksi.
Yhdistämällä kaikki nämä tiedot yhteen paikkaan organisaatio voi analysoida asiakkaitaan kokonaisvaltaisesti ja varmistaa, että se on ottanut huomioon kaikki käytettävissä olevat datapisteet. Tietovarastointi mahdollistaa tiedonlouhinnan – tiedonlouhinta etsii tiedoista malleja, jotka johtavat korkeampaan myyntiin, alhaisempiin kustannuksiin ja parempiin ennusteisiin.
Tietovaraston tyypit
Tietovarastojen (DWH) kolme päätyyppiä ovat:
1. Enterprise Data Warehouse (EDW):
Yritystietovarasto on keskitetty tietovarasto, joka tarjoaa päätöksenteon tukipalveluita koko organisaatiolle. Se tarjoaa yhtenäisen lähestymistavan tiedon järjestämiseen ja esittämiseen ja antaa mahdollisuuden luokitella tietoja aiheen mukaan ja myöntää käyttöoikeuksia näiden osastojen mukaisesti.
2. Operakansallinen tietovarasto (ODS):
An OperaTeknologinen tietovarasto on tietovarasto, jota käytetään silloin, kun kumpikaan, tietovarasto tai OLTP-järjestelmät, eivät pysty palvelemaan organisaation raportointitarpeita. ODS:ssä tiedot päivitetään reaaliajassa, mikä tekee siitä ihanteellisen rutiinitoiminnoille, kuten nykyisten työntekijätietojen tallentamiseen.
3. Data Mart:
A Data Mart on tietovaraston osajoukko, joka on suunniteltu tietylle liiketoiminta-alueelle, kuten myyntiin, talouteen tai markkinointiin. Itsenäisessä datamartissa tiedot voidaan kerätä suoraan lähdejärjestelmistä.
Tietovaraston yleiset vaiheet
Aluksi organisaatiot omaksuivat suhteellisen yksinkertaisia tietovarastoinnin käyttötapoja. Ajan myötä kehittyi kehittyneempiä malleja. Seuraavat ovat tietovaraston (DWH) käytön yleiset vaiheet:
Poissa Operakansallinen tietokanta:
Tiedot kopioidaan käyttöjärjestelmästä toiselle palvelimelle. Kopion lataaminen, käsittely ja raportointi eivät vaikuta käyttöjärjestelmän suorituskykyyn.
Offline-tietovarasto:
Tietovaraston tietoja päivitetään säännöllisesti operatiivisesta tietokannasta. Tiedot kartoitetaan ja muunnetaan vastaamaan tietovaraston tavoitteita.
Reaaliaikainen tietovarasto:
Tietovarastoja päivitetään aina, kun operatiivisessa tietokannassa tapahtuu tapahtuma. Lentoyhtiöiden ja rautateiden varausjärjestelmät ovat klassisia esimerkkejä.
Integroitu tietovarasto:
Tietovarastoja päivitetään jatkuvasti, kun operatiiviset järjestelmät suorittavat tapahtumia. Tietovarasto luo sitten tapahtumia, jotka välitetään takaisin operatiiviselle järjestelmälle.
Tietovaraston komponentit
Tietovaraston neljä osaa ovat:
Kuormanhallinta: Kutsutaan myös etukomponentiksi, ja se käsittelee kaikki esim.tracdatan syöttäminen ja lataaminen tietovarastoon. Näihin toimintoihin kuuluvat muunnokset, jotka valmistelevat datan syöttämistä varten tietovarastoon.
Varastopäällikkö: Varastopäällikkö suorittaa varaston sisäisen datan hallintaan liittyviä toimintoja. Se analysoi dataa varmistaakseen sen yhdenmukaisuuden, luo indeksejä ja näkymiä, luo denormalisointeja ja aggregointeja, muuntaa ja yhdistää lähdedataa sekä arkistoi tai varmuuskopioi dataa.
Kyselyn hallinta: Kyselynhallinta, joka tunnetaan myös taustakomponenttina, käsittelee käyttäjien kyselyihin liittyviä toimintoja. Se reitittää kyselyt asianmukaisiin taulukoihin ja aikatauluttaa niiden suorittamisen.
Loppukäyttäjän työkalut:
Nämä työkalut jakautuvat viiteen ryhmään: 1) Datan raportointi, 2) Kyselytyökalut, 3) Sovelluskehitystyökalut, 4) EIS-työkalut ja 5) OLAP-työkalut ja Tiedonlouhintatyökalut.
Kuka tarvitsee tietovaraston?
Tietovarasto (DWH) tarvitaan kaikentyyppisille käyttäjille, mukaan lukien:
- Päätöksentekijät, jotka ovat riippuvaisia suurista datamääristä.
- Käyttäjät, jotka suorittavat räätälöityjä, monimutkaisia prosesseja yhdistääkseen tietoa useista lähteistä.
- Ihmiset, jotka haluavat yksinkertaisen ja vähäkitkaisen teknologian datan käyttöön.
- Tiimit, jotka haluavat systemaattisen ja toistettavan lähestymistavan päätöksentekoon.
- Käyttäjät, jotka tarvitsevat nopeaa suorituskykyä valtavien tietojoukkojen kanssa raportteja, koontinäyttöjä, ruudukoita tai kaavioita varten.
- Analyytikot, jotka haluavat löytää piilotettuja malleja tietovirroissa ja ryhmissäpings.
Mihin tietovarastoa käytetään?
Alla on lueteltu yleisimmät sektorit, joilla tietovarastoja käytetään:
Lentoyhtiö:
Lentoliikenteessä tietovarastot tukevat miehistön kohdentamista, reittien kannattavuuden analysointia, kanta-asiakasohjelman myynninedistämistä ja vastaavia operatiivisia päätöksiä.
Pankkitoiminta:
Tietovarastoja käytetään laajalti pankkitoiminnassa työpisteiden resurssien tehokkaaseen hallintaan. Useat pankit käyttävät niitä myös markkinatutkimukseen, tuotteiden suorituskyvyn analysointiin ja toiminnan suunnitteluun.
Terveydenhuolto:
Terveydenhuoltoala käyttää tietovarastoja strategioiden laatimiseen ja tulosten ennustamiseen, potilaiden hoitoraporttien luomiseen sekä tiedon jakamiseen vakuutuskumppaneiden ja lääketieteellisten avustuspalvelujen kanssa.
Julkisen sektorin:
Julkisella sektorilla tietovarastot tukevat tiedustelutietojen keräämistä ja auttavat valtion virastoja ylläpitämään ja analysoimaan jokaisen yksilön verotietoja ja terveyspoliittisia tietoja.
Sijoitukset ja vakuutukset:
Tällä sektorilla varastoja käytetään datamallien, asiakastrendien ja markkinaliikkeiden analysointiin.
Vähittäiskauppaketjut:
Vähittäiskauppaketjut käyttävät tietovarastoja jakeluun ja markkinointiin track-tuotteita ja asiakkaiden ostotottumuksia, suunnittele tarjouksia ja määritä hinnoittelupolitiikka.
Tietoliikenne:
Teleoperaattorit käyttävät tietovarastoja tuotteiden markkinointiin, myyntipäätöksiin ja jakelupäätöksiin.
Hospitality-teollisuus:
Majoitus- ja ravitsemusala käyttää tietovarastoja suunnitellakseen ja arvioidakseen asiakkaille suunnattuja mainos- ja myynninedistämiskampanjoita palautteen ja matkustusmallien perusteella.
Tietovaraston toteuttamisen vaiheet
Paras tapa hallita tietovaraston käyttöönottoon liittyvää liiketoimintariskiä on noudattaa kolmiosaista strategiaa:
- Yritysstrategia: Tunnista nykyinen tekninen arkkitehtuuri ja työkalut sekä tiedot, ulottuvuudet ja ominaisuudet, joita varaston on tuettava. Tietokarttaping ja muuntuminen ovat osa tätä vaihetta.
- Vaiheittainen toimitus: Toteuta tietovarasto vaiheittain aihealueiden mukaan. Asiaankuuluvat liiketoimintayksiköt, kuten varaus ja laskutus, tulee toimittaa ensin ja integroida sitten.
- Iteratiivinen prototyyppiping: Yhtäkkiä tapahtuvan käyttöönoton sijaan tietovarastoa tulisi kehittää, testata ja hioa iteratiivisesti.
Tässä ovat tietovaraston käyttöönoton tärkeimmät vaiheet ja niiden tuotokset:
| Vaihe | Tehtävät | Tuotokset |
|---|---|---|
| 1 | Määritä projektin laajuus | Soveltamisalan määritelmä |
| 2 | Määritä liiketoiminnan tarpeet | Looginen tietomalli |
| 3 | Määritellä Operakansalliset tietovarastovaatimukset | Operatietovaraston malli |
| 4 | Hanki tai kehitä entisiätractyökalut | ExtracTyökalut ja ohjelmistot |
| 5 | Määritä tietovaraston tietovaatimukset | Siirtymätietomalli |
| 6 | Asiakirjasta puuttuu tietoja | Tehtävälista |
| 7 | kartta Operatietovarastoon | DW-tietojen integrointikartta |
| 8 | Kehitä tietovaraston tietokannan suunnittelu | DW-tietokannan suunnittelu |
| 9 | Extract-tiedot Operavaltakunnallinen Data Store | Integroitu DW Data Extracts |
| 10 | Lataa tietovarasto | Alkuperäinen tietojen lataus |
| 11 | Ylläpidä tietovarastoa | Jatkuva tiedonsaanti ja myöhemmät lataukset |
Tietovaraston toteuttamisen parhaat käytännöt
- Määrittele suunnitelma datan johdonmukaisuuden, tarkkuuden ja eheyden testaamiseksi.
- Tietovaraston on oltava hyvin integroitu, hyvin määritelty ja aikaleimattu.
- Tietovarastoa suunnitellessasi käytä oikeaa työkalua, seuraa elinkaarta, puutu tietoristiriitoihin varhaisessa vaiheessa ja opi virheistä.
- Älä koskaan korvaa operatiivisia järjestelmiä ja operatiivisia raportteja varastolla.
- Älä käytä liikaa aikaa exääntracdatan lataaminen, puhdistaminen ja siivoaminen – automatisoi mahdollisuuksien mukaan.
- Ota kaikki sidosryhmät, mukaan lukien liiketoimintatiimit, mukaan tietovaraston toteutukseen. Käsittele tietovarastoa yhteisprojektina, jotta se pysyy hyödyllisenä loppukäyttäjille.
- Laadi koulutussuunnitelma loppukäyttäjille.
Tietovaraston edut ja haitat
Tietovaraston (DWH) edut:
- Yrityskäyttäjät voivat nopeasti käyttää kriittisiä tietoja useista lähteistä yhdestä paikasta.
- Tarjoaa yhdenmukaista tietoa eri toimintojen välillä ja tukee ad hoc -raportointia ja kyselyitä.
- Integroi useita tietolähteitä, mikä vähentää tuotantojärjestelmien kuormitusta.
- Lyhentää analyysin ja raportoinnin kokonaisläpimenoaikaa.
- Uudelleenjärjestely ja integrointi helpottavat raportointia ja analysointia loppukäyttäjälle.
- Säästää käyttäjän aikaa, koska tietoja ei tarvitse hakea useista eri lähteistä.
- Tallentaa suuria määriä historiallista dataa, mikä mahdollistaa trendianalyysin ja tulevaisuuden ennustamisen.
Tietovaraston haitat:
- Ei ihanteellinen vaihtoehto jäsentämättömälle tiedolle.
- Luominen ja toteuttaminen on aikaa vievää.
- Tietovarastot voivat vanhentua suhteellisen nopeasti ilman aktiivista ylläpitoa.
- Tietotyyppien, tietoalueiden, lähdemallien, indeksien tai kyselyiden muuttaminen on vaikeaa.
- Tietovarasto saattaa näyttää pinnalta helpolta, mutta se on monimutkainen keskivertokäyttäjälle.
- Parhaista yrityksistä huolimatta projektin laajuus pyrkii laajenemaan toteutuksen aikana.
- Eri liiketoimintayksiköt kehittävät joskus ristiriitaisia liiketoimintasääntöjä.
- Organisaatioiden on varattava merkittävästi resursseja koulutukseen ja käyttöönottoon.
Tietovarastoinnin tulevaisuus
- Sääntelyn rajoitukset voi rajoittaa kykyä yhdistää erilaisia datalähteitä, mukaan lukien strukturoimatonta dataa, jota on vaikeampi tallentaa ja hallita.
- Kuten koko Tietokantojen määrän kasvaessa erittäin suurena tietokannana pidetty koko siirtyy ylöspäin, ja varastojen rakentaminen ja ylläpitäminen tuossa mittakaavassa on yhä monimutkaisempaa.
- Multimediatiedot ei voida käsitellä yhtä helposti kuin tekstiä. Relaatio-ohjelmistot käsittelevät tekstitietoa hyvin, mutta rich media on edelleen aktiivinen tutkimuskohde.
Tietovarastotyökalut
Markkinoilla on saatavilla monia tietovarastointityökaluja. Tässä on joitakin merkittävimmistä:
1. MarkLogic:
MarkLogic on tietovarastointiratkaisu, joka yksinkertaistaa ja nopeuttaa tietojen integrointia monipuolisilla yritysominaisuuksilla. Se suorittaa monimutkaisia hakutoimintoja ja voi tehdä kyselyitä dokumenteista, suhteista ja metatiedoista.
2. Oracle:
Oracle on alan johtava tietokanta. Se tarjoaa laajan valikoiman tietovarastoratkaisuja sekä paikallisiin että pilvikäyttöön ja auttaa optimoimaan asiakaskokemusta parantamalla toiminnan tehokkuutta.
3. Amazon Punasiirtymä:
Amazon Redshift on tietovarastopalvelu, joka on yksinkertainen ja kustannustehokas datan analysointiin standardin mukaisesti SQL ja olemassa olevia BI-työkaluja. Se suorittaa monimutkaisia kyselyitä petatavuja kohden strukturoitua dataa käyttäen kyselyoptimointitekniikoita.
Tässä on täydellinen luettelo hyödyllisistä Tietovarastotyökalut.
