Mikä on Data Warehouse? Tyypit, määritelmä ja esimerkki

Mikä on datavarastointi?

A Tietovarastointi (DW) on prosessi tietojen keräämiseen ja hallintaan eri lähteistä merkityksellisten liiketoimintanäkemysten tarjoamiseksi. Tietovarastoa käytetään yleensä yhdistämään ja analysoimaan heterogeenisistä lähteistä peräisin olevia yritystietoja. Tietovarasto on BI-järjestelmän ydin, joka on rakennettu tietojen analysointiin ja raportointiin.

Se on sekoitus teknologioita ja komponentteja, jotka auttavat tiedon strategista käyttöä. Se on yrityksen suorittamaa suuren tietomäärän sähköistä tallennusta, joka on suunniteltu kyselyihin ja analysointiin tapahtumien käsittelyn sijaan. Se on prosessi, jossa tiedot muunnetaan tiedoksi ja tuodaan se käyttäjien saataville oikea-aikaisesti, jotta saadaan aikaan muutos.

Päätöksen tukitietokantaa (Data Warehouse) ylläpidetään erillään organisaation operatiivisesta tietokannasta. Tietovarasto ei kuitenkaan ole tuote vaan ympäristö. Se on tietojärjestelmän arkkitehtoninen rakennelma, joka tarjoaa käyttäjille ajankohtaista ja historiallista päätöksentekoa koskevaa tietoa, jota on vaikea saada käsiksi tai esittää perinteisessä operatiivisessa tietovarastossa.

Monet tietävät, että 3NF-suunnittelemassa inventaariojärjestelmän tietokannassa on monia toisiinsa liittyviä taulukoita. Esimerkiksi nykyisen varaston tietojen raportti voi sisältää yli 12 yhdistettyä ehtoa. Tämä voi nopeasti hidastaa kyselyn ja raportin vastausaikaa. Tietovarasto tarjoaa uuden suunnittelun, joka voi auttaa lyhentämään vastausaikaa ja parantamaan raporttien ja analytiikan kyselyiden suorituskykyä.

Tietovarastojärjestelmä tunnetaan myös seuraavalla nimellä:

Päätöksen tukijärjestelmä (DSS)
Executive Information System
Johdon tietojärjestelmä
Business Intelligence -ratkaisu
Analyyttinen sovellus
Tietovarasto

Datawarehousen historia

Tietovarasto auttaa käyttäjiä ymmärtämään ja parantamaan organisaationsa suorituskykyä. Tietojen varastointitarve kehittyi, kun tietokonejärjestelmät muuttuivat monimutkaisemmiksi ja niitä tarvittiin yhä suurempien tietomäärien käsittelyyn. Tietovarastointi ei kuitenkaan ole uusi asia.

Tässä on joitain tärkeitä tapahtumia Data Warehousen kehityksessä-

1960 - Dartmouth ja General Mills kehittävät yhteisessä tutkimusprojektissa termejä mitat ja tosiasiat.

1970 – Nielsen ja IRI esittelevät mittatietokeskukset vähittäismyyntiä varten.
1983 – Tera Data Corporation esittelee tietokannan hallintajärjestelmän, joka on suunniteltu erityisesti päätöksentekoon

Tietovarastointi alkoi 1980-luvun lopulla, jolloin IBM työntekijä Paul Murphy ja Barry Devlin kehittivät Business Data Warehousen.

Todellisen idean antoi kuitenkin Inmon Bill. Häntä pidettiin tietovaraston isänä. Hän oli kirjoittanut useista varaston ja yritystietotehtaan rakentamiseen, käyttöön ja ylläpitoon liittyvistä aiheista.

Miten tietovarasto toimii?

Tietovarasto toimii keskustietovarastona, johon tiedot saapuvat yhdestä tai useammasta tietolähteestä. Data virtaa tietovarastoon tapahtumajärjestelmästä ja muista relaatiotietokannoista.

Tiedot voivat olla:

Strukturoidut
Puolirakenteinen
Jäsentämätön tieto

Tietoja käsitellään, muunnetaan ja syötetään, jotta käyttäjät voivat käyttää käsiteltyä dataa Data Warehousessa Business Intelligence -työkalujen, SQL-asiakkaiden ja laskentataulukoiden kautta. Tietovarasto yhdistää eri lähteistä tulevat tiedot yhdeksi kattavaksi tietokannaksi.

Yhdistämällä kaikki nämä tiedot yhteen paikkaan organisaatio voi analysoida asiakkaitaan kokonaisvaltaisemmin. Tämä auttaa varmistamaan, että se on ottanut huomioon kaikki saatavilla olevat tiedot. Tietovarastointi mahdollistaa tiedon louhinnan. Tiedonlouhinta etsii tiedoista malleja, jotka voivat johtaa korkeampaan myyntiin ja voittoihin.

Tietovaraston tyypit

Tietovarastojen (DWH) kolme päätyyppiä ovat:

1. Enterprise Data Warehouse (EDW):

Enterprise Data Warehouse (EDW) on keskitetty varasto. Se tarjoaa päätöksenteon tukipalvelua koko yrityksessä. Se tarjoaa yhtenäisen lähestymistavan tiedon järjestämiseen ja esittämiseen. Se tarjoaa myös mahdollisuuden luokitella tietoja aiheen mukaan ja antaa pääsyn näiden jakojen mukaan.

2. Operakansallinen tietovarasto:

Operational Data Store, jota kutsutaan myös ODS:ksi, ei ole muuta kuin tietovarasto, jota tarvitaan, kun tietovarasto tai OLTP-järjestelmät eivät tue organisaatioiden raportointitarpeita. ODS:ssä tietovarasto päivitetään reaaliajassa. Siksi sitä suositellaan yleisesti rutiinitoimintoihin, kuten työntekijöiden tietueiden tallentamiseen.

3. Data Mart:

A data mart on tietovaraston osajoukko. Se on erityisesti suunniteltu tietylle toimialalle, kuten myynti, rahoitus, myynti tai rahoitus. Riippumattomassa datakaupassa tietoja voidaan kerätä suoraan lähteistä.

Tietovaraston yleiset vaiheet

Aiemmin organisaatiot aloittivat tietovarastoinnin suhteellisen yksinkertaisen käytön. Ajan myötä tietovarastoinnin kehittyneempi käyttö alkoi kuitenkin.

Seuraavat ovat tietovaraston (DWH) yleisiä käyttövaiheita:

Poissa Operakansallinen tietokanta:

Tässä vaiheessa tiedot vain kopioidaan käyttöjärjestelmästä toiselle palvelimelle. Tällä tavoin kopioitujen tietojen lataaminen, käsittely ja raportointi eivät vaikuta käyttöjärjestelmän suorituskykyyn.

Offline-tietovarasto:

Tietovaraston tiedot päivitetään säännöllisesti alkaen Operakansallinen tietokanta. Datawarehousen tiedot kartoitetaan ja muunnetaan vastaamaan Datawarehousen tavoitteita.

Reaaliaikainen tietovarasto:

Tässä vaiheessa tietovarastot päivitetään aina, kun toimintatietokannassa tapahtuu tapahtumia. Esimerkiksi lentoyhtiön tai rautatien varausjärjestelmä.

Integroitu tietovarasto:

Tässä vaiheessa tietovarastot päivitetään jatkuvasti, kun käyttöjärjestelmä suorittaa tapahtuman. Tietovarasto luo sitten tapahtumia, jotka välitetään takaisin käyttöjärjestelmään.

Tietovaraston komponentit

Tietovarastojen neljä osaa ovat:

Load Manager: Kuormanhallintaa kutsutaan myös etukomponentiksi. Se suorittaa kaikki toiminnot, jotka liittyvät tietojen poimimiseen ja lataamiseen varastoon. Nämä toiminnot sisältävät muunnoksia tietojen valmistelemiseksi tietovarastoon syöttämistä varten.

Varastopäällikkö: Varastopäällikkö suorittaa varaston tietojen hallintaan liittyviä toimintoja. Se suorittaa toimintoja, kuten tietojen analysointia johdonmukaisuuden varmistamiseksi, indeksien ja näkymien luomisen, denormalisoinnin ja aggregaatioiden luomisen, lähdetietojen muuntamisen ja yhdistämisen sekä tietojen arkistoinnin ja leipomisen.

Kyselyn hallinta: Kyselynhallinta tunnetaan myös taustakomponenttina. Se suorittaa kaikki käyttäjien kyselyjen hallintaan liittyvät operaatiot. Tämän tietovaraston komponenttien toiminnot ovat suoria kyselyitä sopiviin taulukoihin kyselyjen suorittamisen ajoittamiseksi.

Loppukäyttäjän käyttötyökalut:

Tämä on luokiteltu viiteen eri ryhmään, kuten 1. Tiedon raportointi 2. Kyselytyökalut 3. Sovelluskehitystyökalut 4. EIS-työkalut, 5. OLAP-työkalut ja tiedon louhinnan työkalut.

Kuka tarvitsee tietovaraston?

DWH (tietovarasto) tarvitaan kaikentyyppisille käyttäjille, kuten:

Päättäjät, jotka luottavat suureen tietomäärään
Käyttäjät, jotka käyttävät räätälöityjä, monimutkaisia prosesseja saadakseen tietoja useista tietolähteistä.
Sitä käyttävät myös ihmiset, jotka haluavat yksinkertaista tekniikkaa päästäkseen käsiksi tietoihin
Se on myös välttämätöntä niille ihmisille, jotka haluavat järjestelmällistä lähestymistapaa päätöksentekoon.
Jos käyttäjä haluaa nopeaa suorituskykyä valtavalle datamäärälle, joka on välttämätön raporteille, ruudukoille tai kaavioille, tietovarasto osoittautuu hyödylliseksi.
Tietovarasto on ensimmäinen askel, jos haluat löytää tietovirtojen ja ryhmittelyjen "piilotettuja malleja".

Mihin tietovarastoa käytetään?

Tässä ovat yleisimmät alat, joilla tietovarastoa käytetään:

Lentoyhtiö:

Lentoyhtiöjärjestelmässä sitä käytetään operatiivisiin tarkoituksiin, kuten miehistön määräämiseen, reitin kannattavuuden analysointiin, kanta-asiakasohjelman promootioihin jne.

Pankkitoiminta:

Sitä käytetään laajalti pankkisektorilla pöydällä olevien resurssien tehokkaaseen hallintaan. Muutama pankki käytti myös markkinatutkimusta, tuotteen ja toiminnan suorituskykyanalyysiä.

Terveydenhuolto:

Terveydenhuoltosektori käytti tietovarastoa myös tulosten strategiointiin ja ennustamiseen, potilaiden hoitoraporttien luomiseen, tietojen jakamiseen vakuutusyhtiöiden kanssa, sairaanhoitopalveluiden jne.

Julkisen sektorin:

Julkisella sektorilla tietovarastoa käytetään tiedustelutietojen keräämiseen. Se auttaa valtion virastoja ylläpitämään ja analysoimaan verotietoja, terveyspolitiikkaa koskevia tietueita jokaisesta yksilöstä.

Sijoitus- ja vakuutusala:

Tällä alalla varastoja käytetään ensisijaisesti datamallien, asiakastrendien analysointiin ja markkinoiden liikkeiden seuraamiseen.

Säilytä ketju:

Vähittäiskauppaketjuissa tietovarastoa käytetään laajasti jakeluun ja markkinointiin. Se auttaa myös seuraamaan kohteita, asiakkaiden ostomallia, tarjouksia ja käyttää myös hinnoittelupolitiikan määrittämiseen.

Tietoliikenne:

Tietovarastoa käytetään tällä sektorilla tuotepromootioihin, myyntipäätöksiin ja jakelupäätösten tekemiseen.

Hospitality-teollisuus:

Tämä toimiala hyödyntää varastopalveluita mainos- ja promootiokampanjoiden suunnittelussa ja arvioinnissa, joihin he haluavat kohdistaa asiakkaat palautteen ja matkustustottumuksien perusteella.

Tietovaraston käyttöönottovaiheet

Paras tapa käsitellä Datawarehouse-toteutukseen liittyvää liiketoimintariskiä on käyttää alla olevaa kolmiosaista strategiaa

Yritysstrategia: Tässä tunnistetaan tekninen, mukaan lukien nykyinen arkkitehtuuri ja työkalut. Tunnistamme myös tosiasiat, ulottuvuudet ja attribuutit. Tietojen kartoitus ja muunnos on myös hyväksytty.
Vaiheittainen toimitus: Tietovaraston toteutus tulisi vaiheittain suorittaa aihealueiden mukaan. Asiaan liittyvät liiketoimintayksiköt, kuten varaus ja laskutus, tulee ensin ottaa käyttöön ja sitten integroida toisiinsa.
Iteratiivinen prototyyppi: Toteutuksen big bang -lähestymistavan sijaan tietovarastoa tulisi kehittää ja testata iteratiivisesti.

Tässä on Datawarehouse-toteutuksen tärkeimmät vaiheet ja sen toimitukset.

Vaihe	Tehtävät	Tuotokset
1	Hankkeen laajuus on määriteltävä	Soveltamisalan määritelmä
2	On määritettävä liiketoiminnan tarpeet	Looginen tietomalli
3	Määritellä Operakansalliset tietovaraston vaatimukset	Operatietovaraston malli
4	Hanki tai kehitä purkutyökaluja	Pura työkalut ja ohjelmistot
5	Määritä tietovaraston tietovaatimukset	Siirtymätietomalli
6	Asiakirjasta puuttuu tietoja	Tehtäväprojektiluettelo
7	Kartat Operatietovarastoon	D/W-tietojen integrointikartta
8	Kehitä Data Warehouse -tietokantasuunnittelua	D/W-tietokannan suunnittelu
9	Pura tiedot kohteesta Operavaltakunnallinen Data Store	Integroidut D/W-dataotteet
10	Lataa tietovarasto	Alkuperäinen tietojen lataus
11	Ylläpidä tietovarastoa	Jatkuva tietojen käyttö ja myöhemmät lataukset

Parhaat käytännöt tietovaraston käyttöönottamiseksi

Päätä suunnitelma tietojen johdonmukaisuuden, tarkkuuden ja eheyden testaamiseksi.
Tietovaraston tulee olla hyvin integroitu, hyvin määritelty ja aikaleimattu.
Kun suunnittelet Datawarehousea, varmista, että käytät oikeaa työkalua, pidät kiinni elinkaaresta, huolehdi tietoristiriidoista ja olet valmis oppimaan virheistäsi.
Älä koskaan vaihda käyttöjärjestelmiä ja raportteja
Älä käytä liikaa aikaa tietojen poimimiseen, puhdistamiseen ja lataamiseen.
Varmista, että kaikki sidosryhmät mukaan lukien yrityshenkilöstö otetaan mukaan Datawarehousen käyttöönottoprosessiin. Varmista, että tietovarastointi on yhteinen/ryhmäprojekti. Et halua luoda tietovarastoa, josta ei ole hyötyä loppukäyttäjille.
Laadi koulutussuunnitelma loppukäyttäjille.

Miksi tarvitsemme tietovaraston? Edut & Haitat

Data Warehousen (DWH) edut:

Tietovaraston avulla yrityskäyttäjät pääsevät nopeasti käsiksi tärkeisiin tietoihin joistakin lähteistä yhdestä paikasta.
Tietovarasto tarjoaa johdonmukaista tietoa erilaisista poikkitoiminnallisista toiminnoista. Se tukee myös ad hoc -raportointia ja -kyselyä.
Data Warehouse auttaa integroimaan monia tietolähteitä tuotantojärjestelmän stressin vähentämiseksi.
Tietovarasto auttaa lyhentämään analyysin ja raportoinnin kokonaiskäsittelyaikaa.
Uudelleenjärjestelyt ja integrointi helpottavat käyttäjän käyttöä raportointiin ja analysointiin.
Tietovaraston avulla käyttäjät voivat käyttää kriittisiä tietoja useista lähteistä yhdestä paikasta. Siksi se säästää käyttäjän aikaa hakea tietoja useista lähteistä.
Tietovarasto tallentaa suuren määrän historiallista tietoa. Tämä auttaa käyttäjiä analysoimaan eri ajanjaksoja ja trendejä tulevaisuuden ennusteiden tekemiseksi.

Tietovaraston haitat:

Ei ihanteellinen vaihtoehto jäsentämättömälle tiedolle.
Tietovaraston luominen ja käyttöönotto on varmasti aika hämmentävää.
Data Warehouse voi vanhentua suhteellisen nopeasti
Vaikea tehdä muutoksia tietotyyppeihin ja -alueisiin, tietolähdeskeemaan, indekseihin ja kyselyihin.
Tietovarasto saattaa tuntua helpolta, mutta itse asiassa se on liian monimutkainen keskivertokäyttäjille.
Parhaista projektinhallinnan ponnisteluista huolimatta tietovarastointiprojektien laajuus kasvaa aina.
Joskus varaston käyttäjät kehittävät erilaisia liiketoimintasääntöjä.
Organisaatioiden on käytettävä paljon resurssejaan koulutus- ja toteutustarkoituksiin.

Tietovarastoinnin tulevaisuus

muutos Sääntelyn rajoitukset saattaa rajoittaa kykyä yhdistää erilaisten tietojen lähteitä. Nämä erilaiset lähteet voivat sisältää jäsentämätöntä dataa, jota on vaikea tallentaa.
Kuten koko Tietokantojen määrä kasvaa, arviot erittäin suuresta tietokannasta kasvavat edelleen. On monimutkaista rakentaa ja käyttää tietovarastojärjestelmiä, joiden koko kasvaa jatkuvasti. Nykyään saatavilla olevat laitteisto- ja ohjelmistoresurssit eivät mahdollista suuria tietomääriä verkossa.
Multimediatiedot ei ole helppo käsitellä tekstidatana, kun taas tekstitietoa voidaan hakea nykyään saatavilla olevilla relaatioohjelmistoilla. Tämä voisi olla tutkimuskohde.

Tietovarastotyökalut

Markkinoilla on monia tietovarastotyökaluja. Tässä on joitain näkyvimmistä:

1. MarkLogic:

MarkLogic on hyödyllinen tietovarastoratkaisu, joka tekee tietojen integroinnista helpompaa ja nopeampaa käyttämällä useita yritysominaisuuksia. Tämä työkalu auttaa suorittamaan erittäin monimutkaisia hakutoimintoja. Se voi kysyä erityyppisiä tietoja, kuten asiakirjoja, suhteita ja metatietoja.

https://www.marklogic.com/product/getting-started/

2. Oracle:

Oracle on alan johtava tietokanta. Se tarjoaa laajan valikoiman tietovarastoratkaisuja sekä paikan päällä että pilvessä. Se auttaa optimoimaan asiakaskokemusta lisäämällä toiminnan tehokkuutta.

https://www.oracle.com/index.html

3. Amazon punainenShift:

Amazon Redshift on tietovarastotyökalu. Se on yksinkertainen ja kustannustehokas työkalu kaikentyyppisten tietojen analysoimiseen standardin avulla SQL ja olemassa olevat BI-työkalut. Se mahdollistaa myös monimutkaisten kyselyjen suorittamisen strukturoidun datan petatavuilla käyttämällä kyselyn optimointitekniikkaa.

https://aws.amazon.com/redshift/?nc2=h_m1

Tässä on täydellinen luettelo hyödyllisistä Tietovarastotyökalut.

AVAIN OPPIMINEN

Data Warehouse (DWH) tunnetaan myös nimellä Enterprise Data Warehouse (EDW).
Tietovarasto määritellään keskustietovarastoksi, jossa tietoa tulee yhdestä tai useammasta tietolähteestä.
Tietovarastojen kolme päätyyppiä ovat Enterprise Data Warehouse (EDW), Operational Data Store ja Data Mart.
Tietovaraston yleinen tila on offline-tilassa Operarationaalinen tietokanta, offline-tietovarasto, reaaliaikainen tietovarasto ja integroitu tietovarasto.
Tietovaraston neljä pääkomponenttia ovat Load Manager, Warehouse Manager, Query Manager ja Loppukäyttäjän pääsytyökalut
Datawarehousea käytetään monilla aloilla, kuten lentoyhtiö, pankki, terveydenhuolto, vakuutus, vähittäiskauppa jne.
Datawarehosuen toteuttaminen on 3-osainen strategia, nimittäin. Yritysstrategia, vaiheittainen toimitus ja iteratiivinen prototyyppi.
Tietovaraston avulla yrityskäyttäjät pääsevät nopeasti käsiksi tärkeisiin tietoihin joistakin lähteistä yhdestä paikasta.

Saatat tykätä: