Mikä Data Mart on Data Warehousessa? Tyypit ja esimerkki

⚡ Älykäs yhteenveto

Data Mart -suunnittelu toimittaa kohdennetun tietovarastotiedon osajoukon yhdelle osastolle kattaen kolme data mart -tyyppiä, viisi vaihetta suunnittelusta hallintaan ja parhaat käytännöt, jotka pitävät toimituksen nopeana, turvallisena ja kustannustehokkaana.

  • 🎯 Määritelmä: Tietovarasto on aihekohtainen osa tietovarastoa, joka on rakennettu yhdelle osastolle, kuten myynti, markkinointi, henkilöstöhallinto tai talous.
  • 🧩 Mart-tyypit: Riippuvaiset markkinat hankkivat tiedot keskusvarastosta, itsenäiset markkinat suoraan operatiivisista järjestelmistä ja hybridimarkkinat yhdistävät molemmat.
  • ⚙️ Toteutusvaiheet: Tietomartin rakentaminen etenee suunnittelun, rakentamisen, täyttämisen, käytön ja hallinnan kautta.
  • 🔌 ETL ja RDBMS:t: RDBMS tallentaa markkinapaikan, kun taas ETL-työkalu kartoittaa, esim.tracts muuntaa, puhdistaa ja lataa lähdedatan ja metatiedot.
  • 📊 Mittasuunnittelu: Tähtirakenteen ympärille tehty datan mallintaminen nopeuttaa kyselyitä ja yksinkertaistaa raportointia yrityskäyttäjille.
  • 💡 Vaikutus liiketoimintaan: Pienempi laajuus tarkoittaa nopeampia kyselyitä, alhaisempia kustannuksia, tiukempaa käyttöoikeuksien hallintaa ja nopeampaa toimitusta kuin täysi varasto.
  • 🧭 Paras harjoitus: Pidä toimitussykli viikkojen mittaisena, budjetoi laitteisto ja verkostoituminen ja ota kaikki sidosryhmät mukaan jo varhaisessa vaiheessa.

Tietovaraston datamart, joka näyttää riippuvaiset, itsenäiset ja hybridi-datamartit

Tietomart tuo analyyttisen tehon tietovarasto yhdelle tiimille. Keskittymällä yhteen aihealueeseen se antaa osaston analysoida omaa dataansa nopeasti ilman, että sen tarvitsee odottaa koko yrityksen työkuormien takana. Seuraavissa osioissa selitetään, mitä datamart on, miksi organisaatiot käyttävät sitä, mitkä ovat kolme saatavilla olevaa tyyppiä sekä miten se otetaan käyttöön ja hallitaan.

Mikä Data Mart on?

Tietomartti keskittyy organisaation yhteen toiminnalliseen alueeseen ja sisältää osan siihen tallennetuista tiedoista. TietovarastoSe on tiivistetty versio tietovarastosta, joka on suunniteltu tietyn osaston, yksikön tai käyttäjäryhmän – esimerkiksi markkinoinnin, myynnin, henkilöstöhallinnon tai taloushallinnon – käyttöön.

Koska tietovarastolla on yksi tehtävä, sitä hallinnoi yleensä yksi organisaation osasto. Tämä keskittyminen pitää sen toiminnan laajuuden kapeana ja omistajuuden selkeänä.

Tietovarasto kerää dataa vain harvoista lähteistä, toisin kuin useita lähteitä integroiva tietovarasto. Tämän seurauksena tietovarastot ovat kooltaan pieniä ja paljon joustavampia kuin täysimittainen tietovarasto.

Miksi tarvitsemme Data Martia?

Organisaatiot luottavat datamartteihin useista käytännön syistä:

  • Tietovarasto parantaa käyttäjien vasteaikaa vähentämällä heidän kyselyidensä datamäärää.
  • Se tarjoaa helpon pääsyn usein pyydettyihin tietoihin.
  • Tietomart on yksinkertaisempi ja halvempi toteuttaa kuin yrityksen oma tietovarasto.
  • Se on ketterä: mallin muuttuessa pienempi tietovarasto voidaan rakentaa nopeasti uudelleen.
  • Tietomartin määrittelee yksi asiantuntija, kun taas tietovaraston määrittelee monialainen tiimi, joten mart on avoimempi muutokselle.
  • Data on osioitu, mikä mahdollistaa erittäin rakeiset käyttöoikeudet.
  • Dataa voidaan segmentoida ja tallentaa eri laitteisto- tai ohjelmistoalustoille.

Lyhyesti sanottuna, koska tietovarasto käsittelee pienempää, hyvin määriteltyä tietomäärää, se on nopeampi rakentaa, halvempi ylläpitää ja helpompi suojata kuin yrityksen tietovarasto.

Kaikkia datamartteja ei kuitenkaan rakenneta samalla tavalla. Martin käyttämä lähde määrää, minkä kolmesta tyypistä kanssa työskentelet.

Data Mart -tyypit

Tietomartteja on kolmea päätyyppiä, jotka erotetaan toisistaan ​​sen mukaan, mistä ne hankkivat tietonsa:

  1. Riippuvainen: Riippuvaiset tietovarastot hakevat tietoa suoraan operatiivisista lähteistä, ulkoisista lähteistä tai molemmista.
  2. Independent: Itsenäinen tietovarasto luodaan ilman keskitettyä tietovarastoa.
  3. Hybridi: Hybridi-tietovarasto voi ottaa dataa tietovarastoista tai operatiivisista järjestelmistä.

Dependent Data Mart

Riippuvainen tietovarasto hankkii organisaation tiedot yhdestä tietovarastosta, mikä antaa sille keskitetyn edun. Jos sinun on rakennettava yksi tai useampi fyysinen tietovarasto, voit määrittää ne riippuvaisiksi tietovarastoiksi.

Riippuvainen datamart voidaan rakentaa kahdella tavalla: toisella tavalla, jossa käyttäjät käyttävät sekä datamartia että tietovarastoa tarpeen mukaan, ja toisella tavalla, jossa pääsy on rajoitettu vain datamartiin. Toinen lähestymistapa ei ole optimaalinen, koska se voi johtaa "tietoromuvarastoon" – dataa, joka alkaa yhteisestä lähteestä, mutta sitten romutetaan ja jää suurelta osin käyttämättä.

Riippuvainen data-Mart hakee tietoja yhdestä tietovarastosta
Dependent Data Mart

Independent Data Mart

Itsenäinen data mart luodaan ilman keskitettyä tietovarastoa. Tällainen data mart on ihanteellinen vaihtoehto pienemmille ryhmille organisaation sisällä.

Itsenäisellä datamartilla ei ole yhteyttä yrityksen tietovarastoon tai mihinkään muuhun datamartiin. Sen tiedot ladataan ja analysoidaan itsenäisesti. Tämä lähestymistapa on ristiriidassa tietovaraston rakentamisen päätarkoituksen kanssa: yhtenäisen, keskitetyn yritysdatan tallennustilan, jota monet eri kiinnostuksen kohteista kiinnostuneet käyttäjät voivat analysoida.

Itsenäinen datakeskus luotiin ilman keskitettyä tietovarastoa

Independent Data Mart

Hybrid Data Mart

Hybriditietovarasto yhdistää syötteitä tietovaraston ulkopuolelta. Tämä auttaa, kun tarvitset ad-hoc-integraatiota – esimerkiksi sen jälkeen, kun organisaatioon lisätään uusi ryhmä tai tuote.

Se sopii hyvin usean tietokannan ympäristöihin ja tarjoaa nopean käyttöönoton mahdollisimman vähäisellä datan karsimisella. Hybriditietovarasto tukee myös suuria tallennusrakenteita ja toimii hyvin pienemmissä, datakeskeisissä sovelluksissa.

Hybrid Data Mart yhdistää tietovaraston muihin lähteisiin

Hybrid Data Mart

Datamartin käyttöönottovaiheet

Viisi vaihetta tietovaraston toteuttamisessa

Datamartin käyttöönottovaiheet

Tietomartin toteuttaminen on palkitseva mutta yksityiskohtainen prosessi. Se etenee viiden vaiheen läpi – suunnittelu, rakentaminen, täyttö, käyttö ja hallinta – joita kaikkia kuvataan alla.

Suunnittelu

Suunnittelu on tietovaraston käyttöönoton ensimmäinen vaihe. Se kattaa kaikki tehtävät alkuperäisestä tietovarastopyynnöstä vaatimusten keräämiseen ja päättyy loogiseen ja fyysiseen tietovaraston suunnitteluun.

Suunnitteluvaihe sisältää seuraavat tehtävät:

  • Liiketoiminta- ja teknisten vaatimusten kerääminen ja tietolähteiden tunnistaminen.
  • Sopivan tietojen osajoukon valitseminen.
  • Datamarketin loogisen ja fyysisen rakenteen suunnittelu.

Data voidaan osioida seuraavien kriteerien perusteella:

  • Päivämäärä
  • Liiketoiminta- tai toiminnallinen yksikkö
  • Maantiede
  • Mikä tahansa yllä olevien yhdistelmä

Data voidaan osioida sovellus- tai tietokannan hallintajärjestelmätasolla, vaikka sovellustason osiointia suositellaan, koska se mahdollistaa erilaisen datamallin joka vuosi liiketoimintaympäristön muuttuessa. Useimmat datamartit on rakennettu ulottuvuusmalli, kuten tähtikaavaa, kyselyiden pitämiseksi nopeina.

Mitä tuotteita ja teknologioita tarvitset?

Tässä vaiheessa riittää yksinkertainen kynä ja paperi. Työkalut, jotka auttavat sinua luomaan UML- tai entiteetti-relaatiokaavioita, voivat myös liittää metatietoja loogisiin ja fyysisiin suunnitelmiisi.

rakentamalla

Rakentaminen on toteutuksen toinen vaihe. Se sisältää fyysisen tietokannan ja loogisten rakenteiden luomisen.

Tämä vaihe sisältää seuraavan tehtävän:

  • Aiemmassa vaiheessa suunnitellun fyysisen tietokannan toteuttaminen — esimerkiksi skeemaobjektien, kuten taulukoiden, indeksien ja näkymien, luominen.

Mitä tuotteita ja teknologioita tarvitset?

Tarvitset relaatiotietokannan hallintajärjestelmän (RDBMS) rakentaaksesi tietovaraston. RDBMS tarjoaa useita ominaisuuksia, jotka ovat olennaisia ​​tietovaraston menestykselle:

  • Tallennuksen hallinta: RDBMS tallentaa ja hallitsee tietoja, jolloin voit luoda, lisätä ja poistaa tietueita.
  • Nopea pääsy dataan: SQL-kyselyllä voit helposti hakea tietoja tiettyjen ehtojen tai suodattimien perusteella.
  • Datan suojelu: RDBMS voi toipua järjestelmähäiriöistä, kuten sähkökatkoksista, ja palauttaa tietoja varmuuskopioista, jos levy vikaantuu.
  • Monen käyttäjän tuki: Se tarjoaa samanaikaisen käyttöoikeuden, joten useat käyttäjät voivat lukea ja muokata tietoja korvaamatta toistensa muutoksia.
  • Turvallisuus: Se säätelee, mitkä käyttäjät voivat käyttää mitäkin objekteja ja mitä toimintoja he voivat suorittaa.

asuttavat

Kolmannessa vaiheessa dataa ladataan datamarttiin.

Täyttövaihe sisältää seuraavat tehtävät:

  • karttaping lähdedatasta kohdedataan.
  • Extraclähdedatan syöttäminen.
  • Tietojen puhdistaminen ja muuntaminen.
  • Datan lataaminen datamarttiin.
  • Metadatan luominen ja tallentaminen.

Mitä tuotteita ja teknologioita tarvitset?

Suoritat nämä tehtävät ETL:llä (esim.tract, Muunna, Lataa) -työkalu. Se tutkii tietolähteitä, suorittaa lähteestä kohteeseen -kartoituksenpingja sitten entinentracts muuntaa, puhdistaa ja lataa tiedot datamarttiin.

Matkan varrella työkalu luo myös metatietoja – tietoja, kuten mistä tiedot ovat peräisin, kuinka tuoreita ne ovat, mitä muutoksia on tehty ja minkä tasoista yhteenvetoa on käytetty.

pääsy

Neljäs vaihe on tietojen käyttö, ja se ottaa tiedot käyttöön: tietojen kysely, raporttien ja kaavioiden luominen ja niiden julkaiseminen. Loppukäyttäjät lähettävät kyselyitä ja tarkastelevat tuloksia, usein seuraavien kautta: OLAP työkaluja.

Käyttöönottovaiheeseen kuuluvat seuraavat tehtävät:

  • Metakerroksen määrittäminen, joka kääntää tietokantarakenteet ja objektien nimet liiketoimintatermeiksi, jotta ei-tekniset käyttäjät voivat helposti käyttää datamarttia.
  • Tietokantarakenteiden perustaminen ja ylläpito.
  • APIen ja rajapintojen määrittäminen tarvittaessa.

Mitä tuotteita ja teknologioita tarvitset?

Voit käyttää datamartia komentoriviltä tai graafisesta käyttöliittymästä. Graafista käyttöliittymää suositaan yleensä, koska se luo graafit helposti ja on käyttäjäystävällisempi kuin komentoriviltä.

Hallinta

Hallinta on tietovaraston käyttöönottoprosessin viimeinen vaihe. Joko graafisen käyttöliittymän tai komentorivin avulla tiimit käsittelevät jatkuvia hallintatehtäviä, kuten:

  • Jatkuva käyttöoikeuksien hallinta.
  • Järjestelmän optimointi ja hienosäätö paremman suorituskyvyn saavuttamiseksi.
  • Tuoreen datan lisääminen ja hallinta datamartissa.
  • Palautusskenaarioiden suunnittelu järjestelmän pitämiseksi käytettävissä, jos se vikaantuu.
  • Laitteisto- ja ohjelmistovioista toipuminen tietoja säilyttäen.

Data Martsin käyttöönoton parhaat käytännöt

Noudata näitä parhaita käytäntöjä koko tietovarastokeskuksen käyttöönottoprosessin ajan:

  • Rakenna tietovaraston lähde osastoittain.
  • Mittaa toteutussykliä viikoissa kuukausien tai vuosien sijaan.
  • Ota kaikki sidosryhmät mukaan suunnitteluvaiheeseen, koska tietovaraston käyttöönotto voi olla monimutkaista.
  • Budjetoi tarkasti tietovarastolaitteiston, ohjelmistojen, verkkojen ja käyttöönottokustannusten osalta.
  • Vaikka datamart jakaa laitteistoa, se saattaa tarvita eri ohjelmistoja käyttäjien kyselyiden käsittelemiseen; arvioi nopeiden vastausten edellyttämä lisälaskentateho ja tallennustila.
  • Kun tietovarasto sijaitsee eri paikassa kuin tietovarasto, varmista, että verkkokapasiteetilla on riittävästi resursseja tarvittavien tietomäärien siirtämiseen.
  • Latausajan budjetti, joka kasvaa transformaatioiden monimutkaisuuden kasvaessa.

Data Martin edut ja haitat

Kuten minkä tahansa arkkitehtuurivalinnan kohdalla, datamart tuo selkeitä etuja, mutta myös muutamia kompromisseja.

edut

  • Tietovarasto sisältää organisaationlaajuista dataa, joka on arvokasta tietylle käyttäjäryhmälle.
  • Se on kustannustehokas vaihtoehto tietovarastolle, jonka rakentaminen voi olla kallista.
  • Tietovarasto mahdollistaa nopeamman pääsyn dataan.
  • Se on helppokäyttöinen, koska se on suunniteltu käyttäjien erityistarpeisiin, mikä voi nopeuttaa liiketoimintaprosesseja.
  • Tietomartin käyttöönotto kestää vähemmän aikaa kuin tietovaraston, koska keskityt vain osaan datasta.
  • Se sisältää historiatietoja, jotka auttavat analyytikoita tunnistamaan trendejä.

Haitat

  • Yritykset luovat joskus liikaa hajanaisia, toisiinsa liittymättömiä tietovarastoja, joiden ylläpito vaikeutuu.
  • Tietomart ei voi tarjota koko yrityksen kattavaa data-analyysia, koska sen datajoukko on rajallinen.

UKK

A tietovarasto on yrityksen laajuinen tietovarasto, joka kattaa kaikki aihealueet, kun taas datamart sisältää pienemmän, aihekohtaisesti yhden osaston tiedot. Datamartit ovat halvempia, nopeampia rakentaa ja nopeampia hakea, mutta ne eivät voi tarjota yrityksen laajuista analyysia.

Tietovarasto tallentaa strukturoitua, käsiteltyä ja yhtä liiketoimintatoimintoa varten mallinnettua dataa. Tietojärvi tallentaa kaikenlaista raakadataa – strukturoitua, puolistrukturoitua tai strukturoimatonta – laajassa mittakaavassa. Tietovarastot tarjoavat nopeaa raportointia; järvet tukevat tutkivaa datatiedettä ja koneoppimista.

Useimmat datamartit käyttävät ulottuvuusmalli, tyypillisesti tähtikaavio, jossa on yksi keskeinen tietotaulukko, joka on liitetty ulottuvuustaulukoihin. Lumihiutalekaavio normalisoi näitä ulottuvuuksia entisestään. Sekä nopeuttavat kyselyitä että yksinkertaistavat raportointia yrityskäyttäjille.

Myyntidata-mart tallentaa myyntitiimin asiakastapahtumat, tuotot ja myyntiputken mittarit. Markkinoinnin, taloushallinnon ja henkilöstöhallinnon data-mart toimii samalla tavalla, antaen jokaiselle osastolle esiaggregoitua dataa ilman, että koko yrityksen tietovarastoa tarvitsee kysellä.

Tietomartti tukee OLAP, ei OLTP:tä. Se on optimoitu raporttien ja koontinäyttöjen historiallisten tietojen lukemiseen, kokoamiseen ja analysointiin pikemminkin kuin transaktionaalisten OLTP-järjestelmien käsittelemiin nopeisiin lisäyksiin ja päivityksiin.

Pilvipohjainen tietovarasto toimii hallitulla pilvitietovarastoalustalla paikallisten palvelimien sijaan. Se poistaa laitteiston hallinnan, skaalaa tallennustilaa ja laskentaa tarpeen mukaan ja laskuttaa yleensä kyselykohtaisesti, mikä alentaa kustannuksia ja nopeuttaa käyttöönottoa.

Tekoäly ja koneoppimistyökalut nopeuttavat datamart-työskentelyä profiloimalla lähdedataa, suosittelemalla skeemaa ja ulottuvuuksia sekä luomalla ETL-kartan.pingja merkitsemällä datan laatuongelmia. He ehdottavat myös osiointi- ja indeksointistrategioita, vaikka insinöörien tulisi tarkistaa jokainen suositus ennen sen käyttöönottoa tuotannossa.

Kyllä. ChatGPT ja GitHub Copilot SQL-kyselyiden, tähtikaava-DDL- ja ETL-skriptien luonnostelu lyhyestä kehotteesta. RevTarkista tulosteesta oikeat taulukoiden nimet, liitokset ja rakeisuus ennen sen suorittamista, koska luotu koodi voi epäonnistua liiketoimintasäännöissä.

Tiivistä tämä viesti seuraavasti: