Skladište podataka Architekstura, komponente i dijagram Concepts

Skladište podataka Concepts

A skladište podataka postoji kako bi tvrtki pružio jednu verziju istine za donošenje odluka i predviđanje. To je informacijski sustav koji sadrži povijesne i kumulativne podatke izvučene iz jednog ili više izvora.

Organiziranjem tih podataka za analizu, a ne za transakcije, skladište podataka pojednostavljuje izvještavanje i analizu cijele organizacije.

Karakteristike skladišta podataka

Skladište podataka ima četiri ključne karakteristike koje ga razlikuju od rutinske operativne baze podataka:

• Predmetno orijentiran
• Integriran
• Vremenska varijanta
• Neizbrisivu

Predmetno orijentiran

Skladište podataka je orijentirano na temu jer pruža informacije o temi, a ne o tekućim operacijama tvrtke. Tipične teme uključuju prodaju, marketing i distribuciju.

Umjesto svakodnevne obrade, skladište naglašava modeliranje i analizu za donošenje odluka. Nudi jednostavan, sažet prikaz svake teme i izostavlja podatke koji ne podržavaju proces odlučivanja.

Integriran

Integracija je usko povezana s orijentacijom na predmet. U skladištu podataka, integracija znači uspostavljanje zajedničke jedinice mjere za sve slične podatke izvučene iz različitih baza podataka i pohranjivanje tih podataka na zajednički, univerzalno prihvatljiv način.

Skladište podataka gradi se integriranjem podataka iz različitih izvora kao što su glavni sustavi, relacijske baze podataka i ravne datoteke. Također mora održavati dosljedne konvencije imenovanja, formate i kodiranje.

Ova dosljednost u imenovanju, mjerama atributa i strukturi kodiranja omogućuje učinkovitu analizu. Razmotrite sljedeći primjer:

U gornjem primjeru, tri aplikacije označene s A, B i C pohranjuju podatke o spolu, datumu i stanju računa, ali svaka aplikacija ih pohranjuje na drugačiji način:

• Aplikacija A pohranjuje polje spola kao logičke vrijednosti kao što su M ili Ž.
• Aplikacija B pohranjuje polje spola kao numeričku vrijednost.
• Aplikacija C pohranjuje polje spola kao vrijednost znaka.
• Ista varijacija primjenjuje se i na polja Datum i Stanje.

Nakon procesa transformacije i čišćenja, svi se ti podaci pohranjuju u uobičajenom formatu unutar skladišta podataka.

Vremenska varijanta

Vremenski horizont skladišta podataka daleko je širi od vremenskog horizonta operativnog sustava. Podaci se prepoznaju s određenim razdobljem i nude povijesnu perspektivu, tako da uvijek nose element vremena, bilo eksplicitno ili implicitno.

Jedno mjesto gdje se pojavljuje ova vremenska varijacija je u strukturi ključa zapisa. Svaki primarni ključ u skladištu trebao bi nositi element vremena, kao što je dan, tjedan ili mjesec.

Drugi aspekt vremenske varijance je da se, nakon što se podaci unesu u skladište, ne mogu ažurirati ili mijenjati.

Neizbrisivu

Skladište podataka je također nepromjenjivo, što znači da se raniji podaci ne brišu kada stignu novi podaci. Podaci su samo za čitanje i periodično se osvježavaju, što pomaže analitičarima da proučavaju povijesne podatke i razumiju što se dogodilo i kada.

Budući da ne zahtijeva obradu transakcija, oporavak ili kontrolu konkurentnosti, skladište podataka izostavlja aktivnosti brisanja, ažuriranja i umetanja uobičajene u operativnoj aplikaciji. U skladištu podataka izvode se samo dvije operacije s podacima:

1. Učitavanje podataka
2. Pristup podacima

Donja tablica ističe neke glavne razlike između operativne aplikacije i skladišta podataka:

Operacionalna primjena	Skladište podataka
Složeni program mora biti kodiran kako bi se osiguralo da procesi nadogradnje podataka održavaju visoku cjelovitost konačnog proizvoda.	Do ove vrste problema ne dolazi jer se ne vrši ažuriranje podataka.
Podaci se stavljaju u normalizirani oblik kako bi se osigurala minimalna redundancija.	Podaci se ne pohranjuju u normaliziranom obliku.
Tehnologija potrebna za podršku problemima transakcija, oporavka podataka, vraćanja na prethodno stanje i rješavanja zastoja je prilično složena.	Nudi relativnu jednostavnost tehnologije.

Skladište podataka Architektura

Skladište podataka ArchiStruktura je složena jer sustav pohranjuje povijesne i kumulativne podatke iz više izvora. Postoje tri pristupa izgradnji slojeva skladišta: jednoslojni, dvoslojni i troslojni.

Jednoslojna arhitektura ima za cilj minimizirati količinu pohranjenih podataka uklanjanjem redundancije. Rijetko se koristi u praksi.

Dvoslojna arhitektura odvaja fizički dostupne izvore od skladišta podataka. Nije lako proširiv, podržava manji broj krajnjih korisnika i može imati problema s povezivanjem zbog mrežnih ograničenja.

Troslojna arhitektura je najčešće korišteni dizajn skladišta podataka.

Sastoji se od gornjeg, srednjeg i donjeg sloja:

1. Donja razina: Baza podataka skladišta služi kao donja razina. Obično je to relacijski sustav baza podataka, a podaci se čiste, transformiraju i učitavaju u ovaj sloj pomoću back-end alata.
2. Srednja razina: Srednji sloj je OLAP poslužitelj implementiran korištenjem ROLAP ili MOLAP modela. Predstavlja apsolutnotracpregledan prikaz baze podataka i djeluje kao posrednik između krajnjeg korisnika i baze podataka.
3. Najviša razina: Najviši sloj je sloj front-end klijenta. Sadrži alate i API-je koji se koriste za povezivanje i izvlačenje podataka iz skladišta, kao što su alati za upite, alati za izvještavanje, alati za upravljane upite, alati za analizu i alati za rudarenje podataka.

Komponente skladišta podataka

Komponente i cjelokupna arhitektura skladišta podataka rade zajedno kao što je prikazano na donjem dijagramu.

Skladište podataka temelji se na RDBMS poslužitelju, središnjem spremištu informacija okruženom ključnim komponentama koje održavaju cijelo okruženje funkcionalnim, upravljivim i dostupnim.

Skladište podataka ima pet glavnih komponenti, opisanih u nastavku.

Baza podataka skladišta podataka

Centralna baza podataka je temelj skladišnog okruženja i implementirana je na RDBMS tehnologija. Budući da je tradicionalni RDBMS podešen za obradu transakcija, a ne za skladištenje, operacije koje zahtijevaju puno resursa poput ad-hoc upita, spajanja više tablica i agregata mogu ga usporiti.

Zbog toga se koriste alternativni pristupi bazama podataka:

• Relacijske baze podataka implementiraju se paralelno kako bi se omogućila skalabilnost, koristeći modele dijeljene memorije ili ničega dijeljenog na raznim višeprocesorskim ili masivno paralelnim konfiguracijama.
• Nove indeksne strukture koriste se za zaobilaženje skeniranja relacijskih tablica i poboljšanje brzine.
• Višedimenzionalne baze podataka (MDDB) koriste se za prevladavanje ograničenja modela relacijskih skladišta podataka. Primjer je Essbase iz Oracle.

Alati za pronalaženje, nabavu, čišćenje i transformaciju (ETL)

Alati za pronalaženje, transformaciju i migraciju podataka izvode sve konverzije, sažimanja i promjene potrebne za pretvaranje podataka u jedinstveni format skladišta. Nazivaju se i Extract, alati za transformaciju i učitavanje (ETL).

Njihova funkcionalnost uključuje sljedeće:

• Anonimizirajte podatke u skladu s regulatornim odredbama.
• Uklonite neželjene podatke iz operativnih baza podataka prije utovara u skladište.
• Pretražujte i zamijenite uobičajena imena i definicije za podatke koji dolaze iz različitih izvora.
• Izračunajte sažetke i izvedene podatke.
• Popunite nedostajuće podatke zadanim vrijednostima.
• Uklonite duplikate ponovljenih podataka koji dolaze iz više izvora.

To ETL alati može generirati cron poslove, pozadinske poslove, Cobol programe i shell skripte koje redovito osvježavaju skladište i pomažu u održavanju metapodataka.

Budući da crpe iz mnogih sustava, ETL alati se moraju nositi i s heterogenošću baza podataka i podataka.

Metadata

Metapodaci možda zvuče napredno, ali to su jednostavno podaci o podacima koji definiraju skladište. Koriste se za izgradnju, održavanje i upravljanje skladištem.

Unutar arhitekture, metapodaci specificiraju izvor, upotrebu, vrijednosti i značajke podataka te definiraju kako se podaci mogu mijenjati i obrađivati, tako da ostaju usko povezani sa skladištem.

Na primjer, redak u bazi podataka o prodaji može sadržavati:

4030 KJ732 299.90

Ovo je besmisleno dok metapodaci ne objasne da predstavlja broj modela 4030, ID prodajnog agenta KJ732 i ukupan iznos prodaje od 299.90 USD.

Metapodaci su stoga bitan sastojak u pretvaranju podataka u znanje i pomažu u odgovorima na pitanja kao što su:

• Koje tablice, atribute i ključeve sadrži skladište?
• Odakle podaci?
• Koliko puta se podaci ponovno učitavaju?
• Koje su transformacije i čišćenja primijenjene?

Metapodaci se dijele u dvije kategorije:

1. Tehnički metapodaci: Ovo opisuje skladište za dizajnere i administratore koji ga grade i vode.
2. Poslovni metapodaci: To krajnjim korisnicima omogućuje jednostavan način razumijevanja informacija pohranjenih u skladištu.

Alati za upite

Primarni cilj skladištenja podataka je pružiti tvrtkama informacije koje su im potrebne za donošenje strateških odluka, a alati za upite su način na koji korisnici komuniciraju sa sustavom.

Ovi alati spadaju u četiri kategorije:

1. Alati za upite i izvješća
2. Alati za razvoj aplikacija
3. Alati za rudarenje podataka
4. OLAP alati

Alati za upite i izvještavanje

Alati za upite i izvještavanje dijele se u dvije skupine: alati za izvještavanje i alati za upravljane upite.

Alati za izvješćivanje dalje podijeljeno na alate za izvještavanje o proizvodnji i alate za pisanje izvješća na računalu:

1. Autori izvješća: Namijenjeni su krajnjim korisnicima koji sami izrađuju analize.
2. Izvještavanje o proizvodnji: To omogućuje organizacijama generiranje redovitih operativnih izvješća i podršku za velike količine serijskih zadataka poput ispisa i izračuna. Popularni primjeri uključuju Brio, Business Objects, Oracle, PowerSoft i SAS Institut.

Alati za upravljane upite pomoći krajnjim korisnicima umetanjem meta-sloja između korisnika i baze podataka, što skriva složenost SQL-a i strukture baze podataka.

Alati za razvoj aplikacija

Kada ugrađeni grafički i analitički alati ne mogu zadovoljiti analitičke potrebe organizacije, prilagođena izvješća se izrađuju pomoću alata za razvoj aplikacija.

Alati za rudarenje podataka

Rudarenje podataka otkriva značajne nove korelacije, obrasce i trendove unutar velikih količina podataka, a alati za rudarenje podataka automatiziraju to otkrivanje.

OLAP alati

OLAP Alati su izgrađeni na višedimenzionalnoj bazi podataka i omogućuju korisnicima analizu podataka putem složenih, višedimenzionalnih prikaza.

Sabirnica skladišta podataka Architektura

Sabirnica skladišta podataka određuje kako podaci teku kroz skladište. Taj tok se može kategorizirati kao ulazni, uzlazni, silazni, odljevni i meta-tok.

Prilikom projektiranja sabirnice morate uzeti u obzir zajedničke dimenzije i činjenice koje obuhvaćaju podatkovne skladišta.

Martovi podataka

A data mart je sloj pristupa koji se koristi za dostavu podataka korisnicima. Odgovara velikim skladištima jer je potrebno manje vremena i novca za izgradnju, iako ne postoji jedinstvena dogovorena definicija podatkovnog skladišta.

Jednostavno rečeno, podatkovno skladište je podružnica skladišta podataka. Ono particionira podatke za određenu skupinu korisnika i može se nalaziti u istoj bazi podataka kao i skladište ili u fizički odvojenoj.

Skladište podataka Architecture Best Practices

Za dizajniranje dobre arhitekture skladišta podataka, slijedite najbolje prakse u nastavku:

• Koristite modele skladišta podataka koji su optimizirani za dohvaćanje informacija, bilo da se radi o prostoran, denormalizirani ili hibridni pristup.
• Odaberite odgovarajući pristup dizajnu, bilo odozgo prema dolje ili odozdo prema gore.
• Osigurajte brzu i točnu obradu podataka, istovremeno ih konsolidirajući u jednu verziju istine.
• Pažljivo osmislite proces prikupljanja i čišćenja podataka za skladište.
• Osmislite arhitekturu metapodataka koja omogućuje dijeljenje metapodataka između komponenti skladišta.
• Razmotrite an Operamodel pohrane podataka (ODS) kada su potrebe za pretraživanjem pri dnu baze podatakatraccionoj piramidi ili kada se mora pristupiti više operativnih izvora.
• Osigurajte da je podatkovni model integriran, a ne samo konsolidiran; u tom slučaju koristite 3NF podatkovni model, koji je također idealan pri nabavi ETL-a i alata za čišćenje podataka.

Pitanja i odgovori