Što je skladište podataka? Vrste

Što je skladište podataka?

Skladištenje podataka (DW) je proces prikupljanja i upravljanja podacima iz različitih izvora kako bi se pružili smisleni poslovni uvidi. Skladište podataka obično se koristi za povezivanje i analizu poslovnih podataka iz heterogenih izvora i predstavlja srž svakog sustava poslovne inteligencije (BI) izgrađenog za analizu podataka i izvještavanje.

Skladištenje podataka je spoj tehnologija i komponenti koji podržavaju strateško korištenje podataka. To je elektroničko pohranjivanje velikih količina poslovnih informacija dizajnirano za upite i analizu, a ne za obradu transakcija. Skladište podataka pretvara sirove podatke u upotrebljive informacije i dostavlja ih korisnicima na vrijeme kako bi mogli donositi važne odluke.

Baza podataka za podršku odlučivanju (skladište podataka) održava se odvojeno od operativne baze podataka organizacije. Skladište podataka nije proizvod već okruženje - arhitektonska konstrukcija informacijskog sustava koja korisnicima pruža trenutne i povijesne informacije za podršku odlučivanju kojima je teško pristupiti ili ih predstaviti u tradicionalnom operativnom skladištu podataka.

Možda znate da baza podataka dizajnirana pomoću 3NF-a za sustav zaliha obično ima mnogo međusobno povezanih tablica. Na primjer, izvješće o trenutnoj zalihi može zahtijevati više od 12 spojenih uvjeta, što usporava vrijeme odgovora upita i izvješća. Skladište podataka pruža denormalizirani dizajn koji smanjuje vrijeme odgovora i poboljšava performanse izvještavanja i analitike.

Sustav skladišta podataka poznat je i pod sljedećim nazivima:

• Sustav za podršku odlučivanju (DSS)
• Izvršni informacijski sustav
• Informacijski sustav upravljanja
• Rješenje poslovne inteligencije
• Analitička aplikacija
• Skladište podataka

Povijest skladišta podataka

Skladište podataka pomaže korisnicima da razumiju i poboljšaju performanse svoje organizacije. Potreba za skladištenjem podataka razvijala se kako su računalni sustavi postajali složeniji i obrađivali sve veće količine informacija. Skladištenje podataka nije novi koncept - ima dugu evolucijsku povijest.

Evo nekih ključnih događaja u evoluciji skladišta podataka:

• 1960 — Dartmouth i General Mills, u zajedničkom istraživačkom projektu, razvijaju pojmove „dimenzije“ i „činjenice“.
• 1970 — AC Nielsen i IRI uvode dimenzionalne podatkovne markete za maloprodaju.
• 1983 — Teradata Corporation predstavlja sustav za upravljanje bazama podataka posebno dizajniran za podršku odlučivanju.
• Krajem 1980-ih - IBM istraživači Paul Murphy i Barry Devlin razvijaju koncept skladišta poslovnih podataka.
• Zasluge za modernu viziju skladišta podataka pripisuju se Bill Inmon, često nazivan „ocem skladišta podataka“. Autor je temeljnih djela o izgradnji, korištenju i održavanju skladišta i Tvornice korporativnih informacija.

Kako funkcionira skladište podataka?

Skladište podataka funkcionira kao središnje spremište u koje informacije dolaze iz jednog ili više izvora podataka. Podaci teku u skladište iz transakcijskih sustava i drugih relacijskih baza podataka.

Dolazni podaci mogu biti:

1. Strukturirani
2. Polustrukturirano
3. Nestrukturiran

Podaci se obrađuju, transformiraju i unose kako bi korisnici mogli pristupiti odabranom skupu podataka putem alata za poslovnu inteligenciju, SQL klijenata i proračunskih tablica. Skladište podataka spaja informacije iz različitih izvora u jednu sveobuhvatnu bazu podataka.

Konsolidacijom svih ovih informacija na jednom mjestu, organizacija može holistički analizirati svoje kupce i potvrditi da je uzela u obzir svaku dostupnu podatkovnu točku. Skladištenje podataka omogućuje rudarenje podataka — rudarenje podataka traži obrasce u podacima koji vode do veće prodaje, nižih troškova i boljih prognoza.

Vrste skladišta podataka

Tri glavne vrste skladišta podataka (DWH) su:

1. Enterprise Data Warehouse (EDW):

Skladište podataka poduzeća je centralizirano skladište koje pruža usluge podrške odlučivanju u cijeloj organizaciji. Nudi jedinstveni pristup organiziranju i predstavljanju podataka te omogućuje klasifikaciju podataka prema temi i odobravanje pristupa prema tim odjelima.

2. Operacionalno spremište podataka (ODS):

An Operacionalno spremište podataka je spremište podataka koje se koristi kada ni skladište podataka ni OLTP sustavi ne mogu zadovoljiti potrebe organizacije za izvještavanjem. U ODS-u se podaci osvježavaju u stvarnom vremenu, što ga čini idealnim za rutinske aktivnosti poput pohranjivanja trenutnih zapisa zaposlenika.

3. Data Mart:

A Data Mart je podskup skladišta podataka dizajniran za određenu liniju poslovanja, kao što su prodaja, financije ili marketing. U neovisnom skladištu podataka, podaci se mogu prikupljati izravno iz izvornih sustava.

Opće faze skladišta podataka

U početku su organizacije usvojile relativno jednostavne načine korištenja skladišta podataka. S vremenom su se pojavili sofisticiraniji obrasci. Slijede opće faze korištenja skladišta podataka (DWH):

Offline Operanacionalna baza podataka:

Podaci se kopiraju s operativnog sustava na drugi poslužitelj. Učitavanje, obrada i izvještavanje na temelju kopije ne utječu na performanse operativnog sustava.

Izvanmrežno skladište podataka:

Podaci u skladištu podataka redovito se ažuriraju iz operativne baze podataka. Podaci se mapiraju i transformiraju kako bi se ispunili ciljevi skladišta podataka.

Skladište podataka u stvarnom vremenu:

Skladišta podataka ažuriraju se svaki put kada se transakcija odvija u operativnoj bazi podataka. Klasični primjeri su sustavi rezervacija zrakoplovnih i željezničkih letova.

Integrirano skladište podataka:

Skladišta podataka se kontinuirano ažuriraju kada operativni sustavi izvršavaju transakcije. Skladište podataka zatim generira transakcije koje se vraćaju operativnom sustavu.

Komponente skladišta podataka

Četiri komponente skladišta podataka su:

Upravitelj učitavanja: Također se naziva prednja komponenta, Upravitelj učitavanja obrađuje sve operacije povezane s extracučitavanje i učitavanje podataka u skladište podataka. Ove operacije uključuju transformacije koje pripremaju podatke za unos u skladište podataka.

Voditelj skladišta: Upravitelj skladišta provodi operacije povezane s upravljanjem podacima unutar skladišta. Analizira podatke kako bi osigurao konzistentnost, stvara indekse i prikaze, generira denormalizacije i agregacije, transformira i spaja izvorne podatke te arhivira ili izrađuje sigurnosne kopije podataka.

Upravitelj upita: Također poznat kao backend komponenta, Upravitelj upita obrađuje operacije povezane s korisničkim upitima. Usmjerava upite u odgovarajuće tablice i zakazuje njihovo izvršavanje.

Alati za pristup krajnjih korisnika:

Ovi alati spadaju u pet skupina: 1) Izvještavanje o podacima, 2) Alati za upite, 3) Alati za razvoj aplikacija, 4) EIS alati i 5) OLAP alati Alati za rudarenje podataka.

Kome treba skladište podataka?

Skladište podataka (DWH) potrebno je svim vrstama korisnika, uključujući:

• Donositelji odluka koji se oslanjaju na velike količine podataka.
• Korisnici koji pokreću prilagođene, složene procese za kombiniranje informacija iz više izvora.
• Ljudi koji žele jednostavnu tehnologiju s niskim trenjem za pristup podacima.
• Timovi koji žele sustavan, ponovljiv pristup donošenju odluka.
• Korisnici kojima je potrebna brza obrada ogromnih skupova podataka za izvješća, nadzorne ploče, mreže ili grafikone.
• Analitičari koji žele otkriti skrivene obrasce u tokovima podataka i grupamapings.

Za što se koristi skladište podataka?

U nastavku su navedeni najčešći sektori u kojima se koriste skladišta podataka:

Zrakoplovna kompanija:

U zrakoplovnoj industriji, skladišta podataka podržavaju dodjeljivanje posade, analizu profitabilnosti ruta, promocije programa za česte letove i slične operativne odluke.

Bankarstvo:

Skladišta podataka se široko koriste u bankarstvu za učinkovito upravljanje resursima na stolu. Nekoliko banaka ih također koristi za istraživanje tržišta, analizu performansi proizvoda i planiranje poslovanja.

Zdravstvo:

Zdravstveni sektor koristi skladišta podataka za strategiziranje i predviđanje ishoda, generiranje izvješća o liječenju pacijenata i dijeljenje podataka s osiguravajućim partnerima i službama medicinske pomoći.

Javni sektor:

U javnom sektoru, skladišta podataka podržavaju prikupljanje obavještajnih podataka i pomažu vladinim agencijama u održavanju i analizi poreznih evidencija i evidencija zdravstvene politike za svaku osobu.

Ulaganja i osiguranje:

U ovom sektoru, skladišta se koriste za analizu obrazaca podataka, trendova kupaca i kretanja na tržištu.

Maloprodajni lanci:

Trgovački lanci koriste skladišta podataka za distribuciju i marketing, kako bi track artikala i obrazaca kupnje kupaca, planirati promocije i odrediti politiku cijena.

Telekomunikacija:

Telekomunikacijske tvrtke koriste skladišta podataka za promocije proizvoda, prodajne odluke i odluke o distribuciji.

Ugostiteljstvo:

Ugostiteljska industrija koristi skladišta podataka za dizajniranje i procjenu reklamnih i promotivnih kampanja koje ciljaju klijente na temelju povratnih informacija i obrazaca putovanja.

Koraci za implementaciju skladišta podataka

Najbolji način upravljanja poslovnim rizikom povezanim s implementacijom skladišta podataka jest slijediti trostruku strategiju:

1. Strategija poduzeća: Identificirajte trenutnu tehničku arhitekturu i alate, plus činjenice, dimenzije i atribute koje skladište mora podržavati. Mapa podatakaping i transformacija su dio ove faze.
2. Fazna isporuka: Implementirajte skladište podataka u fazama na temelju predmetnih područja. Povezani poslovni entiteti poput rezervacija i naplate trebali bi se prvo isporučiti, a zatim integrirati.
3. Iterativni prototipping: Umjesto nagle implementacije, skladište podataka treba razvijati, testirati i iterativno usavršavati.

Evo ključnih koraka u implementaciji skladišta podataka zajedno s njihovim rezultatima:

Korak	Zadaci	isporučeno
1	Definirajte opseg projekta	Definicija opsega
2	Odredite poslovne potrebe	Logički podatkovni model
3	Definirati OperaZahtjevi za pohranu podataka	Operacionalni model pohrane podataka
4	Stjecanje ili razvoj bivšegtracalati za cije	ExtracAlati i softver
5	Definiranje zahtjeva za podatke skladišta podataka	Prijelazni podatkovni model
6	U dokumentu nedostaju podaci	Popis projekata koje treba napraviti
7	Karta Operacionalno skladište podataka u skladište podataka	Mapa integracije podataka DW-a
8	Razvoj dizajna baze podataka skladišta podataka	Dizajn DW baze podataka
9	Extract podaci iz Operational Data Store	Integrirani DW Data Extracts
10	Učitajte skladište podataka	Početno učitavanje podataka
11	Održavanje skladišta podataka	Tekući pristup podacima i naknadna učitavanja

Najbolje prakse za implementaciju skladišta podataka

• Definirajte plan za testiranje konzistentnosti, točnosti i integriteta podataka.
• Skladište podataka mora biti dobro integrirano, dobro definirano i vremenski označeno.
• Prilikom dizajniranja skladišta podataka koristite pravi alat, pratite životni ciklus, rano rješavajte sukobe podataka i učite iz grešaka.
• Nikada ne zamjenjujte operativne sustave i operativna izvješća skladištem.
• Ne provodite previše vremena s bivšim/bivšom.tracobrada, čišćenje i učitavanje podataka - automatizirajte gdje je to moguće.
• Uključite sve dionike, uključujući poslovne timove, u implementaciju skladišta podataka. Tretirajte skladište kao zajednički projekt kako bi ostalo korisno krajnjim korisnicima.
• Pripremite plan obuke za krajnje korisnike.

Prednosti i nedostaci skladišta podataka

Prednosti skladišta podataka (DWH):

• Poslovni korisnici mogu brzo pristupiti ključnim podacima iz mnogih izvora na jednom mjestu.
• Pruža dosljedne informacije u svim međufunkcionalnim aktivnostima i podržava ad-hoc izvještavanje i upite.
• Integrira više izvora podataka, što smanjuje opterećenje produkcijskih sustava.
• Smanjuje ukupno vrijeme obrade za analizu i izvještavanje.
• Restrukturiranje i integracija olakšavaju izvještavanje i analizu za krajnjeg korisnika.
• Štedi korisniku vrijeme uklanjanjem potrebe za dohvaćanjem podataka iz više izvora.
• Pohranjuje velike količine povijesnih podataka, što omogućuje analizu trendova i buduća predviđanja.

Nedostaci skladišta podataka:

• Nije idealna opcija za nestrukturirane podatke.
• Izrada i implementacija oduzimaju puno vremena.
• Skladišta podataka mogu relativno brzo zastarjeti bez aktivnog održavanja.
• Promjene tipova podataka, raspona, izvornih shema, indeksa ili upita su teške.
• Skladište podataka naizgled može izgledati jednostavno, ali je složeno za prosječnog korisnika.
• Unatoč najboljim naporima, opseg projekta se obično širi tijekom provedbe.
• Različite poslovne jedinice ponekad razvijaju konfliktna poslovna pravila.
• Organizacije moraju izdvojiti značajna sredstva za obuku i implementaciju.

Budućnost skladištenja podataka

• Regulatorna ograničenja može ograničiti mogućnost kombiniranja izvora različitih podataka, uključujući nestrukturirane podatke koje je teže pohraniti i njima upravljati.
• Kao što je Veličina Kako broj baza podataka raste, ono što se smatra vrlo velikom bazom podataka nastavlja se pomicati prema gore, a izgradnja i upravljanje skladištima u toj mjeri postaje sve složenije.
• Multimedijski podaci ne može se manipulirati tako lako kao tekst. Relacijski softver dobro obrađuje tekstualne informacije, ali bogati mediji ostaju aktivno područje istraživanja.

Alati za skladište podataka

Na tržištu je dostupno mnogo alata za skladištenje podataka. Evo nekih od najistaknutijih:

1. MarkLogic:

MarkLogic je rješenje za skladištenje podataka koje pojednostavljuje i ubrzava integraciju podataka s bogatim skupom poslovnih značajki. Izvodi složene operacije pretraživanja i može ispitivati ​​dokumente, odnose i metapodatke.

2. Oracle:

Oracle je vodeća baza podataka u industriji. Nudi širok raspon rješenja za skladištenje podataka, kako za lokalnu tako i za cloud implementaciju, te pomaže u optimizaciji korisničkog iskustva poboljšanjem operativne učinkovitosti.

3. Amazon Crveni pomak:

Amazon crveni pomak je usluga skladišta podataka koja je jednostavna i isplativa za analizu podataka sa standardnim SQL i postojeće BI alate. Izvršava složene upite nad petabajtima strukturiranih podataka koristeći tehnike optimizacije upita.

Ovdje je potpuni popis korisnih Alati za skladište podataka.

Pitanja i odgovori