Ce este un depozit de date? Tipuri

Ce este Data Warehousing?

Depozitare de date (DW) este procesul de colectare și gestionare a datelor din diverse surse pentru a oferi informații utile despre afaceri. Un depozit de date este de obicei utilizat pentru a conecta și analiza date de afaceri din surse eterogene și este nucleul oricărui sistem de Business Intelligence (BI) construit pentru analiza și raportarea datelor.

Depozitarea de date este o combinație de tehnologii și componente care susține utilizarea strategică a datelor. Este stocarea electronică a unor cantități mari de informații de afaceri, concepute pentru interogare și analiză, mai degrabă decât pentru procesarea tranzacțiilor. Depozitul de date transformă datele brute în informații utilizabile și le furnizează utilizatorilor la timp pentru a lua deciziile importante.

O bază de date de asistență pentru decizii (Depozitul de Date) este menținută separat de baza de date operațională a unei organizații. Depozitul de Date nu este un produs, ci un mediu - o construcție arhitecturală a unui sistem informațional care oferă utilizatorilor informații actuale și istorice de asistență pentru decizii, dificil de accesat sau de prezentat într-un depozit de date operațional tradițional.

Probabil știți că o bază de date proiectată cu 3NF pentru un sistem de inventar are de obicei multe tabele legate între ele. De exemplu, un raport despre inventarul curent ar putea necesita mai mult de 12 condiții unite, ceea ce încetinește timpii de răspuns la interogări și rapoarte. Un depozit de date oferă un design denormalizat care reduce timpul de răspuns și îmbunătățește performanța raportării și analizelor.

Sistemul depozit de date este cunoscut și sub următoarele denumiri:

• Sistemul de sprijinire a deciziilor (DSS)
• Sistemul informatic executiv
• Sistemul de gestionare a informațiilor
• Soluție de Business Intelligence
• Aplicație analitică
• Depozitul de date

Istoricul depozitului de date

Depozitul de date îi ajută pe utilizatori să înțeleagă și să îmbunătățească performanța organizației lor. Nevoia de a stoca date a evoluat pe măsură ce sistemele informatice au devenit mai complexe și au procesat volume tot mai mari de informații. Depozitarea datelor nu este un concept nou - are o lungă istorie evolutivă.

Iată câteva dintre evenimentele cheie din evoluția Depozitului de Date:

• 1960 — Dartmouth și General Mills, într-un proiect comun de cercetare, dezvoltă termenii „dimensiuni” și „fapte”.
• 1970 — AC Nielsen și IRI introduc piețe de date dimensionale pentru vânzările cu amănuntul.
• 1983 — Teradata Corporation introduce un sistem de gestionare a bazelor de date conceput special pentru asistența decizională.
• Sfârșitul anilor 1980 - IBM Cercetătorii Paul Murphy și Barry Devlin dezvoltă conceptul de Business Data Warehouse.
• Viziunea modernă asupra depozitului de date este atribuită Bill Inmon, adesea numit „părintele Depozitului de Date”. A fost autorul unor lucrări fundamentale despre construirea, utilizarea și întreținerea depozitului de date și a Fabricii de Informații Corporative.

Cum funcționează un depozit de date?

Un depozit de date funcționează ca un depozit central unde informațiile sosesc de la una sau mai multe surse de date. Datele sunt introduse în depozit din sistemele tranzacționale și alte baze de date relaționale.

Datele primite pot fi:

1. structurat
2. Semi-structurat
3. Nestructurat

Datele sunt procesate, transformate și ingerate astfel încât utilizatorii să poată accesa setul de date selectat prin intermediul instrumentelor de Business Intelligence, clienților SQL și foilor de calcul. Un depozit de date îmbină informații din diferite surse într-o singură bază de date cuprinzătoare.

Prin consolidarea tuturor acestor informații într-un singur loc, o organizație își poate analiza clienții în mod holistic și poate confirma că a luat în considerare fiecare punct de date disponibil. Depozitarea datelor face posibilă extragerea datelor (Data Mining) — extragerea datelor caută modele în date care duc la vânzări mai mari, costuri mai mici și previziuni mai bune.

Tipuri de depozit de date

Cele trei tipuri principale de depozite de date (DWH) sunt:

1. Enterprise Data Warehouse (EDW):

Un depozit de date Enterprise este un depozit centralizat care oferă servicii de asistență decizională în întreaga organizație. Acesta oferă o abordare unificată pentru organizarea și reprezentarea datelor și oferă posibilitatea de a clasifica datele după subiect și de a acorda acces în funcție de diviziile respective.

2. OperaDepozit de date național (ODS):

An OperaUn depozit de date internațional este un depozit de date utilizat atunci când nici un depozit de date, nici sistemele OLTP nu pot satisface nevoile de raportare ale organizației. Într-un ODS, datele sunt reîmprospătate în timp real, ceea ce îl face ideal pentru activități de rutină, cum ar fi stocarea înregistrărilor actuale ale angajaților.

3. Data Mart:

A Data Mart este un subset al Depozitului de Date conceput pentru o anumită linie de afaceri, cum ar fi vânzările, finanțele sau marketingul. Într-un Data Mart independent, datele pot fi colectate direct din sistemele sursă.

Etapele generale ale unui depozit de date

Inițial, organizațiile au adoptat utilizări relativ simple ale Data Warehousing-ului. În timp, au apărut modele mai sofisticate. Următoarele sunt etapele generale de utilizare a Data Warehousing-ului (DWH):

Deconectat OperaBaza de date națională:

Datele sunt copiate de pe un sistem operațional pe un alt server. Încărcarea, procesarea și raportarea copiei nu afectează performanța sistemului operațional.

Depozit de date offline:

Datele din Depozitul de Date sunt actualizate periodic din baza de date operațională. Datele sunt mapate și transformate pentru a îndeplini obiectivele Depozitului de Date.

Depozit de date în timp real:

Depozitele de date sunt actualizate de fiecare dată când are loc o tranzacție în baza de date operațională. Sistemele de rezervări ale companiilor aeriene și feroviare sunt exemple clasice.

Depozit de date integrat:

Depozitele de date sunt actualizate continuu atunci când sistemele operaționale efectuează tranzacții. Depozitul de date generează apoi tranzacții care sunt transmise înapoi sistemului operațional.

Componentele unui depozit de date

Cele patru componente ale unui depozit de date sunt:

Manager de încărcare: Numit și componentă frontală, Load Manager se ocupă de toate operațiunile asociate cu extracțiune și încărcarea datelor în depozit. Aceste operațiuni includ transformările care pregătesc datele pentru introducerea în Depozitul de Date.

Seful de depozit: Managerul de Depozit efectuează operațiuni asociate cu gestionarea datelor din interiorul depozitului. Acesta analizează datele pentru a asigura consecvența, creează indexuri și vizualizări, generează denormalizări și agregări, transformă și îmbină datele sursă și arhivează sau face copii de rezervă ale datelor.

Manager de interogări: Cunoscut și sub denumirea de componentă backend, Managerul de interogări gestionează operațiunile legate de interogările utilizatorilor. Acesta direcționează interogările către tabelele corespunzătoare și programează execuția acestora.

Instrumente de acces pentru utilizatorii finali:

Aceste instrumente se împart în cinci grupuri: 1) Raportare date, 2) Instrumente de interogare, 3) Instrumente de dezvoltare aplicații, 4) Instrumente EIS și 5) Instrumente și instrumente OLAP. Instrumente de extragere a datelor.

Cine are nevoie de un depozit de date?

Un depozit de date (DWH) este necesar pentru toate tipurile de utilizatori, inclusiv:

• Factorii de decizie care se bazează pe volume mari de date.
• Utilizatori care execută procese personalizate și complexe pentru a combina informații din mai multe surse.
• Persoane care își doresc o tehnologie simplă, cu frecare redusă, pentru a accesa datele.
• Echipe care își doresc o abordare sistematică și repetabilă pentru luarea deciziilor.
• Utilizatori care au nevoie de performanță rapidă pe seturi de date uriașe pentru rapoarte, tablouri de bord, grile sau diagrame.
• Analiștii caută să descopere tipare ascunse în fluxurile și grupurile de datepings.

Pentru ce este folosit un depozit de date?

Mai jos sunt prezentate cele mai comune sectoare în care sunt utilizate depozitele de date:

Compania aeriană:

În industria aeriană, depozitele de date oferă suport pentru alocarea echipajelor, analiza profitabilității rutelor, promovările programelor de fidelizare a pasagerilor și decizii operaționale similare.

Bancar:

Depozitele de date sunt utilizate pe scară largă în domeniul bancar pentru a gestiona eficient resursele birourilor. Mai multe bănci le folosesc și pentru studii de piață, analiza performanței produselor și planificarea operațiunilor.

Sănătate:

Sectorul medical utilizează depozite de date pentru a strategiza și a prezice rezultatele, a genera rapoarte de tratament ale pacienților și a partaja date cu partenerii de asigurări și serviciile de asistență medicală.

Sector public:

În sectorul public, depozitele de date sprijină colectarea de informații și ajută agențiile guvernamentale să mențină și să analizeze înregistrările fiscale și înregistrările politicilor de sănătate pentru fiecare individ.

Investiții și asigurări:

În acest sector, depozitele sunt utilizate pentru a analiza tiparele de date, tendințele clienților și mișcările pieței.

Lanțuri de retail:

Lanțurile de retail utilizează depozite de date pentru distribuție și marketing, pentru a tracarticolele k și modelele de cumpărare ale clienților, planifica promoțiile și stabilește politica de prețuri.

Telecomunicații:

Companiile de telecomunicații utilizează depozite de date pentru promoțiile de produse, deciziile de vânzare și deciziile de distribuție.

Industria ospitalitatii:

Industria ospitalității folosește depozite de date pentru a proiecta și estima campanii de publicitate și promovare care vizează clienții pe baza feedback-ului și a modelelor de călătorie.

Pași pentru implementarea unui depozit de date

Cea mai bună modalitate de a gestiona riscul de afaceri asociat cu implementarea unui depozit de date este de a urma o strategie cu trei direcții:

1. Strategia întreprinderii: Identificați arhitectura tehnică și instrumentele actuale, plus informațiile, dimensiunile și atributele pe care depozitul trebuie să le suporte. Harta datelorping iar transformarea fac parte din această etapă.
2. Livrare în etape: Implementați Depozitul de Date în etape, în funcție de domeniile de activitate. Entitățile de business conexe, cum ar fi rezervările și facturarea, ar trebui livrate mai întâi și apoi integrate.
3. Prototip iterativping: Mai degrabă decât o implementare big-bang, Depozitul de Date ar trebui dezvoltat, testat și rafinat iterativ.

Iată pașii cheie în implementarea unui Data Warehouse, împreună cu rezultatele aferente:

Pas	Sarcini	livrabile
1	Definiți domeniul de aplicare al proiectului	Definirea domeniului
2	Determinați nevoile afacerii	Model logic de date
3	Defini OperaCerințe naționale pentru depozitul de date	OperaModelul de depozit de date național
4	Dobândește sau dezvoltă experiențetracinstrumente de ținere	ExtracInstrumente și software
5	Definirea cerințelor privind datele depozitului de date	Model de date de tranziție
6	Documentați datele lipsă	Listă de proiecte de făcut
7	Hartă OperaMagazinul de date la depozitul de date	Harta de integrare a datelor DW
8	Dezvoltarea designului bazei de date Data Warehouse	Proiectarea bazelor de date DW
9	Extracdate de la OperaMagazin de date național	Integrated DW Data Extracts
10	Încărcați depozitul de date	Încărcare inițială de date
11	Întreținerea depozitului de date	Accesul continuu la date și încărcările ulterioare

Cele mai bune practici pentru implementarea unui depozit de date

• Definiți un plan pentru testarea consistenței, acurateței și integrității datelor.
• Depozitul de date trebuie să fie bine integrat, bine definit și marcat temporal.
• Atunci când proiectați Depozitul de Date, utilizați instrumentul potrivit, urmăriți ciclul de viață, abordați conflictele de date din timp și învățați din greșeli.
• Nu înlocuiți niciodată sistemele operaționale și rapoartele operaționale cu depozitul.
• Nu petreceți prea mult timp cu fosteletracprocesarea, curățarea și încărcarea datelor — automatizați acolo unde este posibil.
• Implică toate părțile interesate, inclusiv echipele de business, în implementarea Depozitului de Date. Tratați depozitul de date ca pe un proiect comun, astfel încât să rămână util utilizatorilor finali.
• Pregătiți un plan de instruire pentru utilizatorii finali.

Avantajele și dezavantajele unui depozit de date

Avantajele unui depozit de date (DWH):

• Utilizatorii business pot accesa rapid date critice din mai multe surse într-un singur loc.
• Oferă informații consecvente în cadrul activităților interfuncționale și acceptă raportare și interogări ad-hoc.
• Integrează mai multe surse de date, ceea ce reduce încărcarea sistemelor de producție.
• Reduce timpul total de execuție pentru analiză și raportare.
• Restructurarea și integrarea facilitează raportarea și analiza pentru utilizatorul final.
• Economisește timpul utilizatorului prin eliminarea necesității de a recupera date din mai multe surse.
• Stochează volume mari de date istorice, ceea ce permite analiza tendințelor și predicții viitoare.

Dezavantaje ale unui depozit de date:

• Nu este o opțiune ideală pentru datele nestructurate.
• Crearea și implementarea necesită mult timp.
• Depozitele de date pot deveni învechite relativ repede fără o mentenanță activă.
• Modificările aduse tipurilor de date, intervalelor, schemelor sursă, indexurilor sau interogărilor sunt dificile.
• Depozitul de date poate părea simplu la suprafață, dar este complex pentru utilizatorul obișnuit.
• În ciuda tuturor eforturilor, domeniul de aplicare al proiectului tinde să se extindă pe parcursul implementării.
• Diferite unități de afaceri dezvoltă uneori reguli de afaceri conflictuale.
• Organizațiile trebuie să aloce resurse semnificative pentru instruire și implementare.

Viitorul depozitării datelor

• Constrângeri de reglementare poate limita capacitatea de a combina surse de date disparate, inclusiv date nestructurate care sunt mai greu de stocat și de gestionat.
• Ca mărimea Pe măsură ce bazele de date cresc, ceea ce se consideră o bază de date foarte mare continuă să se deplaseze în sus, iar construirea și operarea depozitelor la această scară devine din ce în ce mai complexă.
• Date multimedia nu poate fi manipulat la fel de ușor ca textul. Software-ul relațional gestionează bine informațiile textuale, dar conținutul media bogat rămâne un domeniu activ de cercetare.

Instrumente pentru depozitul de date

Există multe instrumente de depozitare a datelor disponibile pe piață. Iată câteva dintre cele mai importante:

1. MarkLogic:

MarkLogic este o soluție de depozitare a datelor care simplifică și accelerează integrarea datelor cu un set bogat de funcții enterprise. Efectuează operațiuni complexe de căutare și poate interoga documente, relații și metadate.

2. Oracle:

Oracle este baza de date lider în industrie. Oferă o gamă largă de soluții Data Warehouse atât pentru implementări locale, cât și în cloud și ajută la optimizarea experienței clienților prin îmbunătățirea eficienței operaționale.

3. Amazon Tura roșie:

Amazon Redshift este un serviciu de depozit de date simplu și rentabil pentru analiza datelor cu ajutorul unor standarde SQL și instrumentele BI existente. Rulează interogări complexe pe petabytes de date structurate folosind tehnici de optimizare a interogărilor.

Iată o listă completă de utile Instrumente pentru depozitul de date.

Întrebări frecvente