Che cos'è un Data Warehouse? Tipologie
David Carter
⚡ Riepilogo intelligente
Il Data Warehouse definisce un repository centralizzato che consolida informazioni provenienti da diverse fonti per analisi, reporting e supporto alle decisioni. Questo tutorial illustra la storia, il modello di funzionamento, le tipologie, le fasi, i componenti, le fasi di implementazione, i vantaggi, gli svantaggi e gli strumenti principali che rendono il Data Warehouse il fondamento della moderna Business Intelligence.
Che cos'è il Data Warehouse?
Data Warehousing (DW) Il data warehouse è il processo di raccolta e gestione dei dati provenienti da diverse fonti al fine di fornire informazioni aziendali significative. Un data warehouse viene tipicamente utilizzato per connettere e analizzare i dati aziendali provenienti da fonti eterogenee ed è il fulcro di qualsiasi sistema di Business Intelligence (BI) progettato per l'analisi e la creazione di report sui dati.
Il data warehousing è un insieme di tecnologie e componenti che supporta l'utilizzo strategico dei dati. Si tratta dell'archiviazione elettronica di grandi quantità di informazioni aziendali, progettata per l'interrogazione e l'analisi piuttosto che per l'elaborazione delle transazioni. Il data warehouse trasforma i dati grezzi in informazioni utilizzabili e le fornisce agli utenti in tempo utile per prendere decisioni importanti.
Un database di supporto alle decisioni (il Data Warehouse) viene gestito separatamente dal database operativo di un'organizzazione. Il Data Warehouse non è un prodotto, bensì un ambiente: una struttura architetturale di un sistema informativo che fornisce agli utenti informazioni di supporto alle decisioni, sia attuali che storiche, difficili da reperire o presentare in un archivio dati operativo tradizionale.
Come forse saprete, un database progettato in 3NF per un sistema di gestione delle scorte in genere presenta numerose tabelle correlate tra loro. Ad esempio, un report sulle scorte attuali potrebbe richiedere più di 12 condizioni di join, il che rallenta i tempi di risposta delle query e dei report. Un Data Warehouse offre una struttura denormalizzata che riduce i tempi di risposta e migliora le prestazioni per la creazione di report e le analisi.
Il sistema Data Warehouse è noto anche con i seguenti nomi:
- Sistema di supporto decisionale (DSS)
- Sistema informativo esecutivo
- Sistema informativo di gestione
- Soluzione di business intelligence
- Applicazione analitica
- magazzino dati
Storia del Data Warehouse
Il Data Warehouse aiuta gli utenti a comprendere e migliorare le prestazioni della propria organizzazione. La necessità di archiviare i dati si è evoluta di pari passo con la crescente complessità dei sistemi informatici e la gestione di volumi di informazioni sempre maggiori. Il Data Warehousing non è un concetto nuovo, bensì vanta una lunga storia evolutiva.
Ecco alcuni degli eventi chiave nell'evoluzione del Data Warehouse:
- 1960 — Dartmouth e General Mills, in un progetto di ricerca congiunto, sviluppano i termini “dimensioni” e “fatti”.
- 1970 — AC Nielsen e IRI presentano i data mart dimensionali per le vendite al dettaglio.
- 1983 — Teradata Corporation presenta un sistema di gestione di database specificamente progettato per il supporto alle decisioni.
- Fine degli anni '1980 - IBM I ricercatori Paul Murphy e Barry Devlin sviluppano il concetto di Business Data Warehouse.
- La visione moderna del Data Warehouse è attribuita a Bill InmonSpesso definito il "padre del Data Warehouse", è autore di opere fondamentali sulla creazione, l'utilizzo e la manutenzione del data warehouse e della Corporate Information Factory.
Come funziona un data warehouse?
Un Data Warehouse funziona come un archivio centrale in cui le informazioni provengono da una o più fonti di dati. I dati affluiscono nel data warehouse da sistemi transazionali e altri database relazionali.
I dati in entrata possono essere:
- Strutturato
- Semi-strutturato
- non strutturati
I dati vengono elaborati, trasformati e acquisiti in modo che gli utenti possano accedere al set di dati organizzato tramite strumenti di Business Intelligence, client SQL e fogli di calcolo. Un Data Warehouse unisce informazioni provenienti da diverse fonti in un unico database completo.
Raggruppando tutte queste informazioni in un unico luogo, un'organizzazione può analizzare i propri clienti in modo olistico e verificare di aver preso in considerazione ogni dato disponibile. Il data warehousing rende possibile il data mining, che consiste nella ricerca di modelli nei dati che portano a maggiori vendite, minori costi e previsioni più accurate.
Tipi di data warehouse
I tre principali tipi di Data Warehouse (DWH) sono:
1. Data Warehouse aziendale (EDW):
Un Enterprise Data Warehouse è un data warehouse centralizzato che fornisce servizi di supporto alle decisioni a tutta l'organizzazione. Offre un approccio unificato per organizzare e rappresentare i dati e consente di classificarli per argomento e di concedere l'accesso in base a tali suddivisioni.
2. OperaArchivio dati nazionale (ODS):
An OperaUn Data Store ODS (Original Data Store) è un archivio dati utilizzato quando né un Data Warehouse né i sistemi OLTP sono in grado di soddisfare le esigenze di reporting dell'organizzazione. In un ODS, i dati vengono aggiornati in tempo reale, il che lo rende ideale per attività di routine come l'archiviazione dei dati correnti dei dipendenti.
3. DataMart:
A DataMart È un sottoinsieme del Data Warehouse progettato per una specifica linea di business, come vendite, finanza o marketing. In un Data Mart indipendente, i dati possono essere raccolti direttamente dai sistemi sorgente.
Fasi generali di un Data Warehouse
Inizialmente, le organizzazioni adottarono utilizzi relativamente semplici del Data Warehousing. Nel tempo, sono emersi modelli più sofisticati. Di seguito sono riportate le fasi generali di utilizzo del Data Warehouse (DWH):
disconnesso OperaBanca dati nazionale:
I dati vengono copiati da un sistema operativo a un altro server. Il caricamento, l'elaborazione e la generazione di report sulla copia non influiscono sulle prestazioni del sistema operativo.
Data Warehouse offline:
I dati presenti nel Data Warehouse vengono aggiornati regolarmente dal database operativo. I dati vengono mappati e trasformati per soddisfare gli obiettivi del Data Warehouse.
Data warehouse in tempo reale:
I data warehouse vengono aggiornati ogni volta che si verifica una transazione nel database operativo. I sistemi di prenotazione aerea e ferroviaria ne sono un classico esempio.
Data Warehouse integrato:
I data warehouse vengono aggiornati continuamente quando i sistemi operativi eseguono transazioni. Il data warehouse genera quindi transazioni che vengono ritrasmesse al sistema operativo.
Componenti di un data warehouse
I quattro componenti di un Data Warehouse sono:
Gestore del carico: Chiamato anche componente frontale, il Load Manager gestisce tutte le operazioni associate a extracInserimento e caricamento dei dati nel data warehouse. Queste operazioni includono le trasformazioni che preparano i dati per l'inserimento nel data warehouse.
Responsabile del magazzino: Il responsabile del magazzino si occupa delle operazioni relative alla gestione dei dati all'interno del magazzino. Analizza i dati per garantirne la coerenza, crea indici e viste, genera denormalizzazioni e aggregazioni, trasforma e unisce i dati di origine e archivia o esegue il backup dei dati.
Gestore delle interrogazioni: Conosciuto anche come componente backend, il Query Manager gestisce le operazioni relative alle query degli utenti. Instrada le query alle tabelle appropriate e ne pianifica l'esecuzione.
Strumenti di accesso per l'utente finale:
Questi strumenti rientrano in cinque gruppi: 1) Reportistica dei dati, 2) Strumenti di query, 3) Strumenti di sviluppo applicazioni, 4) Strumenti EIS e 5) Strumenti OLAP e Strumenti di data mining.
Chi ha bisogno di un data warehouse?
Un Data Warehouse (DWH) è necessario per tutti i tipi di utenti, tra cui:
- Persone che prendono decisioni basandosi su grandi quantità di dati.
- Utenti che eseguono processi complessi e personalizzati per combinare informazioni provenienti da più fonti.
- Persone che desiderano una tecnologia semplice e intuitiva per accedere ai dati.
- Team che desiderano un approccio sistematico e ripetibile al processo decisionale.
- Utenti che necessitano di prestazioni elevate su enormi set di dati per report, dashboard, griglie o grafici.
- Analisti che cercano di scoprire modelli nascosti nei flussi di dati e nei gruppipings.
A cosa serve un data warehouse?
Di seguito sono elencati i settori più comuni in cui vengono utilizzati i Data Warehouse:
Compagnia aerea:
Nel settore del trasporto aereo, i data warehouse supportano l'assegnazione degli equipaggi, l'analisi della redditività delle rotte, le promozioni dei programmi frequent flyer e decisioni operative simili.
Banking:
I data warehouse sono ampiamente utilizzati nel settore bancario per gestire efficacemente le risorse operative. Diverse banche li utilizzano anche per ricerche di mercato, analisi delle prestazioni dei prodotti e pianificazione operativa.
Assistenza sanitaria:
Il settore sanitario utilizza i Data Warehouse per elaborare strategie e prevedere i risultati, generare report sui trattamenti dei pazienti e condividere i dati con le compagnie assicurative e i servizi di assistenza medica.
Settore pubblico:
Nel settore pubblico, i data warehouse supportano la raccolta di informazioni e aiutano le agenzie governative a gestire e analizzare i registri fiscali e sanitari di ogni individuo.
Investimenti e assicurazioni:
In questo settore, i magazzini vengono utilizzati per analizzare modelli di dati, tendenze dei clienti e movimenti di mercato.
Catene di vendita al dettaglio:
Le catene di vendita al dettaglio utilizzano i Data Warehouse per la distribuzione e il marketing, per tracanalizzare i prodotti e le abitudini di acquisto dei clienti, pianificare le promozioni e definire la politica dei prezzi.
Telecomunicazioni:
Le compagnie telefoniche utilizzano i data warehouse per la promozione dei prodotti, le decisioni di vendita e le decisioni di distribuzione.
Settore dell'ospitalità:
Il settore alberghiero utilizza i Data Warehouse per progettare e stimare campagne pubblicitarie e promozionali mirate, basate su feedback e modelli di viaggio.
Passaggi per implementare un Data Warehouse
Il modo migliore per gestire il rischio aziendale associato all'implementazione di un Data Warehouse è seguire una strategia a tre fasi:
- Strategia aziendale: Identificare l'architettura tecnica e gli strumenti attuali, oltre ai fatti, alle dimensioni e agli attributi che il data warehouse deve supportare. Mappatura dei datiping e la trasformazione fanno parte di questa fase.
- Consegna graduale: Implementare il Data Warehouse in fasi, in base alle aree tematiche. Le entità aziendali correlate, come prenotazioni e fatturazione, dovrebbero essere implementate per prime e successivamente integrate.
- Prototipazione iterativaping: Anziché un'implementazione "big-bang", il Data Warehouse dovrebbe essere sviluppato, testato e perfezionato in modo iterativo.
Ecco i passaggi chiave per l'implementazione di un Data Warehouse, insieme ai relativi risultati attesi:
| step | Compiti | Risultati finali |
|---|---|---|
| 1 | Definire l'ambito del progetto | Definizione dell'ambito |
| 2 | Determinare le esigenze aziendali | Modello logico dei dati |
| 3 | Define OperaRequisiti del Data Store nazionale | Operamodello di archivio dati nazionale |
| 4 | Acquisire o sviluppare extracstrumenti di zione | ExtracStrumenti e software |
| 5 | Definire i requisiti dei dati del Data Warehouse | Modello dei dati di transizione |
| 6 | Documentare i dati mancanti | Elenco dei progetti da fare |
| 7 | Mappa Operadall'archivio dati nazionale al data warehouse | Mappa di integrazione dei dati DW |
| 8 | Progettazione del database per lo sviluppo del Data Warehouse | Progettazione del database DW |
| 9 | Extracdati t da Operaarchivio dati nazionale | Dati DW integrati Extracts |
| 10 | Carica il Data Warehouse | Caricamento iniziale dei dati |
| 11 | Gestire il Data Warehouse | Accesso continuo ai dati e caricamenti successivi |
Migliori pratiche per implementare un Data Warehouse
- Definire un piano per verificare la coerenza, l'accuratezza e l'integrità dei dati.
- Il data warehouse deve essere ben integrato, ben definito e dotato di timestamp.
- Nella progettazione del Data Warehouse, è fondamentale utilizzare lo strumento appropriato, seguire il ciclo di vita, affrontare tempestivamente i conflitti di dati e imparare dagli errori.
- Non sostituire mai i sistemi operativi e i report operativi con il magazzino.
- Non dedicare troppo tempo all'extracGestione, pulizia e caricamento dei dati: automatizzare ove possibile.
- Coinvolgete tutte le parti interessate, compresi i team aziendali, nell'implementazione del Data Warehouse. Considerate il data warehouse come un progetto comune, in modo che rimanga utile per gli utenti finali.
- Preparare un piano di formazione per gli utenti finali.
Vantaggi e svantaggi di un data warehouse
Vantaggi di un Data Warehouse (DWH):
- Gli utenti aziendali possono accedere rapidamente a dati critici provenienti da diverse fonti, in un unico luogo.
- Fornisce informazioni coerenti tra le diverse attività interfunzionali e supporta la creazione di report e le richieste ad hoc.
- Integra diverse fonti di dati, riducendo così il carico sui sistemi di produzione.
- Riduce i tempi complessivi di analisi e reportistica.
- La ristrutturazione e l'integrazione semplificano la creazione di report e le analisi per l'utente finale.
- Consente all'utente di risparmiare tempo eliminando la necessità di recuperare i dati da più fonti.
- Archivia grandi quantità di dati storici, il che consente l'analisi delle tendenze e le previsioni future.
Svantaggi di un Data Warehouse:
- Non è un'opzione ideale per i dati non strutturati.
- La creazione e l'implementazione richiedono tempo.
- Senza un'adeguata manutenzione, i data warehouse possono diventare obsoleti in tempi relativamente brevi.
- Apportare modifiche ai tipi di dati, agli intervalli, agli schemi di origine, agli indici o alle query è complesso.
- Il Data Warehouse può sembrare semplice in superficie, ma è complesso per l'utente medio.
- Nonostante i migliori sforzi, l'ambito del progetto tende ad ampliarsi durante la fase di implementazione.
- A volte, diverse unità aziendali sviluppano regole aziendali contrastanti.
- Le organizzazioni devono destinare risorse significative alla formazione e all'implementazione.
Il futuro del data warehouse
- Vincoli normativi potrebbe limitare la capacità di combinare fonti di dati eterogenee, inclusi dati non strutturati che sono più difficili da archiviare e gestire.
- Il Taglia Con la crescita del numero di database, la definizione di database molto grande si sposta sempre più verso l'alto, e la creazione e la gestione di data warehouse di tali dimensioni diventano sempre più complesse.
- Dati multimediali Non possono essere manipolati con la stessa facilità del testo. Il software relazionale gestisce bene le informazioni testuali, ma i contenuti multimediali interattivi rimangono un'area di ricerca attiva.
Strumenti di data warehouse
Sul mercato sono disponibili numerosi strumenti di Data Warehousing. Ecco alcuni dei più importanti:
1. SegnaLogica:
Mark Logic È una soluzione di Data Warehousing che semplifica e accelera l'integrazione dei dati grazie a un ricco set di funzionalità aziendali. Esegue complesse operazioni di ricerca e può interrogare documenti, relazioni e metadati.
2. Oracle:
Oracle è il database leader del settore. Offre una vasta gamma di soluzioni di Data Warehouse sia per implementazioni on-premise che in cloud e contribuisce a ottimizzare l'esperienza del cliente migliorando l'efficienza operativa.
3. Amazon Redshift:
Amazon redshift è un servizio di Data Warehouse semplice ed economico per analizzare i dati con standard SQL e strumenti di Business Intelligence esistenti. Esegue query complesse su petabyte di dati strutturati utilizzando tecniche di ottimizzazione delle query.
Ecco un elenco completo di utili Strumenti di data warehouse.
