Qu'est-ce qu'un entrepôt de données ? Types
David Carter
⚡ Résumé intelligent
Un entrepôt de données est un référentiel centralisé qui consolide les informations provenant de nombreuses sources à des fins d'analyse, de reporting et d'aide à la décision. Ce tutoriel explique l'historique, le modèle de fonctionnement, les types, les étapes, les composants, les étapes de mise en œuvre, les avantages, les inconvénients et les principaux outils qui font de l'entreposage de données le fondement de l'informatique décisionnelle moderne.
Qu'est-ce que l'entreposage de données?
Entrepôt de données (DW) L'archivage de données est le processus de collecte et de gestion de données provenant de sources variées afin d'en extraire des informations pertinentes pour l'entreprise. Un entrepôt de données est généralement utilisé pour connecter et analyser les données d'entreprise issues de sources hétérogènes ; il constitue le cœur de tout système de veille stratégique (BI) conçu pour l'analyse et le reporting des données.
L'entreposage de données est un ensemble de technologies et de composants qui favorise l'utilisation stratégique des données. Il s'agit du stockage électronique de grandes quantités d'informations commerciales, conçu pour l'interrogation et l'analyse plutôt que pour le traitement transactionnel. L'entrepôt de données transforme les données brutes en informations exploitables et les met à la disposition des utilisateurs en temps opportun pour leur permettre de prendre des décisions importantes.
Une base de données d'aide à la décision (l'entrepôt de données) est gérée séparément de la base de données opérationnelle de l'organisation. L'entrepôt de données n'est pas un produit, mais un environnement : une architecture de système d'information qui fournit aux utilisateurs des informations d'aide à la décision, actuelles et historiques, difficiles d'accès ou de présentation dans un système de stockage de données opérationnelles classique.
Vous savez peut-être qu'une base de données conçue en 3NF pour un système d'inventaire comporte généralement de nombreuses tables liées entre elles. Par exemple, un rapport sur l'inventaire actuel peut nécessiter plus de 12 conditions de jointure, ce qui ralentit les temps de réponse des requêtes et des rapports. Un entrepôt de données offre une conception dénormalisée qui réduit le temps de réponse et améliore les performances pour la production de rapports et l'analyse.
Le système d'entrepôt de données est également connu sous les noms suivants :
- Système d'aide à la décision (DSS)
- Système d'information exécutif
- Systeme d'INFORMATION de gestion
- Solution d'intelligence d'affaires
- Application analytique
- Entreposage De Données
Historique de l'entrepôt de données
L'entrepôt de données aide les utilisateurs à comprendre et à améliorer les performances de leur organisation. Le besoin de stocker des données s'est développé avec la complexification croissante des systèmes informatiques et le traitement de volumes d'informations toujours plus importants. L'entreposage de données n'est pas un concept nouveau ; il a une longue histoire.
Voici quelques-uns des événements clés de l'évolution de l'entrepôt de données :
- 1960 — Dartmouth et General Mills, dans le cadre d’un projet de recherche conjoint, développent les termes « dimensions » et « faits ».
- 1970 — AC Nielsen et IRI présentent des entrepôts de données dimensionnels pour les ventes au détail.
- 1983 — Teradata Corporation présente un système de gestion de bases de données spécialement conçu pour l'aide à la décision.
- Fin des années 1980 - IBM Les chercheurs Paul Murphy et Barry Devlin développent le concept d'entrepôt de données d'entreprise.
- La vision moderne de l'entrepôt de données est attribuée à Bill InmonSouvent considéré comme le « père de l'entrepôt de données », il a écrit des ouvrages fondamentaux sur la construction, l'utilisation et la maintenance de l'entrepôt de données et de l'usine à informations d'entreprise.
Comment fonctionne un entrepôt de données ?
Un entrepôt de données sert de référentiel central où convergent les informations provenant d'une ou plusieurs sources de données. Ces données alimentent l'entrepôt à partir de systèmes transactionnels et d'autres bases de données relationnelles.
Les données entrantes peuvent être :
- Structuré
- Semi-structuré
- Non structuré
Les données sont traitées, transformées et intégrées afin que les utilisateurs puissent accéder à l'ensemble de données structurées via des outils de veille stratégique, des clients SQL et des tableurs. Un entrepôt de données fusionne les informations provenant de différentes sources dans une base de données unique et exhaustive.
En centralisant toutes ces informations, une organisation peut analyser ses clients de manière globale et s'assurer d'avoir pris en compte toutes les données disponibles. L'entreposage de données rend possible l'exploration de données : cette dernière recherche des tendances dans les données afin d'améliorer les ventes, de réduire les coûts et d'établir de meilleures prévisions.
Types d'entrepôt de données
Les trois principaux types d'entrepôts de données (DWH) sont :
1. Entrepôt de données d'entreprise (EDW) :
Un entrepôt de données d'entreprise est un entrepôt centralisé qui fournit des services d'aide à la décision à l'échelle de toute une organisation. Il offre une approche unifiée pour l'organisation et la représentation des données et permet de les classer par sujet et d'en gérer l'accès en fonction de ces classifications.
2. OperaMagasin de données national (ODS) :
An OperaUn entrepôt de données opérationnel (ODS) est un système de stockage de données utilisé lorsqu'un entrepôt de données classique ou un système OLTP ne peuvent répondre aux besoins de reporting de l'organisation. Dans un ODS, les données sont actualisées en temps réel, ce qui le rend idéal pour les activités courantes telles que le stockage des dossiers des employés.
3. Magasin de données :
A Data Mart Un data mart est un sous-ensemble de l'entrepôt de données conçu pour un secteur d'activité spécifique, comme les ventes, la finance ou le marketing. Dans un data mart indépendant, les données peuvent être collectées directement à partir des systèmes sources.
Étapes générales d'un entrepôt de données
Au départ, les organisations ont adopté des usages relativement simples de l'entreposage de données. Avec le temps, des modèles plus sophistiqués ont émergé. Voici les principales étapes de l'utilisation d'un entrepôt de données :
Hors ligne OperaBase de données internationale :
Les données sont copiées d'un système d'exploitation vers un autre serveur. Le chargement, le traitement et la génération de rapports à partir de cette copie n'ont aucun impact sur les performances du système d'exploitation.
Entrepôt de données hors ligne :
Les données de l'entrepôt de données sont régulièrement mises à jour à partir de la base de données opérationnelle. Elles sont cartographiées et transformées afin de répondre aux objectifs de l'entrepôt de données.
Entrepôt de données en temps réel :
Les entrepôts de données sont mis à jour à chaque transaction effectuée dans la base de données opérationnelle. Les systèmes de réservation des compagnies aériennes et ferroviaires en sont des exemples classiques.
Entrepôt de données intégré :
Les entrepôts de données sont mis à jour en continu lorsque les systèmes opérationnels effectuent des transactions. L'entrepôt de données génère ensuite des transactions qui sont renvoyées au système opérationnel.
Composants d'un entrepôt de données
Les quatre composantes d'un entrepôt de données sont :
Gestionnaire de chargement : Également appelé composant frontal, le gestionnaire de chargement gère toutes les opérations associées à extracL'intégration et le chargement des données dans l'entrepôt de données comprennent les transformations qui préparent les données pour leur insertion dans l'entrepôt.
Directeur d'entrepôt: Le gestionnaire d'entrepôt de données effectue les opérations liées à la gestion des données au sein de l'entrepôt. Il analyse les données pour garantir leur cohérence, crée des index et des vues, génère des dénormalisations et des agrégations, transforme et fusionne les données sources, et archive ou sauvegarde les données.
Gestionnaire de requêtes : Également appelé composant backend, le gestionnaire de requêtes gère les opérations liées aux requêtes des utilisateurs. Il achemine les requêtes vers les tables appropriées et planifie leur exécution.
Outils d'accès pour l'utilisateur final :
Ces outils se répartissent en cinq groupes : 1) outils de reporting de données, 2) outils de requête, 3) outils de développement d’applications, 4) outils EIS et 5) outils OLAP. Outils d'exploration de données.
Qui a besoin d'un entrepôt de données ?
Un entrepôt de données (DWH) est nécessaire pour tous les types d'utilisateurs, notamment :
- Les décideurs qui s'appuient sur de grands volumes de données.
- Utilisateurs qui exécutent des processus personnalisés et complexes pour combiner des informations provenant de sources multiples.
- Des personnes qui souhaitent une technologie simple et facile d'accès aux données.
- Les équipes qui souhaitent une approche systématique et reproductible de la prise de décision.
- Pour les utilisateurs qui ont besoin de performances rapides sur d'énormes ensembles de données pour les rapports, les tableaux de bord, les grilles ou les graphiques.
- Les analystes cherchant à découvrir des tendances cachées dans les flux de données et les groupespings.
À quoi sert un entrepôt de données ?
Voici les secteurs les plus courants où les entrepôts de données sont utilisés :
Compagnie aérienne:
Dans le secteur aérien, les entrepôts de données facilitent l'affectation des équipages, l'analyse de la rentabilité des itinéraires, les promotions des programmes de fidélisation et autres décisions opérationnelles similaires.
Services bancaires:
Les entrepôts de données sont largement utilisés dans le secteur bancaire pour gérer efficacement les ressources des équipes opérationnelles. Plusieurs banques les utilisent également pour les études de marché, l'analyse des performances des produits et la planification des opérations.
Soins de santé :
Le secteur de la santé utilise les entrepôts de données pour élaborer des stratégies et prévoir les résultats, générer des rapports sur le traitement des patients et partager des données avec les partenaires d'assurance et les services d'aide médicale.
Secteur public:
Dans le secteur public, les entrepôts de données facilitent la collecte de renseignements et aident les organismes gouvernementaux à tenir à jour et à analyser les dossiers fiscaux et les dossiers de politique de santé de chaque individu.
Investissement et assurance :
Dans ce secteur, les entrepôts de données servent à analyser les modèles de données, les tendances des clients et les mouvements du marché.
Chaînes de vente au détail :
Les chaînes de vente au détail utilisent des entrepôts de données pour la distribution et le marketing, pour tracanalyser les articles et les habitudes d'achat des clients, planifier les promotions et déterminer la politique de prix.
Télécommunications:
Les entreprises de télécommunications utilisent les entrepôts de données pour la promotion des produits, les décisions de vente et les décisions de distribution.
Industrie hôtelière:
Le secteur de l'hôtellerie utilise les entrepôts de données pour concevoir et estimer des campagnes publicitaires et promotionnelles ciblant les clients en fonction de leurs commentaires et de leurs habitudes de voyage.
Étapes de la mise en œuvre d'un entrepôt de données
La meilleure façon de gérer les risques commerciaux associés à la mise en œuvre d'un entrepôt de données consiste à suivre une stratégie à trois volets :
- Stratégie d'entreprise : Identifier l'architecture technique et les outils actuels, ainsi que les faits, les dimensions et les attributs que l'entrepôt de données doit prendre en charge. Cartographie des donnéesping et la transformation font partie de cette étape.
- Livraison progressive : Mettre en œuvre l'entrepôt de données par phases, en fonction des domaines fonctionnels. Les entités métier connexes, telles que la réservation et la facturation, doivent être déployées en premier, puis intégrées.
- Prototype itératifping: Plutôt qu'une mise en œuvre brutale, l'entrepôt de données doit être développé, testé et affiné de manière itérative.
Voici les étapes clés de la mise en œuvre d'un entrepôt de données ainsi que leurs livrables :
| Etape | Tâches | (produits) livrables |
|---|---|---|
| 1 | Définir la portée du projet | Définition de la portée |
| 2 | Déterminer les besoins de l'entreprise | Modèle de données logique |
| 3 | Définir OperaExigences nationales en matière de stockage de données | OperaModèle de magasin de données international |
| 4 | Acquérir ou développer extracoutils de formation | ExtracOutils et logiciels |
| 5 | Définir les exigences en matière de données de l'entrepôt de données | Modèle de données de transition |
| 6 | Documenter les données manquantes | Liste des projets à faire |
| 7 | Carte OperaDu magasin de données traditionnel vers l'entrepôt de données | Carte d'intégration des données DW |
| 8 | Conception de la base de données d'entrepôt de données | Conception de bases de données DW |
| 9 | Extracdonnées t provenant de OperaMagasin de données international | Données DW intégrées Extracts |
| 10 | Charger l'entrepôt de données | Chargement initial des données |
| 11 | Maintenir l'entrepôt de données | Accès continu aux données et chargements ultérieurs |
Meilleures pratiques pour mettre en œuvre un entrepôt de données
- Élaborer un plan pour tester la cohérence, l'exactitude et l'intégrité des données.
- L'entrepôt de données doit être bien intégré, bien défini et horodaté.
- Lors de la conception d'un entrepôt de données, utilisez l'outil approprié, respectez le cycle de vie, traitez les conflits de données au plus tôt et tirez les leçons de vos erreurs.
- Ne jamais remplacer les systèmes opérationnels et les rapports opérationnels par l'entrepôt.
- Ne passez pas trop de temps sur extracCollecte, nettoyage et chargement des données — automatisez autant que possible.
- Impliquez toutes les parties prenantes, y compris les équipes métiers, dans la mise en œuvre de l'entrepôt de données. Considérez-le comme un projet collaboratif afin qu'il reste utile aux utilisateurs finaux.
- Préparer un plan de formation pour les utilisateurs finaux.
Avantages et inconvénients d'un entrepôt de données
Avantages d'un entrepôt de données (DWH) :
- Les utilisateurs professionnels peuvent accéder rapidement à des données critiques provenant de nombreuses sources, le tout au même endroit.
- Fournit des informations cohérentes entre les activités transversales et prend en charge les rapports et les requêtes ad hoc.
- Intègre plusieurs sources de données, ce qui réduit la charge sur les systèmes de production.
- Réduit le délai total de traitement des analyses et des rapports.
- La restructuration et l'intégration facilitent la production de rapports et l'analyse pour l'utilisateur final.
- Permet à l'utilisateur de gagner du temps en éliminant la nécessité de récupérer des données provenant de sources multiples.
- Stocke de grands volumes de données historiques, ce qui permet l'analyse des tendances et les prévisions futures.
Inconvénients d'un entrepôt de données :
- Ce n’est pas une option idéale pour les données non structurées.
- La création et la mise en œuvre prennent du temps.
- Sans maintenance active, les entrepôts de données peuvent devenir obsolètes relativement rapidement.
- Les modifications apportées aux types de données, aux plages, aux schémas sources, aux index ou aux requêtes sont difficiles.
- L'entrepôt de données peut sembler simple en apparence, mais il est complexe pour l'utilisateur moyen.
- Malgré tous les efforts déployés, la portée du projet a tendance à s'étendre au cours de sa mise en œuvre.
- Il arrive que différentes unités opérationnelles élaborent des règles commerciales contradictoires.
- Les organisations doivent allouer des ressources importantes à la formation et au déploiement.
L'avenir de l'entreposage de données
- Contraintes réglementaires peut limiter la capacité à combiner des sources de données disparates, y compris des données non structurées plus difficiles à stocker et à gérer.
- Comme le dit l' Quantité À mesure que les bases de données s'agrandissent, la définition d'une très grande base de données évolue constamment, et la construction et l'exploitation d'entrepôts de données à cette échelle deviennent de plus en plus complexes.
- Données multimédia Les données multimédias ne peuvent être manipulées aussi facilement que le texte. Les logiciels relationnels gèrent bien les informations textuelles, mais les contenus multimédias restent un domaine de recherche actif.
Outils d'entrepôt de données
De nombreux outils d'entreposage de données sont disponibles sur le marché. Voici quelques-uns des plus importants :
1. MarkLogic :
MarkLogic Cette solution d'entreposage de données simplifie et accélère l'intégration des données grâce à un ensemble complet de fonctionnalités d'entreprise. Elle permet d'effectuer des recherches complexes et d'interroger les documents, les relations et les métadonnées.
2. Oracle:
Oracle est la base de données leader du secteur. Elle offre une vaste gamme de solutions d'entrepôt de données pour les déploiements sur site et dans le cloud et contribue à optimiser l'expérience client en améliorant l'efficacité opérationnelle.
3. Amazon Décalage vers le rouge :
Amazon Redshift est un service d'entrepôt de données simple et économique pour l'analyse de données avec des standards SQL et les outils de BI existants. Il exécute des requêtes complexes sur des pétaoctets de données structurées en utilisant des techniques d'optimisation des requêtes.
Voici une liste complète des informations utiles Outils d'entrepôt de données.
