什么是数据仓库？类型
大卫卡特
⚡ 智能摘要
数据仓库定义了一个集中式存储库，用于整合来自多个来源的信息，以进行分析、报告和决策支持。本教程将介绍数据仓库的历史、工作模型、类型、阶段、组成部分、实施步骤、优势、劣势以及使其成为现代商业智能基础的主要工具。
什么是数据仓库？
数据仓库（DW） 数据仓库是指从各种来源收集和管理数据，从而提供有意义的商业洞察的过程。数据仓库通常用于连接和分析来自异构数据源的业务数据，它是任何为数据分析和报告而构建的商业智能 (BI) 系统的核心。
数据仓库融合了多种技术和组件，旨在支持数据的战略性应用。它以电子方式存储大量业务信息，其设计目的是为了进行查询和分析，而非事务处理。数据仓库将原始数据转化为可用的信息，并及时交付给用户，以便他们做出重要的决策。
决策支持数据库（数据仓库）与组织的运营数据库是分开维护的。数据仓库并非产品，而是一个环境——信息系统的一种架构结构，它为用户提供难以在传统运营数据存储中访问或呈现的当前和历史决策支持信息。
您可能知道，符合 3NF 规范的库存系统数据库通常包含许多相互关联的表。例如，一份当前库存报告可能需要超过 12 个连接条件，这会降低查询和报告的响应速度。数据仓库提供了一种非规范化设计，可以缩短响应时间，并提高报告和分析的性能。
数据仓库系统还有以下名称：
- 决策支持系统（DSS）
- 行政信息系统
- 管理信息系统
- 商业智能解决方案
- 分析应用
- 数据仓库
数据仓库的历史
数据仓库帮助用户了解并提升组织的绩效。随着计算机系统变得日益复杂，处理的信息量也与日俱增，数据仓库的需求也随之发展起来。数据仓库并非新概念，它有着悠久的发展历史。
以下是数据仓库发展历程中的一些关键事件：
- 1960 — 达特茅斯学院和通用磨坊公司在一个联合研究项目中提出了“维度”和“事实”这两个术语。
- 1970 — AC Nielsen 和 IRI 推出了用于零售销售的维度数据市场。
- 1983 Teradata公司推出了一款专为决策支持而设计的数据库管理系统。
- 1980年代末 - IBM 研究人员保罗·墨菲和巴里·德夫林提出了商业数据仓库的概念。
- 现代数据仓库愿景归功于 Bill 因蒙他常被称为“数据仓库之父”。他撰写了关于构建、使用和维护数据仓库和企业信息工厂的基础性著作。
数据仓库是如何运作的？
数据仓库作为一个中央存储库，用于存储来自一个或多个数据源的信息。数据从事务系统和其他关系数据库流入数据仓库。
输入的数据可能包括：
- 结构化
- 半结构化
- 非结构化
数据经过处理、转换和导入，用户可以通过商业智能工具、SQL客户端和电子表格访问整理后的数据集。数据仓库将来自不同来源的信息合并到一个综合数据库中。
通过将所有这些信息整合到一个地方，企业可以全面分析客户，并确认已考虑所有可用的数据点。数据仓库使数据挖掘成为可能——数据挖掘旨在寻找数据中的模式，从而提高销售额、降低成本并改进预测。
数据仓库的类型
数据仓库（DWH）主要分为三种类型：
1.企业数据仓库（EDW）：
企业数据仓库是一个集中式数据仓库，可为整个组织提供决策支持服务。它提供了一种统一的数据组织和表示方法，并能够按主题对数据进行分类，并根据这些分类授予访问权限。
2. Opera国家数据存储（ODS）：
An Opera当数据仓库和联机事务处理 (OLTP) 系统都无法满足组织的报表需求时，组织数据存储 (ODS) 便会派上用场。在 ODS 中，数据实时刷新，因此非常适合存储员工最新记录等日常活动。
3.数据集市：
A 数据库 独立数据集市是数据仓库的一个子集，专为特定业务线（例如销售、财务或市场营销）而设计。在独立数据集市中，数据可以直接从源系统收集。
数据仓库的一般阶段
最初，各组织采用的数据仓库应用相对简单。随着时间的推移，出现了更复杂的模式。以下是数据仓库（DWH）使用的一般阶段：
下架 Opera国家数据库：
数据从一个操作系统复制到另一个服务器。对副本进行加载、处理和报告不会影响操作系统的性能。
离线数据仓库：
数据仓库中的数据会定期从业务数据库更新。数据经过映射和转换，以满足数据仓库的目标。
实时数据仓库：
当业务数据库中发生事务时，数据仓库也会随之更新。航空公司和铁路订票系统就是典型的例子。
集成数据仓库：
当运营系统执行事务时，数据仓库会持续更新。然后，数据仓库会生成事务，并将这些事务传递回运营系统。
数据仓库的组成部分
数据仓库的四个组成部分是：
负载管理器： 负载管理器（也称为前端组件）处理与 ex 相关的所有操作。trac将数据导入和加载到数据仓库中。这些操作包括为将数据输入数据仓库做准备的各种转换。
仓库经理： 仓库管理器负责执行与仓库内部数据管理相关的操作。它分析数据以确保一致性，创建索引和视图，生成反规范化和聚合，转换和合并源数据，以及归档或备份数据。
查询管理器： 查询管理器（也称为后端组件）处理与用户查询相关的操作。它将查询路由到相应的表并安排其执行。
最终用户访问工具：
这些工具分为五类：1）数据报告工具，2）查询工具，3）应用程序开发工具，4）企业信息系统（EIS）工具，以及5）联机分析处理（OLAP）工具。 数据挖掘工具.
谁需要数据仓库？
所有类型的用户都需要数据仓库（DWH），包括：
- 依赖大量数据的决策者。
- 用户运行定制的、复杂的流程，以整合来自多个来源的信息。
- 希望使用简单、低摩擦技术访问数据的人们。
- 希望采用系统化、可重复的方法进行决策的团队。
- 适用于需要快速处理海量数据集以生成报表、仪表盘、网格或图表的用户。
- 分析师希望发现数据流和群组中隐藏的模式pings.
数据仓库用于什么？
以下是数据仓库最常见的应用领域：
航空公司：
在航空业中，数据仓库支持机组人员分配、航线盈利能力分析、常旅客计划促销以及类似的运营决策。
银行业：
数据仓库在银行业被广泛用于有效管理部门资源。一些银行还利用数据仓库进行市场调研、产品性能分析和运营规划。
卫生保健：
医疗保健行业利用数据仓库来制定策略和预测结果、生成患者治疗报告，并与保险合作伙伴和医疗援助服务机构共享数据。
公共部门：
在公共部门，数据仓库支持情报收集，并帮助政府机构维护和分析每个人的税务记录和健康政策记录。
投资与保险：
在这个行业中，仓库用于分析数据模式、客户趋势和市场动态。
零售连锁店：
零售连锁店利用数据仓库进行分销和营销， trac根据商品种类和顾客购买模式，制定促销计划，并确定定价策略。
电信：
电信公司利用数据仓库进行产品推广、销售决策和分销决策。
酒店业：
酒店业利用数据仓库来设计和估算广告和促销活动，这些活动根据反馈和旅行模式来针对客户。
实施数据仓库的步骤
管理数据仓库实施相关业务风险的最佳方法是遵循三管齐下的策略：
- 企业战略： 确定当前的技术架构和工具，以及数据仓库必须支持的事实、维度和属性。数据地图ping 转型是这一阶段的一部分。
- 分阶段交付： 根据主题领域分阶段实施数据仓库。应首先交付预订和计费等相关业务实体，然后再进行集成。
- 迭代原型ping: 数据仓库的开发、测试和完善不应采取一蹴而就的方式，而应迭代进行。
以下是数据仓库实施的关键步骤及其交付成果：
| 步骤 | 任务 | 已有成果 |
|---|---|---|
| 1 | 定义项目范围 | 范围定义 |
| 2 | 确定业务需求 | 逻辑数据模型 |
| 3 | 确定 Opera国家数据存储要求 | Opera国家数据存储模型 |
| 4 | 获取或发展前trac工具 | Extrac工具和软件 |
| 5 | 定义数据仓库数据需求 | 过渡数据模型 |
| 6 | 记录缺失数据 | 待办项目清单 |
| 7 | 地图 Opera数据仓库 | DW 数据集成图 |
| 8 | 开发数据仓库数据库设计 | DW数据库设计 |
| 9 | Extrac来自 t 的数据 Opera国家数据存储 | 集成数据仓库数据出口tracts |
| 10 | 加载数据仓库 | 初始数据加载 |
| 11 | 维护数据仓库 | 持续数据访问和后续加载 |
实施数据仓库的最佳实践
- 制定计划，检验数据的一致性、准确性和完整性。
- 数据仓库必须集成良好、定义明确且带有时间戳。
- 在设计数据仓库时，要使用正确的工具，遵循生命周期，尽早解决数据冲突，并从错误中吸取教训。
- 永远不要用仓库取代运营系统和运营报告。
- 不要在前任身上花费过多时间。trac数据处理、清理和加载——尽可能实现自动化。
- 让所有利益相关者，包括业务团队，都参与到数据仓库的实施中来。将数据仓库视为一个共同项目，以确保它始终对最终用户有用。
- 为最终用户制定培训计划。
数据仓库的优点和缺点
数据仓库（DWH）的优势：
- 企业用户可以在一个地方快速访问来自多个来源的关键数据。
- 提供跨职能活动的一致信息，并支持临时报告和查询。
- 整合多个数据源，从而减轻生产系统的负载。
- 缩短分析和报告的总周转时间。
- 重组和整合使最终用户更容易进行报告和分析。
- 无需从多个数据源检索数据，从而节省用户时间。
- 存储大量历史数据，从而可以进行趋势分析和未来预测。
数据仓库的缺点：
- 对于非结构化数据来说这不是一个理想的选择。
- 创建和实施过程都很耗时。
- 如果没有积极的维护，数据仓库可能会很快过时。
- 更改数据类型、范围、源模式、索引或查询非常困难。
- 数据仓库表面上看起来很简单，但对普通用户来说却很复杂。
- 尽管尽了最大努力，项目范围在实施过程中往往会扩大。
- 不同的业务部门有时会制定相互冲突的业务规则。
- 各组织必须投入大量资源用于培训和推广。
数据仓库的未来
- 监管限制 可能会限制整合不同来源数据的能力，包括难以存储和管理的非结构化数据。
- 作为 尺寸 随着数据库规模的增长，超大型数据库的定义也在不断扩大，构建和运营如此大规模的数据仓库变得越来越复杂。
- 多媒体资料 富媒体不像文本那样容易操控。关系型软件能够很好地处理文本信息，但富媒体仍然是一个活跃的研究领域。
数据仓库工具
市面上有很多数据仓库工具。以下列举一些最主要的：
1. 马克逻辑：
MarkLogic 是一款数据仓库解决方案，它通过丰富的企业级功能简化并加速数据集成。它可以执行复杂的搜索操作，并能查询文档、关系和元数据。
2. Oracle:
Oracle 是业界领先的数据库。它提供广泛的数据仓库解决方案，支持本地部署和云部署，并通过提高运营效率来帮助优化客户体验。
3. Amazon 红移：
Amazon 红移 是一种数据仓库服务，它简单易用且经济高效，可用于分析标准数据。 SQL 以及现有的商业智能工具。它利用查询优化技术，对PB级结构化数据运行复杂的查询。
以下是有用的 数据仓库工具.
