数据湖与数据仓库——它们之间的区别

数据湖和数据仓库之间的主要区别

数据湖存储所有数据，无论其来源和结构如何，而数据仓库则以具有其属性的定量指标存储数据。
数据湖是一个存储库，用于存储大量结构化、半结构化和非结构化数据，而数据仓库则是多种技术和组件的混合，可以实现数据的战略性使用。
数据湖定义数据存储后的模式，而数据仓库定义数据存储前的模式。
数据湖采用ELT(Extract Load Transform)流程，数据仓库采用ETL(Extract Load Transform)流程。
比较数据湖和仓库，数据湖对于想要深入分析的人来说是理想的，而数据仓库对于操作用户来说是理想的。

什么是数据湖？

A 数据湖 是一个存储库，可以存储大量结构化、半结构化和非结构化数据。它是以原生格式存储每种类型数据的地方，对帐户大小或文件没有固定限制。它提供大量数据，以提高分析性能和原生集成。

数据湖就像一个大容器，与真实的湖泊和河流非常相似。就像在湖泊中一样，您会有多个支流流入；同样，数据湖中有结构化数据、非结构化数据、机器对机器、日志实时流过。

什么是数据仓库？

数据仓库 是数据战略性使用的技术和组件的融合。它收集和管理来自各种来源的数据，以提供有意义的业务见解。它是大量信息的电子存储，旨在用于查询和分析而不是交易处理。它是将数据转换为信息的过程。

接下来，我们将了解数据仓库和数据湖之间的主要区别。

数据湖与数据仓库之间的区别

以下是数据湖与数据仓库之间的主要区别：

参数	数据湖	数据仓库
	在数据湖中，所有数据均被保存，无论其来源和结构如何。数据以原始形式保存。只有在准备使用时才会进行转换。	数据仓库将包含从交易系统中提取的数据或由定量指标及其属性组成的数据。数据经过清理和转换
发展历程	大数据技术在数据湖中使用的相对较新。	与大数据不同，数据仓库概念已经使用了几十年。
数据采集	从源系统中捕获原始形式的各种数据和结构、半结构化和非结构化数据。	捕获结构化信息并按照数据仓库目的定义的模式组织它们
数据时间线	数据湖可以保留所有数据。这不仅包括正在使用的数据，还包括将来可能使用的数据。此外，数据会一直保存，以便回溯并进行分析。	在数据仓库开发过程中，需要花费大量时间来分析各种数据源。
用户	数据湖非常适合那些热衷于深度分析的用户。这类用户包括需要高级分析工具具有预测建模和统计分析等功能。	数据仓库结构良好、易于使用和理解，对于操作用户来说非常理想。
储存费用	使用大数据技术存储数据比在数据仓库中存储数据相对便宜。	在数据仓库中存储数据成本更高且耗时。
任务	数据湖可以包含所有数据和数据类型；它使用户能够在转换、清理和结构化之前访问数据。	数据仓库可以为预定义数据类型的预定义问题提供见解。
处理时间	数据湖使用户能够在数据转换、清理和结构化之前访问数据。因此，与传统数据仓库相比，它允许用户更快地获得结果。	数据仓库为预定义数据类型提供对预定义问题的洞察。因此，对数据仓库的任何更改都需要更多时间。
模式的位置	通常，模式是在数据存储后定义的。这提供了高灵活性和数据捕获的简易性，但需要在流程结束时进行工作	通常在存储数据之前定义架构。需要在流程开始时进行一些工作，但可以提供性能、安全性和集成。
数据处理	数据湖使用 ELT（提取加载转换）过程。	数据仓库使用传统的 ETL（提取转换加载）的过程。
抱怨	数据以原始形式保存。只有在可以使用时才会进行转换。	对数据仓库的主要抱怨是无能为力，或者在尝试对其进行更改时面临的问题。
主要优点	他们整合不同类型的数据来提出全新的问题，因为这些用户不太可能使用数据仓库，因为他们可能需要超越其功能。	组织中的大多数用户都是操作型用户。这类用户只关心报告和关键绩效指标。

数据湖概念

数据湖是一个大型存储库，可以保存大量原始格式的原始数据，直到需要时为止。数据湖中的每个数据元素都被赋予一个唯一标识符，并标有一组扩展的元数据标签。它提供多种分析功能。

数据仓库概念

数据仓库将数据存储在文件或文件夹中，这有助于组织和使用数据来做出战略决策。该存储系统还提供了原子和摘要数据的多维视图。需要执行的重要功能包括：

数据提取
数据清理
数据转换
数据加载和刷新