什么是大数据？类型、特征和示例

在介绍大数据之前，首先需要了解数据本身是什么。

什么是数据？

数据是指计算机用来执行操作的数量、字符或符号，这些数据可以被存储和使用。 transmit以电信号的形式记录，并记录在磁性、光学或机械记录介质上。

现在，让我们来看看大数据的定义。

什么是大数据？

大数据 大数据是指数据量庞大且随时间呈指数级增长的数据集。其规模和复杂性如此之高，以至于任何传统的数据管理工具都无法高效地存储或处理。大数据仍然是数据，但其规模之大，已经超出了常规工具的处理能力。

下图将该定义与组织已经处理的普通数据进行了对比，因此很容易看出规模上的飞跃。

什么是大数据？

什么是大数据的例子？

以下是一些大数据示例-

证券交易所数据

此 纽约证券交易所 是大数据的一个例子，它生成 XNUMXTB 每天有 3000 个新的贸易数据。

社交媒体

统计数据显示 500+TB 的新数据被输入社交媒体网站的数据库 Facebook，每天。这些数据主要来自照片和视频上传、消息交流、发表评论等。

喷气发动机

一个单一的 喷气发动机 可以生成 10+TB 中的数据 30分钟 飞行时间。每天有数千架飞机，产生的数据量高达 PB。

这三个数字是这些例子首次发布时各来源的快照，而此后它们的数量只增不减。为了便于理解目前的规模，全球整体上大约会产生…… 每天 402 亿 TB 的数据，将2026年的年度总额设定为 track 表示超过 200 泽字节。

大数据的类型

大数据的类型如下：

1. 结构化
2. 非结构化
3. 半结构化

结构化

任何可以以固定格式存储、访问和处理的数据都称为“结构化”数据。随着时间的推移，计算机科学在开发结构化数据方面取得了巨大的成功。ping 处理这类数据（其格式事先已知）并从中提取价值的技术已经存在。然而，当这类数据规模急剧增长时，我们面临的问题就出现了，其典型大小可达数泽字节。

你知道吗？ 一泽字节是 10²¹ 字节，这是 十亿兆字节.

从这些数据可以看出，人们很容易理解为什么称之为大数据，并可以想象存储和处理大数据所面临的挑战。

你知道吗？ 存储在关系数据库管理系统中的数据就是一个例子 '结构化的' 数据。

结构化数据的示例

数据库中的“员工”表就是一个结构化数据的例子。每一行都包含相同的五列，并且每一列都有明确的数据类型，这正是数据易于查询的原因。

非结构化

任何形式或结构未知的数据都被归类为非结构化数据。除了数据量庞大之外，非结构化数据在处理和价值挖掘方面也面临诸多挑战。非结构化数据的典型例子是包含简单文本文件、图像、视频等多种类型的异构数据源。如今，企业拥有海量数据，但由于这些数据处于原始或非结构化状态，他们往往不知如何从中挖掘价值。

非结构化数据的示例

'Google “搜索”是无结构的：同一个查询会返回页面、图像、摘要和链接，而这些内容背后没有任何共同的架构。

非结构化数据示例

半结构化

半结构化数据可以包含以上两种形式。它看起来结构化，但并非由正式的模式（例如关系数据库中的表定义）定义。 DBMS半结构化数据的常见例子是 XML 文件中表示的数据。JSON 文档和包含键值对的日志行也属于此类。

半结构化数据的示例

存储在 XML 文件中的个人数据

<rec><name>Prashant Rao</name><sex>Male</sex><age>35</age></rec>
<rec><name>Seema R.</name><sex>Female</sex><age>41</age></rec>
<rec><name>Satish Mane</name><sex>Male</sex><age>29</age></rec>
<rec><name>Subrato Roy</name><sex>Male</sex><age>26</age></rec>
<rec><name>Jeremiah J.</name><sex>Male</sex><age>35</age></rec>

多年来的数据增长

下图 trac随着数据总量的增加，结构化数据和非结构化数据的组合发生了怎样的变化？

多年来的数据增长

请注意： Web应用程序 非结构化数据包括日志文件、交易历史文件等。OLTP 系统是为处理结构化数据而构建的，其中数据存储在关系（表）中。

大数据的特点

大数据可以用以下特征来描述：

• 音量
• 品种
• 速度
• 变化性

（一）数量—— 大数据这个名称本身就与庞大的规模有关。数据规模在决定其价值方面起着至关重要的作用。此外，一组特定的数据是否能被视为大数据，也取决于其数据量。因此， '卷' 是处理大数据解决方案时需要考虑的一个特征。

（二）多样性—— 大数据的下一个方面是 各种.

多样性指的是数据来源的异质性以及数据的性质，包括结构化和非结构化数据。早期，大多数应用程序仅考虑电子表格和数据库作为数据来源。如今，电子邮件、照片、视频、监控设备、PDF、音频等形式的数据也被纳入分析应用程序的考虑范围。这种多样化的非结构化数据给数据的存储、挖掘和分析带来了一些挑战。

（三）速度 期限 '速度' 指的是数据生成的速度。数据生成和处理的速度，以及处理速度的快慢，决定了数据的真正潜力。

大数据速度指的是数据从业务流程、应用程序日志、网络、社交媒体网站、传感器等来源流入的速度。 通过手机捐款 设备等。数据流是巨大的、连续的。

（四）多变性—— 这是指数据有时会表现出不一致性，从而妨碍有效处理和管理数据的过程。

如今，人们通常还会在这个列表中添加另外两个特征，从而形成广为人知的“五V”：

• 准确性 数据的可信度和准确性如何？重复记录、传感器漂移和字段缺失都会降低数据的真实性，而数据量再大也无法弥补这些缺陷。
• 价值 ——数据经过分析后的真正价值所在。从未转化为决策的数据只会增加存储成本。

大数据处理的优势

数据库管理系统（DBMS）处理大数据能力带来了诸多好处，例如：

企业在做决策时可以利用外部信息

访问社交数据 搜索引擎 Facebook 和 X（前身为 Twitter）等网站使组织能够微调其业务战略。

改善客户服务

传统的客户反馈系统正被采用大数据技术设计的新系统所取代。在这些新系统中，大数据和自然语言处理技术被用于读取和评估消费者的反馈。

及早识别产品和服务风险

持续对交易记录、传感器读数和支持工单进行分析，可以在缺陷、欺诈模式和服务故障还很小的时候就发现它们，而不是等到月度报告才发现它们。

更好 Opera国家效率

大数据技术可用于创建新数据的暂存区或着陆区，然后再确定哪些数据应该迁移到其他位置。 数据仓库此外，大数据技术与数据仓库的这种集成有助于组织卸载不常用的数据。

常见问题