Cassandra Archi结构与复制因子
⚡ 智能摘要
Cassandra 架构将数据分布在对等节点上,避免了单点故障,并使用 Gossip 协议进行协调,采用复制机制确保数据持久性。本页涵盖了所有组件,包括两种复制策略、一致性级别以及内部读写路径。
Cassandra 旨在处理 大数据. Cassandra的主要特点是将数据存储在多个节点上,没有单点故障。
出现这种现象的原因 Cassandra的架构是硬件故障可能随时发生。任何节点都可能停机。如果发生故障,可以使用存储在另一个节点的数据。因此, Cassandra 采用分布式架构设计。
Cassandra 采用点对点分布式架构将数据存储在不同的节点上。
所有节点使用以下方式相互交换信息 Gossip 协议八卦是一种礼仪 Cassandra 节点可以通过它相互进行通信。
组件 Cassandra Archi质地
有以下组件 Cassandra Archi結構:

上图将各个组件嵌套在一起:节点位于数据中心内,数据中心位于集群内,提交日志、内存表和 SSTable 位于每个单独的节点内。
Node
节点是存储数据的地方。它是网络的基本组成部分 Cassandra.
数据中心
一组节点的集合称为数据中心。多个节点被归类为一个数据中心。
Cluster
集群是众多数据中心的集合。
提交日志
每个写操作都会写入 Commit Log。Commit Log 用于崩溃恢复。
内存表
数据写入Commit log后,会写入Mem-table,数据是临时写入Mem-table的。
SS表
当内存表达到特定阈值时,数据会被刷新到 SSTable 磁盘文件中。SSTable 是不可变的,因此更新操作会写入一个新版本,而不是编辑旧版本。之后,一个名为“压缩”的后台进程会将这些版本合并,并丢弃被取代的行。
数据复制在 Cassandra
由于在数据处理过程中,硬件问题或链路随时可能出现故障,因此需要一种解决方案来在问题发生时提供备份。因此,数据被复制以确保没有单点故障。
Cassandra 根据这两个因素将数据副本放置在不同的节点上。
- 下一个副本的放置位置取决于 复制策略.
- 虽然放置在不同节点上的副本总数取决于 复制因子.
一个复制因子意味着只有一个数据副本,而三个复制因子意味着在三个不同的节点上有三个数据副本。
为了确保没有单点故障, 复制因子必须为三。
有两种复制策略 Cassandra.
SimpleStrategy 中 Cassandra
简单策略 适用于只有一个数据中心的情况。SimpleStrategy 将第一个副本放置在分区器选择的节点上。之后,其余副本按顺时针方向放置在节点环中。
以下是 SimpleStrategy 的图形表示:

网络拓扑策略 Cassandra
网络拓扑策略 用于拥有两个以上数据中心的情况。在 NetworkTopologyStrategy 中,每个数据中心分别设置副本。NetworkTopologyStrategy 将副本按环中的顺时针方向放置,直到到达另一个机架中的第一个节点。此策略尝试将副本放置在同一个数据中心的不同机架上。
这是因为有时机架可能会发生故障或问题。然后其他节点上的副本可以提供数据。
以下是网络拓扑策略的图形表示:

复制因子决定了副本的数量。至于有多少个副本必须响应给定的请求,则是一个单独的设置,将在下文中描述。
一致性水平 Cassandra
一致性级别是按查询而不是按集群设置的,这正是它的优势所在。 Cassandra 可调参数。它指定在协调器响应客户端之前,必须有多少个副本确认写入或响应读取操作。较低的级别响应速度更快;较高的级别返回的数据更可靠,更能保证数据的时效性。
| 水平 | 行为 | 典型用途 |
|---|---|---|
| 一 | 必须有一个副本做出响应。 | 高吞吐量日志记录,偶尔读取到过时的数据是可以接受的。 |
| 法定人数 | 大部分副本必须响应,计算公式为 (RF / 2) + 1。 | 兼具稳定性和可用性的通用之选。 |
| 本地仲裁 | 本地数据中心内的大多数副本必须做出响应。 | 多数据中心集群,因为它可以避免跨区域延迟。 |
| 全部 | 每个副本都必须做出响应。 | 罕见。单个节点宕机会导致请求完全失败。 |
| 任何 (仅限写作) | 即使无法访问任何副本,暗示性交接也算作成功。 | 在可以适当降低耐用性要求的前提下,最大限度提高写入可用性。 |
当读取次数加写入次数超过复制因子时,即可保证强一致性。复制因子为 3 时,以合计 (QUORUM) 写入和读取满足此规则,因为 2 加 2 大于 3。而以 1 写入和 1 读取则不满足此规则,因此读取操作可能会返回较旧的值。
当副本无法访问时,协调器会存储一个 暗示 并在节点返回后重新播放,这就是任意级别和大部分内容的工作原理。 Cassandra的自我疗愈行为。
填写 Opera在 Cassandra
协调器向副本发送写入请求。如果所有副本都已启动,则无论其一致性级别如何,它们都将收到写入请求。
一致性级别 确定有多少个节点将回复成功确认。
如果数据成功写入提交日志,节点将回复成功确认,并且 内存表。
例如,在单个数据中心中,副本数为 3,则 3 个副本将接收写入请求。如果一致性级别为 1,则只有一个副本将回复成功确认,其余两个副本将保持休眠状态。
假设剩下的两个副本由于节点宕机或其他问题丢失数据, Cassandra 将通过内置修复机制使行保持一致 Cassandra.
这里解释了写入过程是如何发生的 Cassandra,
- 当写入请求到达节点时,首先,它会记录提交日志。
- 然后 Cassandra 将数据写入 mem-table。每次写入请求时写入 mem-table 的数据也会分别写入 commit log。Mem-table 是内存中临时存储的数据,而 Commit log 则记录事务记录以供备份。
- 当mem-table满了的时候,数据就会刷新到SSTable数据文件中。

由于 SSTable 永远不会被原地编辑,因此删除操作不会立即删除该行。而是会留下一个称为“删除标记”的标记。 墓碑 数据被写入后,只有在宽限期过后执行压缩操作时,该行才会消失。这就是为什么大量的删除操作会减慢读取速度,直到压缩操作完成。
了解 Opera在 Cassandra
协调器向副本发送三种类型的读取请求。
- 直接请求
- 摘要请求
- 读取维修请求
协调器向其中一个副本发送直接请求,之后向一致性级别指定数量的副本发送摘要请求,并检查返回的数据是否为更新的数据。
之后,协调器向所有剩余副本发送摘要请求。如果任何节点给出过期值,后台读取修复请求将更新该数据。此过程称为读取修复机制。
在接收直接请求的副本内部,查找顺序被设计成尽可能避免访问磁盘。
- 此 内存表 首先检查的是最新写入的数据,因为这些数据尚未被刷新。
- 此 行缓存如果启用,则可以无需进一步处理即可回答整个请求。
- A 布隆过滤器 会对每个 SSTable 进行查询。它会返回“肯定不存在”或“可能存在”的答案,这样就可以跳过大多数 SSTable 而不读取它们。
- 此 分区索引 其摘要定位任何通过布隆过滤器检查的 SSTable 中的确切字节偏移量。
- 将多个 SSTable 中的匹配片段合并,每列以最新的时间戳为准。
随着数据量的增长,布隆过滤器能够保持读取速度,因为它会在磁盘寻道之前排除几乎所有 SSTable。如何在多台机器上应用这些机制,请参阅相关文档。 Cassandra 簇 教程。

