存储服务
在 ZCF 架构中，存储服务由存储组件提供，并通过云平台向上层业务负载提供数据访问能力。云平台可将存储资源组织为主存储、镜像服务器等资源类型，支撑云主机、云盘、镜像和容器工作负载等场景。
云平台支持接入集中式存储和分布式存储。集中式存储适用于通过共享存储设备提供稳定存储资源的场景；分布式存储适用于通过多节点横向扩展形成高可用、高扩展存储资源池的场景。
集中式存储
集中式存储是指将数据存储在一台或多台服务器组成的中心节点上。集中式存储所有业务均集中部署在中心节点，中心节点统一管理各分部节点数据，数据访问仅需经过一个控制器即可实现。集中式存储分为 DAS、NAS、SAN 三类，用户可根据不同数据存储需求选择不同存储类型。
- 高性能与高可靠性：集中式存储将数据存储在一台或多台服务器组成的中心节点上，有效避免数据分散风险，提高存储系统的性能与可靠性。
- 可扩展性：集中式存储可通过网络扩展来存储更多数据，存储系统可适应业务规模增长而扩展。
- 安全性：集中式存储可通过访问控制和数据加密等安全措施保障数据的安全性和完整性。
关于集中式存储架构的说明。在集中式存储架构中，机头是最核心部件。通常机头包含两个控制器，互为备用，避免硬件故障导致整个存储系统不可用。此外，机头包含前端端口和后端端口，前端端口用于为服务器提供存储服务，后端端口用于扩充存储系统容量。通过后端端口，机头可连接更多存储设备，从而形成一个庞大的存储资源池。
Shared Block
在集中式存储场景下，云平台可通过 Shared Block 主存储连接方式接入 SAN 存储。该方式可将用户在 SAN 存储上划分的 LUN 设备直接作为存储池，再提供给业务云主机使用。与云平台提供的另一种基于文件系统的主存储类型 Shared Mount Point（SMP）不同，Shared Block 具备便捷部署、灵活扩展、性能优异等优势。据实测数据显示，Shared Block 可完全发挥物理磁盘的性能。目前 Shared Block 支持 iSCSI、FC、NVMe-oF 共享访问协议。
- 块级访问：Shared Block 可将数据分成块，每个块都有唯一标识符。服务器通过这些标识符来读取或写入特定的数据块。
- 并行访问：多个节点可同时访问 Shared Block 中的不同块，从而实现并行读写操作。
- 共享性：Shared Block 可被多个节点共享，使得它们可以同时访问相同的数据块。这对于分布式系统中需要共享数据的场景非常重要。
- 容错性：Shared Block 通常会提供数据冗余和故障恢复机制，以确保数据的安全性和可靠性。
- 扩展性：Shared Block 可通过添加更多存储节点来扩展容量和性能。
- 性能优化：Shared Block 通常会采取各种技术来优化性能，例如缓存、负载均衡等。
关于 Shared Block 架构的说明。在集中式存储上映射一个卷到物理机上，根据存储控制器的连接方式，在物理机上多路径服务会自动把多个具有相同 WWID 的 SCSI 设备聚合成多路径设备。云平台会去检测集群内所有物理机上拥有相同 WWID 的多路径设备，然后针对用户选定的卷创建出集群内的共享卷组（VG）。云平台基于卷组创建逻辑卷（LV），逻辑卷实际上对应了云平台中的云盘、快照等资源。同时为维护存储集群的一致性，云平台也提供共享存储锁管理机制（Sanlock），用于维护存储心跳、节点管理、元数据管理等功能。
Sanlock + Lvmlockd
Sanlock（Shared storage lock manager），共享存储锁管理机制。实际上，它是基于 Lamport 的几个算法：Delta Paxos、Disk Paxos，而形成的一套租约管理机制，并且在这几个租约管理机制上实现了集群成员管理、心跳维护、仲裁和信息传递，下一步则是将这里的租约机制转换为能让 LVM 使用的锁：Lvmlockd。
引入 Sanlock + Lvmlockd 后，服务器执行的大部分 LVM 命令，均会先将请求送到 Lvmlockd。Lvmlockd 会将 LVM 的操作翻译为 Sanlock 所能识别的锁操作。
针对不同资源的操作需获取不同的锁权限，只有在获取锁权限后，才能对相应资源执行操作，从而确保元数据和数据的安全性。此外，整个过程无需任何中间节点协调或集中操作，是一个全分布式架构。
分布式存储
在 ZCF 存储服务中，分布式存储能力由可组合的存储组件提供，并通过云平台向上层业务负载提供数据服务。云平台支持接入多种分布式存储，本节以 ZStack ZStone 为例，介绍分布式存储在 ZCF 架构中的能力组成和工作机制。
作为 ZCF 可组合的存储组件，ZStack ZStone 可基于通用服务器构建分布式存储系统，并提供服务器、硬盘、数据盘、块存储卷、存储池、存储桶等资源管理能力。用户可通过这些能力构建不同数据冗余类型的存储池，以及具有指定存储策略和访问权限的存储桶，为云平台和业务负载提供块、文件和对象存储服务。
- 弹性伸缩：
用户可轻松地横向扩展存储资源。随着业务的发展，数据的增长通常是无法避免的。传统的集中式存储系统在应对大规模数据增长时会遇到很大的困难，而分布式存储系统可以通过简单添加节点来增加整个存储集群的容量和处理能力。这种弹性伸缩特性使分布式存储资源池能够适应不同规模的业务需求。
- 高可用性：
支持多种数据冗余策略，包括副本、EC 纠删码。副本策略支持在线调整存储池副本数，将数据在多个节点上进行复制，从而确保在某个或者某几个节点出现故障时，数据仍然可以从其他节点上获取，保障存储集群的可用性。结合灵活的故障域策略，即使面临硬件故障、网络中断等情况，也能保障存储服务持续运行。
- 性能优化：
通过自研缓存加速技术来优化数据处理性能。通过企业级 NVMe SSD、SATA SSD 为后端低速 HDD 设备进行读写加速，能有效降低延迟，提高存储集群的 I/O 性能。此外，分布式存储支持通过负载均衡技术将存储 I/O 负载均匀地分配到各个节点，确保系统资源的充分利用。
- 易于管理：
提供易于使用的管理页面和标准 RESTful API 接口，帮助管理员轻松进行物理资源基本生命周期管理和维护，以及数据的运维和恢复等操作。
- 成本效益高：
支持基于通用硬件部署，大大降低硬件成本。另外，由于其弹性伸缩的特性，用户可以根据业务需求动态调整存储资源，避免资源浪费，进一步降低产品使用成本。
以 ZStack ZStone 为例，分布式存储系统遵循主从架构，由多个 Master 和 Node 组成，系统可以被划分为控制面和控制面管理的众多 Node。
块存储
ZCF 支持分布式块存储能力，可通过云平台向云主机、云盘和容器工作负载提供虚拟块设备，支撑系统盘、数据盘和持久卷等存储场景。使用 ZStack ZStone 作为分布式存储组件时，块存储能力由 ZStack ZStone 承载。
第三方卷纳管
块存储能力支持接入第三方块存储卷，第三方平台上创建的块存储卷可自动同步并纳入统一管理，同时与本地卷区分展示。
卷迁移
- 准备迁移：当进行卷迁移时，系统将创建新的目标卷，并将源卷链接到目标卷。
与分层卷类似，当尝试读取目标卷中尚未初始化的数据区域时，内部机制会将读取操作重定向至源卷；而向目标卷中未初始化的数据区域写入数据时，系统将会在内部执行深度复制，将与之重叠的源卷块复制到目标卷中。
- 执行迁移：执行迁移会在后台将所有已初始化块从源卷深度复制到目标卷。此步骤可以在客户端使用新的目标卷时同步执行。
- 完成迁移：当后台迁移过程完成后，即可提交或终止迁移。提交迁移将删除源卷和目标卷之间的交叉链接，并删除源卷。终止迁移将删除交叉链接，并删除目标卷。
卷克隆
块存储能力支持基于一个卷快照克隆出多个块存储卷，并提供链接克隆和独立克隆两种克隆类型。
链接克隆基于快照分层和 COW 机制实现。首先，系统会为原始块存储卷创建一个只读快照，然后通过 COW 技术将原始数据拷贝到多个克隆卷中。这些克隆卷共享相同的物理存储空间，仅在数据发生更改时才进行数据拷贝，从而节省了大量的存储空间。
链接克隆出来的卷与源快照之间存在依赖关系，系统支持断开关系链，将链接克隆卷转为独立的卷。
文件存储
ZCF 支持分布式文件存储能力，可通过分布式文件系统向业务负载提供共享文件访问，支撑多节点共享数据、应用配置共享和文件协作等存储场景。使用 ZStack ZStone 作为分布式存储组件时，文件存储能力由 ZStack ZStone 承载。
文件系统
文件存储系统架构
文件存储构建于 Rados 对象存储之上，采用 MDS 集群管理，通过元数据池 (Meta Pool) 来管理和存储元数据，数据池 (Data Pool) 来管理数据，其中元数据池通常由一组全闪硬盘组成，数据池可按需配置为 HDD 池或混合池。
在初始化文件系统后，文件存储系统基于创建的二级子目录和集群公有网络实现文件共享，支持通过 SMB/CIFS 或 NFS 协议访问。这些共享通过文件网关组的形式对外提供服务，用户可以通过任一网关节点的 Public IP 访问文件存储系统。文件写入/读取时，会先通过 MDS 查询元数据池获取对应元数据，再直接访问数据池读写数据。
文件存储功能组件
- 文件系统：文件存储的核心资源，负责元数据信息存储、文件数据存储。使用文件存储服务前，需先进行文件系统的初始化，这主要包括：
- 元数据服务集群初始化：在每个集群监控节点上创建一个 MDS 服务。
- 文件系统创建：创建一个分布式文件系统。
- 文件目录：文件目录是文件系统的子集，是提供文件共享的必需资源，也是存储文件等资源的必要条件。
- 文件用户：文件用户是文件存储的使用者。文件用户可作为 SMB 共享的本地用户。本地用户是创建 SMB 文件共享时的必需资源，且不同用户仅可访问各自的文件共享。创建本地用户时，系统会优先在所有文件网关节点上创建一个 Linux 系统用户，然后将其创建为 SMB 共享用户。
- 文件网关：文件网关是提供给客户端访问文件存储服务的入口。客户端访问文件存储时，需指定一个或多个文件网关。文件存储支持创建文件网关组，实现统一管理多个文件网关。文件网关组可同时用于 SMB 共享和 NFS 共享。
- 文件共享：文件共享是文件系统的一种应用场景，支持跨平台提供文件存储服务。文件存储提供 SMB 共享和 NFS 共享，其中 SMB 共享主要用于 Windows 系统挂载，NFS 共享主要用于 Linux 系统挂载。文件共享提供统一的权限访问控制：其指定的客户端、客户端组或本地用户同时具有读写权限，未指定的所有其他客户端都不具有访问权限。
应用场景
- 文件共享：支持多种共享协议，满足跨平台环境中的共享服务。
- 数据归档：提供充足存储空间，具备良好数据保护机制。
- 多媒体服务：适用于大规模视频、图片的存储和访问。
文件共享
文件存储支持通过 SMB 协议和 NFS 协议实现文件目录的共享。
SMB 共享
SMB 共享通过集成 Samba 实现与 Windows 客户端和其他支持 SMB 协议的设备的兼容。
- 实现方式：Samba 配置文件中使用 Virtual File System (VFS) 模块来挂载文件存储服务。通过该模块，Samba 可以直接将文件系统挂载为共享目录。
- 典型用途：提供 Windows 文件共享支持。
NFS 共享
- 实现方式：使用 NFS-Ganesha 结合 ZStack ZStone 的 libcephfs 接口，提供 NFS v3 和 v4 协议支持。
- 典型用途：
- 通过 NFS 提供文件共享服务，适用于基于 Linux 的客户端。
- 支持跨平台数据共享，例如混合环境中的 UNIX 和 Windows 系统。
对象存储
ZCF 支持分布式对象存储能力，可通过兼容 S3 协议的接口提供对象数据访问，支撑非结构化数据、备份归档和应用对象数据等存储场景。使用 ZStack ZStone 作为分布式存储组件时，对象存储能力由 ZStack ZStone 承载。
S3 接口
对象存储提供兼容 S3 协议的 RESTful API 接口，为集群提供对象存储访问能力。
每个 API 类型对应一个主管理服务，主管理服务还可以注册多个子管理服务，因此每个 API 可以对应有多个管理服务。每个管理服务会维护该管理服务所支持的 Resource，可以将每个管理服务看作是一种 Resource。每个 Resource 同时还可以包含有多个 Handler，每个 Handler 中还有多个 OP。下图以 S3 协议类型的 API 为例，展示 op_delete 的具体操作。
访问控制管理
对象存储支持通过密钥对、用户权限、桶权限这三级权限来保障数据传输和访问安全。
对象用户权限管理
对象存储支持 admin 创建多个对象用户，每个对象用户的数据相互隔离，互不影响。访问对象存储服务时，需使用用户的鉴权信息进行认证访问，认证通过后才能访问对象存储中的数据。
完成认证所需要的最基础信息为访问密钥 (AccessKey) 和私有密钥 (SecretKey)，用户创建对象用户后，系统会自动生成一组密钥对。用户通过 S3 客户端访问对象存储时，系统根据客户端请求携带的密钥信息，对比是否一致，从而判定认证是否通过。
- 权限管理：支持设置对象用户对存储桶和对象的访问权限，默认拥有读、写、删三种权限。
- 读：拥有该权限的对象用户可以读取桶 ACL、列出/下载存储桶中的对象，不支持取消勾选该权限。
- 写：拥有该权限的对象用户可以创建存储桶、修改桶 ACL、上传对象等。
- 删：拥有该权限的对象用户可以删除存储桶、删除对象等。
- 配额管理：
- 存储桶数：支持设置单个对象用户可以拥有的最大桶配额个数。
- 容量：支持设置单个对象用户可以存储对象的最大容量。
- 对象数：支持设置单个对象用户可以访问或操作的最大对象数量。
注： 除用户配额外，对象存储还支持设置对象用户的单桶配额，即单个对象用户在单个存储桶内能使用的容量和对象数配额。
桶权限管理
- 访问控制列表 (ACL)：ACL 用于控制用户对桶的行为权限。对象存储提供桶和对象基本的访问控制。
权限值 权限对访问者限制 READ 可读。Bucket：列出 bucket 下的 object；Object：读取 object 的数据 READ_ACP 可读取 ACL 规则。Bucket：读取 bucket 的 acl 规则；Object：读取 object 的 acl 规则 WRITE 可写。Bucket：创建/删除/覆盖写该 bucket 下的 object；Object：无 WRITE_ACP 可修改 ACL 规则。Bucket：修改 bucket 的 acl 规则；Object：修改 object 的 acl 规则 FULL_CONTROL 同时具备上述权限 - 桶策略：存储桶策略使用基于 JSON 的访问策略语言，是对 ACL 的补充和扩展。用户可以使用该策略向存储桶及其中的对象授予访问权限。只有桶所有者才能将策略与存储桶关联。附加到桶的权限适用于桶所有者拥有的桶中所有对象。注： 存储桶策略的大小限制为 20 KB。
- 对象用户绑定配额：
存储桶继承来自于对象用户权限的控制，若对象用户限制了某类资源的配额，则该对象用户绑定的桶的权限中同样存在此配额限制。
分段上传
- 提升上传吞吐量：支持并行上传多个分段数据，提升上传吞吐量。
- 降低网络故障影响：由于分段数据较小，如遇网络问题，可快速恢复数据重传，大幅降低网络故障影响。
- 支持随时暂停或取消上传：如果暂停上传，已经上传的部分数据仍然可以被保留，下次继续上传时可以从上次暂停的位置继续上传。如果取消上传，已经上传的部分数据将会被删除，需要重新上传整个文件。
存储策略
存储策略是一组关于存储桶资源分配来源、数据存储形式等的规则，负责处理存储桶和存储池的映射关系，将不同存储类别的数据分配到相应的存储池上。对象存储能力支持每个存储策略指定 7 个存储类别，包括 storageclass_0~storageclass_6，其中 storageclass_0 为系统添加的默认存储类别。用户可在创建存储策略时或在存储策略详情页中添加存储类别。每个存储类别对应单独的数据池，通过指定存储类别将对象数据存储至对应的数据池中。
数据压缩
数据压缩技术可以通过压缩算法对数据进行无损或有损压缩，节省数据的存储空间，降低存储成本，提高存储效率。数据压缩能力采用 Snappy 算法，支持通过 Web 界面开启在线压缩功能。
容量与性能
ZCF 支持分布式存储容量与性能管理能力，用于提升存储空间利用率、优化数据访问性能，并控制恢复任务和业务 I/O 对集群资源的影响。使用 ZStack ZStone 作为分布式存储组件时，容量与性能管理能力由 ZStack ZStone 承载。
缓存加速
缓存加速能力使用 SSD 类缓存设备为数据盘的核心设备 HDD 进行加速。该能力通过 ZAS 缓存模块，使用高速 SSD 设备为传统 HDD 设备进行 I/O 缓存，将经常访问的热数据缓存到高速 SSD 设备中并返回给应用程序，可以显著提升 I/O 性能，尤其是在具有热数据访问特征的场景下尤为明显。
ZAS 缓存模块支持写透（Writethrough）和写回（Writeback）两种缓存策略。在写透模式下，数据同时写入缓存和后端存储设备，确保数据一致性；而在写回模式下，会将大部分缓存用于缓冲写入的数据，确保将脏数据顺序写入后端存储设备。系统默认关闭写回策略，支持在运行时切换缓存策略。
- 灵活缓存数据迁移
ZAS 缓存模块会根据数据的访问频率和热度自动将数据从慢速磁盘迁移到 SSD 缓存中，以提高对这些数据的访问速度。同时，缓存模块还会根据缓存的使用情况和空间限制，自动将不常用的数据从 SSD 缓存迁移到慢速磁盘红，以释放缓存空间。
- 数据保护
在闪存上发生数据 I/O 错误时，ZAS 缓存模块首先会尝试从磁盘读取以恢复数据，或将该缓存项置为无效。对于不可恢复的错误，例如元数据或脏数据，缓存模块将自动关闭缓存。
自动精简配置
自动精简配置可在数据写入逻辑卷之前，为上层应用程序提供比实际物理存储设备更多的虚拟存储空间，提升存储空间利用率，并提供更灵活的容量伸缩能力。
存储池恢复 QoS
存储池恢复 QoS 用于控制恢复任务对 I/O 资源的占用，帮助用户在故障恢复和业务运行之间合理分配资源。
在数据节点中，存在op_shardedwq队列处理各种来自上级的 I/O，并且这是一个复合队列，通常包含若干子队列。I/O 请求从队列出列后，通过 ObjectStore 接口与磁盘交互。I/O 类型主要包括两大类，一类是来自客户端的业务读写 I/O 请求，一类是存储系统内部活动产生的 I/O，包括数据节点之间的 I/O 请求，SnapTrim，Scrub 和 Recovery 等。
该能力采用基于权重的优先级队列 (wpq)，按照上述的 I/O 分类，分别存入子队列，每个 prior 队列在其第一个请求入队时被创建。出队时，采用权重概率的方式确定 prior 级别，每个队列的优先级 prior 作为其权重，该 prior 队列被选中的概率即为其权重占总权重的比例。被选中的 prior 队列也并不一定能出队请求，还需要根据将要出队的请求大小来确定。
- 低速恢复：低速恢复优先保证业务带宽，恢复所需时间较长。恢复过程中如再次出现硬件故障可能会降低数据安全级别。生产环境下建议选择低速恢复。
- 中速恢复：中速恢复保证业务带宽和恢复带宽同等优先级，恢复所需时间中等，性能饱和情况下可能会增加 I/O 延时。
- 高速恢复：高速恢复优先保证恢复带宽，恢复所需时间较短，性能饱和情况下可能会影响业务性能。
卷业务 QoS
卷业务 QoS 用于控制块存储卷的业务 I/O，支持设置最大 IOPS 和最大读写带宽。用户可通过设置业务 QoS，对不同块存储卷的性能进行管控，进而满足多样化的业务性能需求。
- 系统以固定速率生成令牌放入桶中，每一个 I/O 请求都必须在桶中获取令牌。
- 未获取到令牌的请求需排队获取令牌，以此限制流入系统的平均数据流速。
- 当令牌分发速度小于令牌生成速度时，令牌桶内可积累一些令牌，当短时间内出现突发流量时，允许直接取用桶中令牌。
运维管理
ZCF 支持分布式存储运维管理能力，可提供多资源池管理、硬盘点灯、硬盘 S.M.A.R.T.、数据盘维护模式、数据重平衡、自动故障检测和报警等能力，支撑存储资源的日常维护和故障处理。使用 ZStack ZStone 作为分布式存储组件时，运维管理能力由 ZStack ZStone 承载。
多资源池
多资源池能力支持不同性能存储介质的独立使用和故障隔离。
每个资源池可以具有不同的属性和性能，包括副本数、数据冗余级别、存储介质等。用户可根据实际需求灵活进行资源划分和管理，提高存储效率和存储性能。
各资源池之间相互隔离，用户可基于多个资源池实现数据隔离管理。同时，单一资源池故障不会对其他资源池产生影响，有效保障数据安全和存储可靠性。
硬盘点灯
硬盘点灯能力支持通过可视化界面完成硬盘快速定位。当用户需对某块硬盘进行维护或更换时，可先进入硬盘界面，在对应硬盘操作列表点击硬盘点灯，物理环境中该硬盘的 LED 灯就会亮起，指引用户快速、准确进行设备定位，提高运维效率。
硬盘 S.M.A.R.T. 检测
硬盘 S.M.A.R.T. 检测能力用于监测硬盘的健康状态、温度、固件和硬盘写入量总计。上层业务会根据 Smart Data 返回的相关 I/O 错误和磁盘状态信息， 触发相应的告警。
数据盘维护模式
数据盘维护模式用于服务器或硬盘维护场景。进行维护时，可先在 UI 界面使对应数据盘进入维护模式，该模式下的数据盘将停止服务和数据访问，其上的数据不会进行重平衡。
自动故障检测和报警
自动故障检测和报警机制用于监控存储系统和各个存储服务器，检测到故障时将自动向平台发送告警消息。用户可另外添加邮箱报警器接收告警消息，以及时采取措施进行故障修复。
同时，检测到故障发生时，系统支持自动服务重启和数据迁移，最大程度上保障数据可靠可用，从而形成高可靠、高可用的分布式存储系统。
数据重平衡
数据重平衡用于使存储集群中的数据均衡分布在各个存储服务器下的数据盘上，从而提高存储系统的性能和可靠性。
- 系统能根据存储池设置和存储服务器的负载情况，自动将数据从负载较高的节点转移到负载较低的节点上，以达到负载均衡的效果。
- 存储集群中有服务器发生故障，或有新服务器加入集群时，系统将自动进行数据迁移，从而保证数据一致性和可靠性。
手动数据重平衡：
同时，数据重平衡支持手动触发，用户可根据实际的数据分布情况手动进行数据重平衡操作。