存储虚拟化是将服务器存储资源池化，实现服务器存储资源的统一整合、管理及调度，并向上层提供多种存储接口，供业务云主机根据自身的存储需求灵活分配使用资源池中的存储空间。云平台支持对接集中式存储和分布式存储。

集中式存储是指将数据存储在一台或多台服务器组成的中心节点上。集中式存储所有业务均集中部署在中心节点，中心节点统一管理各分部节点数据，数据访问仅需经过一个控制器即可实现。集中式存储分为DAS、NAS、SAN三类，用户可根据不同数据存储需求选择不同存储类型。

关于集中式存储架构的说明。在集中式存储架构中，机头是最核心部件。通常机头包含两个控制器，互为备用， 避免硬件故障导致整个存储系统不可用。此外，机头包含前端端口和后端端口，前端端口用于为服务器提供存储服务，后端端口用于扩充存储系统容量。通过后端端口，机头可连接更多存储设备，从而形成一个庞大的存储资源池。

如图 1所示：

Shared Block

云平台支持对接多种集中式存储。这里主要介绍通过Shared Block主存储连接方式对接SAN存储。该方式可将用户在SAN存储上划分的LUN设备直接作为存储池，再提供给业务云主机使用。与云平台提供的另一种基于文件系统的主存储类型Shared Mount Point（SMP）不同，Shared Block具备便捷部署、灵活扩展、性能优异等优势。据实测数据显示，Shared Block可完全发挥物理磁盘的性能。目前Shared Block支持iSCSI、FC、NVMe-oF共享访问协议。

Shared Block工作原理：

• 块级访问：Shared Block可将数据分成块，每个块都有唯一标识符。服务器通过这些标识符来读取或写入特定的数据块。
• 并行访问：多个节点可同时访问Shared Block中的不同块，从而实现并行读写操作。
• 共享性：Shared Block可被多个节点共享，使得它们可以同时访问相同的数据块。这对于分布式系统中需要共享数据的场景非常重要。
• 容错性：Shared Block通常会提供数据冗余和故障恢复机制，以确保数据的安全性和可靠性。
• 扩展性：Shared Block可通过添加更多存储节点来扩展容量和性能。
• 性能优化：Shared Block通常会采取各种技术来优化性能，例如缓存、负载均衡等。

关于Shared Block架构的说明。在集中式存储上映射一个卷到物理机上，根据存储控制器的连接方式，在物理机上多路径服务会自动把多个具有相同WWID的SCSI设备聚合成多路径设备。云平台会去检测集群内所有物理机上拥有相同WWID的多路径设备，然后针对用户选定的卷创建出集群内的共享卷组（VG）。云平台基于卷组创建逻辑卷（LV），逻辑卷实际上对应了云平台中的云盘、快照等资源。同时为维护存储集群的一致性，云平台也提供共享存储锁管理机制（Sanlock），用于维护存储心跳、节点管理、元数据管理等功能。

如图 2所示：

Sanlock + Lvmlockd

Sanlock（Shared storage lock manager），共享存储锁管理机制。实际上，它是基于Lamport的几个算法：Delta Paxos、Disk Paxos，而形成的一套租约管理机制，并且在这几个租约管理机制上实现了集群成员管理、心跳维护、仲裁和信息传递，下一步则是将这里的租约机制转换为能让LVM使用的锁：Lvmlockd。

引入Sanlock + Lvmlockd后，服务器执行的大部分LVM命令，均会先将请求送到Lvmlockd。Lvmlockd会将LVM的操作翻译为Sanlock所能识别的锁操作。

针对不同资源的操作需获取不同的锁权限，只有在获取锁权限后，才能对相应资源执行操作，从而确保元数据和数据的安全性。此外，整个过程无需任何中间节点协调或集中操作，是一个全分布式架构。

如图 3所示：

云平台支持对接多种分布式存储。这里主要介绍自研分布式存储。该存储支持丰富的资源管理功能，包括对服务器、硬盘、数据盘、块存储卷、存储池、存储桶等多种资源的管理。用户可通过这些功能实现拥有不同数据冗余类型的存储池、指定存储策略和访问权限的存储桶，从而快速、低成本地构建简单、稳定、安全高效的存储基础设施。

如图 1所示：

缓存加速方案一般是指使用SSD类的缓存设备，为数据盘的核心设备HDD进行加速的方案。自研分布式存储通过ZAS缓存模块，使用高速SSD设备为传统HDD设备进行I/O缓存，将经常访问的热数据缓存到高速SSD设备中并返回给应用程序，可以显著提升I/O性能，尤其是在具有热数据访问特征的场景下尤为明显。

ZAS缓存模块支持写透（Writethrough）和写回（Writeback）两种缓存策略。在写透模式下，数据同时写入缓存和后端存储设备，确保数据一致性；而在写回模式下，会将大部分缓存用于缓冲写入的数据，确保将脏数据顺序写入后端存储设备。系统默认关闭写回策略，支持在运行时切换缓存策略。

在数据写入逻辑卷之前，即可为上层应用程序提供比实际物理存储设备更多的虚拟存储空间，具有方便的可伸缩性，可有效利用存储空间。

QoS (Quality of Service) 是用于解决I/O资源分配问题的一种技术，可以用来帮助用户对I/O读写进行限速，帮助实现资源的合理分配。

在数据节点中，存在op_shardedwq队列处理各种来自上级的I/O，并且这是一个复合队列，通常包含若干子队列。I/O请求从队列出列后，通过ObjectStore接口与磁盘交互。I/O类型主要包括两大类，一类是来自客户端的业务读写I/O请求，一类是存储系统内部活动产生的I/O，包括数据节点之间的I/O请求，SnapTrim，Scrub和Recovery等。

自研分布式存储采用基于权重的优先级队列 (wpq)，按照上述的I/O分类，分别存入子队列，每个prior队列在其第一个请求入队时被创建。出队时，采用权重概率的方式确定prior级别，每个队列的优先级prior作为其权重，该prior队列被选中的概率即为其权重占总权重的比例。被选中的prior队列也并不一定能出队请求，还需要根据将要出队的请求大小来确定。

自研分布式存储支持为块存储卷设置业务QoS，包括最大IOPS、最大读写带宽。用户可通过设置业务QoS，对不同块存储卷的性能进行管控，进而满足多样化的业务性能需求。

如图 1所示：

快照是自研分布式存储中一种重要的数据保护机制，允许用户在特定时间点创建块存储卷的完整状态副本，而无需中断服务或影响生产环境。

快照创建

自研分布式存储采用COW (Copy-On-Write) 快照技术。当创建COW快照后，系统会在存储集群中创建一个原始块设备的只读副本，只有在原始块设备或快照中的数据发生变化时，才会复制被修改的数据块，这样既保留了原始数据在快照中的状态，又避免了不必要的数据冗余。同时，系统会记录原始块设备和快照之间的关系，以及每个快照的元数据信息，包括创建时间、大小、父快照等。记录这些元数据使得系统在恢复数据时可以准确定位到特定的快照状态。

如图 1所示：

如图 1、图 2和图 3所示：

通过故障域隔离技术，可将故障对业务的影响限制在某个范围内，避免出现“牵一发而动全身”的情况发生，从而提高业务连续性。

通过基于故障域的扩容技术，配合合理的存储策略，可以将新扩容的节点独立成一个硬盘池，避免了数据的迁移。这种方式能够实现业务的无感扩容，向应用屏蔽了底层存储的变更细节，避免了传统存储变更时需要业务系统同时变更的情况。这样一来，运维人员及业务人员的工作量大大减少，同时也能提高系统的可靠性和性能。

集群拓扑是对集群物理资源实际部署方式的可视化展示，其中包含了数据中心、机房、机架、服务器等对象的逻辑实体，通过树状图的方式逐层放置，从而描述出从机房到服务器的分布关系。其中每一个树状图都有一个根节点，同时集群拓扑允许多个根节点存在。用户可在拓扑规划完成后，在创建存储池时选择对应级别的数据冗余策略。

如图 1所示：

自研分布式存储支持多资源池特性，帮助用户实现不同性能存储介质的使用和故障隔离。

每个资源池可以具有不同的属性和性能，包括副本数、数据冗余级别、存储介质等。用户可根据实际需求灵活进行资源划分和管理，提高存储效率和存储性能。

各资源池之间相互隔离，用户可基于多个资源池实现数据隔离管理。同时，单一资源池故障不会对其他资源池产生影响，有效保障数据安全和存储可靠性。

自研分布式存储支持可视化界面点灯和硬盘快速定位。当用户需对某块硬盘进行维护或更换时，可在UI上点击硬盘点灯，物理环境中该硬盘的LED灯就会亮起，指引用户快速、准确进行设备定位，提高运维效率。

自研分布式存储支持S.M.A.R.T.检测技术，监测硬盘的健康状态、温度、固件，和硬盘写入量总计。上层业务会根据Smart Data返回的相关I/O错误和磁盘状态信息，触发相应的告警。

自研分布式存储支持数据盘维护模式，进行服务器或硬盘维护时，可先在UI界面使对应数据盘进入维护模式，该模式下的数据盘将停止服务和数据访问，其上的数据不会进行重平衡。

自研分布式存储支持自动故障监测和报警机制。该机制监控存储平台系统和各个存储服务器，检测到故障时将自动向平台发送告警消息。用户可另外添加邮箱报警器接收告警消息，以及时采取措施进行故障修复。

同时，检测到故障发生时，支持自动服务重启和数据迁移，最大程度上保障了数据的可靠、可用，从而形成高可靠、高可用的分布式存储系统。

自研分布式存储支持数据重平衡，即使存储集群中的数据均衡分布在各个存储服务器下的数据盘上，从而提高存储系统的性能和可靠性。

手动数据重平衡：

同时支持手动数据重平衡功能，用户可根据实际的数据分布情况，手动进行数据重平衡操作。