存储服务

ZStack Cube 双引擎版无缝集成分布式存储功能并支持一键免密登录和管理。在ZStack Cube 双引擎版主菜单,点击存储服务,即可进入存储管理界面,用户可在该页面实时监控和管理存储资源。

存储池

概述

存储池是同一种介质的硬盘(跨多台服务器)的集合。

创建存储池

ZStack Cube 双引擎版主菜单,点击存储服务 > 存储池。在存储池界面,点击创建,弹出创建存储池界面。

创建存储池分为以下两种场景:
  • 创建角色为数据池的存储池
  • 创建角色为XSpeed数据池的存储池

创建角色为数据池的存储池

可参考以下示例输入相应内容:
  • 名称:设置存储池名称。命名规则:长度限制1-128字符,只能包含大写字母、小写字母、数字,和以下特殊字符:(.)(_)(-)
  • 类型:选择本地池
  • 角色:选择数据池。数据池用于存储集群中所有数据的存放
  • 存储介质:选择该存储池使用的硬盘类型,支持HDD、SSD和混合盘三种介质
  • 业务场景:选择业务场景,支持块存储、文件存储两种场景,支持同时选择
  • NUMA:选择是否启用NUMA。基于Intel/AMD/Kunpeng CPU节点的存储池建议启用NUMA,以提供更好的内存访问性能
  • NUMA绑定模式:开启NUMA时,需设置NUMA绑定模式,支持普适模式,将所有硬盘按数量均匀分布在不同NUMA节点中
  • 数据安全级别:可参考拓扑管理中的规划,选择数据中心、机架或节点
  • 数据安全策略类型:支持两种安全策略类型:副本、EC纠删码
  • 副本数:选择安全策略类型为副本时,需设置副本数,因为该策略采用多副本的方式来保证数据可靠性。默认情况下,支持设置2-6副本,如需开启1副本,请联系官方技术支持评估后设置
图 1所示:
图 1. 创建角色为数据池的存储池


创建角色为XSpeed数据池的存储池

可参考以下示例输入相应内容:
  • 名称:设置存储池名称。命名规则:长度限制1-128字符,只能包含大写字母、小写字母、数字,和以下特殊字符(.)(_)(-)
  • 角色:选择XSpeed数据池。Speed 池由数据层和缓存层组成,此结构支持对数据进行分层缓存,适用于对得盘率和小 IO 随机写性能有更高需求的场景
  • NUMA:选择是否启用NUMA。基于Intel/AMD/Kunpeng CPU节点的存储池建议启用NUMA,以提供更好的内存访问性能
  • NUMA绑定模式:开启NUMA时,需设置NUMA绑定模式,支持普适模式,将所有硬盘按数量均匀分布在不同NUMA节点中
  • 数据压缩:选择是否启用数据压缩
  • 数据安全策略级别:可参考拓扑管理中的规划,选择数据中心、机架或节点。XSpeed存储池中,缓存层和数据层使用的数据安全策略级别一致
  • 缓存层:设置缓存层的硬盘角色、存储介质、数据安全策略类型等参数
    • 硬盘角色:默认为XSpeed_Cache盘
    • 存储介质:默认为SSD
    • 数据安全策略类型:默认为副本,需设置副本数。默认情况下,支持设置2-6副本
    • 每节点硬盘个数:设置缓存层每个节点所需XSpeed_Cache盘的数量
    • 每硬盘容量:设置缓存层每个节点上XSpeed-Cache盘的标称容量,单位:GB、TB
  • 数据层:设置数据层的硬盘角色、存储介质、数据安全策略类型等参数
    • 硬盘角色:默认为XSpeed_Data盘
    • 存储介质:选择存储介质,支持HDD、SSD两种介质
    • 数据安全策略类型:选择数据安全策略类型,支持副本和纠删码两种策略
    • 副本数:选择安全策略为副本时,需设置副本数。默认情况下,支持设置2-6副本
    • 每节点硬盘个数:设置数据层每个节点所需XSpeed_Data盘的数量
    • 每硬盘容量:设置数据层每个节点上XSpeed-Data盘的标称容量,单位:GB、TB
图 2所示:
图 2. 创建角色为XSpeed数据池的存储池


管理存储池

ZStack Cube 双引擎版主菜单,点击存储服务 > 存储池,进入存储池界面

存储池支持以下操作:
操作 描述
创建存储池 创建新存储池。
初始化存储池 初始化存储池,创建完成的存储池需初始化后才能使用。
修改数据安全策略 在线修改存储池数据安全策略。
添加硬盘 为存储池添加新硬盘。
Note: 新添加的硬盘需与存储池中已有的硬盘具有相同的角色和类型。
移除硬盘 从存储池移除硬盘。
Note: 移除完成后,存储池中剩余的硬盘仍需满足该存储池的副本分布策略,否则移除操作将会失败。
设置恢复QoS 设置存储池恢复QoS。
  • 支持静态QoS和动态QoS两个类型。
  • 静态QoS支持低速恢复、中速恢复、高速恢复三种级别。
手动数据重平衡 手动平衡存储池数据,重平衡后,存储池PG数不均衡度将控制在0.01以内。
Note: 执行该操作时,建议避开业务繁忙时间段。
设置智能IO过滤 为混合盘建成的存储池设置IO阈值。
  • 当业务写入小于设置阈值时,数据将被写入高速缓存。
  • 当业务写入大于设置阈值时,数据将直接写入数据层。
数据一致性检查 设置数据一致性检查时间,系统将在设置的时间范围内对存储池进行数据一致性检查。
Note:
  • 如设置的起始时间晚于终止时间,表示数据一致性检查将延续到次日。
  • 如设置的起始时间与终止时间相同,表示数据一致性检查没有时间限制。
  • 数据一致性检查时间建议避开业务繁忙时间段。
设置硬盘容量阈值 设置存储池中所有硬盘可以安全写入的上限容量百分比,当已用容量超过该阈值时,存储池将拒绝新的写入请求。设置范围:85%-92%,默认为90%。
设置数据压缩 设置是否为存储池启用数据压缩。
Note: 目前,仅XSpeed存储池支持该操作。
设置NUMA 设置是否为存储池启用NUMA,启用时,支持设置NUMA绑定模式。
编辑名称 编辑存储池名称
存储池详情 进入存储池详情页,查看存储池基本信息、监控、告警、事件、关联硬盘、关联块存储卷等。
删除存储池 删除存储池。

拓扑

拓扑是存储管理模块中,对物理资源实际部署方式的可视化展示,用户可基于该功能,设置存储池的数据分布策略,并监控存储集群的网络工作状态。

网络拓扑

ZStack Cube 双引擎版主菜单,点击存储服务 > 拓扑 > 网络,进入网络拓扑界面。该界面支持以下操作:

查看网络拓扑

可视化展示存储集群中所有节点的网络情况和网络规划,包括节点网卡、网卡工作状态、网络类型、链路状态等。如图 3所示:
图 3. 查看网络拓扑


网络诊断

在网络拓扑界面,点击网络诊断,选择需要检查的网络和节点,即可开始网络诊断。网络诊断将检查节点网络的实际带宽、每秒收包数、每秒发包数、每秒收字节数、每秒发字节数、每秒碰撞数据包数、丢包率、错误包率、主动TCP失败连接、TCP段重传,并将异常项标记为警告错误,用户可根据诊断结果,及时进行调整和修复。
Note:
  • 当前集群中仅有一个节点时,不支持开启网络诊断。
  • 网络诊断需要较长时间,并会对集群网络进行压力测试,可能影响集群正常服务,请选择合适的时间段进行。
图 4所示:
图 4. 网络诊断


规划拓扑

ZStack Cube 双引擎版主菜单,点击存储服务 > 拓扑 > 规划,进入规划拓扑界面。用户可在该界面根据实际物理资源部署情况,描绘数据中心、机房、机架和节点间的关系图网。

用户可参照以下步骤完成拓扑图描绘:
  1. 拖放数据中心、机房、机架
    将界面左侧的数据中心、机房、机架拖放到界面中央的拓扑图。
    • 数据中心:支持拖放到拓扑图的任意空白处。
    • 机房:支持拖放到拓扑图的任意空白处或数据中心内。
    • 机架:支持拖放到拓扑图的任意空白处或机房内;数据中心未部署机房时,不支持将机架直接拖放到数据中心。
  2. 拖放节点
    将界面下方的节点拖放到对应的机架上。
    Note: 节点仅支持拖放到机架,不支持拖放到空白处、直接拖放到数据中心或机房,请规划好机架后,再拖放节点。
  3. 其他操作
    除资源拖放外,规划拓扑图还支持以下操作:
    • 调整拓扑:拖拽已添加到拓扑中的资源,更改其所属位置和拓扑结构。
    • 移除节点:将已放置到拓扑图中的节点拖拽移除。
    • 编辑数据中心、机房、机架名称:点击拓扑图对应资源卡片右上角的编辑图标,修改资源名称。
    • 删除数据中心、机房、机架:点击拓扑图对应资源卡片右上角的删除图标,将已拖放到拓扑中的资源删除。
    • 查看拓扑详情:点击拓扑中的资源卡片,在界面右侧查看该资源的基本信息。
Note: 规划拓扑完成后,用户可参考该拓扑图来创建不同数据级别的存储池,例如,设置存储池安全策略类型为4副本,安全级别为机架时,则应当保证拓扑图中存在至少4个机架。
图 5所示:
图 5. 规划拓扑


存储节点

概述

存储节点即分布式存储集群中提供存储能力和其他服务的物理服务器,不同角色的节点在集群中发挥不同作用,主要包括管理角色、监控角色、块存储网关角色、文件存储网关角色:
  • 管理角色: 提供GUI、API等管理功能,作为管理节点来提供分布式存储集群的管理功能。为保证集群管理功能高可用,建议至少设置3个管理角色节点, 并且保证至少一半 (不含) 以上的管理角色节点状态正常 。
  • 监控角色: 用于提供集群存储数据的监控服务。为保证集群数据监控功能高可用,建议至少设置3个监控角色节点,并且保证至少一半 (不含) 以上的监控角色节点状态正常。
  • 集群统计角色: 数据集群管理面统计。推荐每个集群中至少配置3个集群统计角色。
  • 块存储网关角色: 节点配置块存储网关角色后,可提供块存储卷的访问功能。
  • 文件存储网关角色: 开启了文件存储网关角色的节点,可以被添加到文件网关集群中,提供文件网关服务。

添加存储节点

ZStack Cube 双引擎版主菜单,点击存储服务 > 存储节点,在存储节点界面,点击添加,弹出添加节点界面。

添加节点分为以下五步:
  1. 填写基本信息。
    可参考以下示例输入相应内容:
    • 添加形式:支持两种节点添加形式:按IP添加单台节点、按IP段添加批量节点。添加单台节点时,需输入该节点的IP地址;添加批量节点时,需填写IP段的起始IP和结束IP
    • 类型:选择存储节点。存储节点是可以同时用于存储数据和网关的节点
    • 角色:选择节点角色。存储节点支持设置为管理、监控、集群统计、块存储网关和文件存储网关 5 种角色。不同角色节点的作用详见存储节点概述
    图 6所示:
    图 6. 基础信息


  2. 环境初始化。
    可参考以下示例输入相应内容:
    • SSH用户名:输入SSH用户名,SSH用户名和密码将用于服务自动配置免密功能
    • SSH密码:输入SSH密码
    • 设置主机名:选择是否设置主机名前缀
    • 关闭防火墙:选择是否关闭系统自带的防火墙功能,用于简化安装部署。如选择不关闭,需要检查当前防火墙状态并保证系统允许相应端口正常工作。

    参数设置完成后,点击初始化

    图 7所示:
    图 7. 环境初始化


  3. 配置网络。
    可参考以下示例输入相应内容:
    • Admin IP:设置节点的Admin IP
    • Gateway IP:设置Gateway IP,支持设置多个
    • Public IP:设置Public IP
    • Cluster IP:设置Cluster IP
    图 8所示:
    图 8. 配置网络


  4. 安装检查。
    系统将自动进行待添加节点检查,包括IP冲突、主机名冲突、内存检查、Swap分区检查、主机域名检查、SElinux、SSH免密、时间同步、网络可用、端口占用、CPU虚拟化检查、SRIOV检查等。
    • 检查结果为绿色时,表示通过,可正常添加节点。
    • 检查结果为黄色时,表示告警,此时,仍可添加节点,但添加后告警项对应的服务将不可用。
    • 检查结果为红色时,表示错误,此时,无法添加该节点。
    图 9所示:
    图 9. 健康检查


  5. 确认信息。
    检查节点配置信息,确认后,点击添加,将节点加入集群。
    • 安装检查含告警项时,确认添加节点将弹出提示信息:检查未通过,本次忽略加入集群。点击确认后,可将节点加入集群。
    • 安装检查含错误项时,无法将节点加入集群。
    图 10所示:
    图 10. 确认信息


管理存储节点

ZStack Cube 双引擎版主菜单,点击存储服务 > 存储节点,进入存储节点界面。

存储节点支持以下操作:
操作 描述
添加存储节点 将节点加入存储集群。
设置节点角色 修改节点角色。
Note: 如将当前节点的角色全部取消,该节点将不会启用任何服务,建议仅在希望删除该节点前采取该行为。
存储节点详情 进入存储集群详情页,查看基本信息、监控、网络、服务,和关联资源,例如:物理盘、系统盘等。
删除存储节点 将节点从存储集群删除。
Note:
  • 删除前,请确保节点未承担重要角色,包括管理角色、监控角色、集群统计角色。
  • 删除前,请确认该节点无关联资源正在被使用,例如,该节点上不存在正在被使用的硬盘。

硬盘

概述

硬盘指已添加OSD服务的物理盘,这些物理盘位于存储集群节点上,并通过创建硬盘的形式,被转化为OSD格式,这些转化为OSD格式的物理盘即被称为硬盘,能够被平台集中监控管理。

OSD是负责数据落盘的进程,每一块硬盘对应一个OSD进程。

创建硬盘

创建硬盘是将存储集群节点上的物理盘转化为OSD格式的过程。

ZStack Cube 双引擎版主菜单,点击存储服务 > 硬盘,在硬盘界面,点击创建,弹出创建硬盘界面。

可参考以下示例输入相应内容:
  • 所选存储池 (组):选择硬盘所属的存储池
  • 角色:选择硬盘角色,系统将根据选择的存储池,自动筛选出支持创建的硬盘角色:
    • 数据盘:所选存储池为数据池时,可选择该角色。
    • XSpeed_Cache盘:所选存储池为XSpeed数据池时,可选择该角色,创建用于XSpeed池缓存层的硬盘。
    • XSpeed_Data盘:所选存储池为XSpeed数据池时,支持选择该角色,创建用于XSpeed数据层的硬盘。
  • 物理盘:选择需要添加为硬盘的物理盘,系统将根据所选的硬盘角色,自动筛选出可用的物理盘,不同角色硬盘需设置的参数不同
    • 硬盘角色为数据盘时,系统会自动筛选除符合条件的HDD或SSD物理盘,此时需设置以下参数:
      • 内存读缓存:设置内存读缓存大小,默认为256MB
      • 缓存分区:选择是否开启缓存分区,默认不开启。如开启缓存分区,将创建混合数据盘,此时需要为数据盘分配缓存分区
    • 硬盘角色为XSpeed_Cache盘时,系统会自动筛选SSD类型的物理盘,此时需设置以下参数:
      • 内存读缓存:设置内存读缓存大小,默认为256MB,如自定义设置,设置的值不能小于256MB
      • 缓索引容量:设置硬盘的索引容量,取值范围:160GB-4096GB
    • 硬盘角色为XSpeed_Data盘时,系统会自动筛选出HDD或SSD类型的物理盘
图 11所示:
图 11. 创建硬盘


管理硬盘

ZStack Cube 双引擎版主菜单,点击存储服务 > 硬盘,进入硬盘界面。

硬盘支持以下操作:
操作 描述
创建硬盘 将存储节点上的物理盘添加为OSD硬盘。
开启维护模式 使硬盘进入维护模式。维护模式中的硬盘不会参与数据重平衡。
Note: 开启维护模式后,硬盘上的服务将被停止,不能继续进行数据访问,为保证系统可用性,建议维护时间不要过长。
关闭维护模式 关闭硬盘维护模式,恢复硬盘上的服务和数据访问。
解除隔离 物理盘被拔插、硬盘亚健康或网络亚健康时,硬盘会处于已隔离状态,此时可使用该操作取消隔离。
重建硬盘 使用新的硬盘来承载当前硬盘上的数据,主要用于存储介质损坏、需要更换的场景,可避免将旧硬盘从存储池移除,并手动加入新硬盘的复杂流程。

重建完成后,数据会自动重平衡。

删除硬盘 删除硬盘。
Note: 已加入存储池的硬盘不支持删除,如需删除,请先从存储池移除。

分区

概述

缓存分区通常是比机械硬盘 (SAS/SATA) 更高速的SSD物理盘,利用各种读写缓存策略 (如writeback、热点数据迁移等) 大幅提升存储性能。将缓存分区分配给硬盘可实现存储系统的高性能表现。

添加缓存分区

添加缓存分区实际上是将SSD类型的物理盘添加为缓存盘的过程。

ZStack Cube 双引擎版主菜单,点击存储服务 > 缓存分区,在缓存分区界面,点击添加,弹出添加缓存分区界面。

勾选需要添加为缓存分区的物理盘,如图 12所示:
图 12. 添加缓存分区


管理缓存分区

ZStack Cube 双引擎版主菜单,点击存储服务 > 缓存分区,进入缓存分区界面。

缓存分区支持以下操作:
操作 描述
添加缓存分区 将SSD物理盘添加为缓存盘。
清除缓存分区 清除缓存盘上的所有分区。
Note:
  • 缓存分区清除后将不可恢复,请谨慎操作。
  • 被清除分区的SSD物理盘仍可再次被添加为缓存盘或硬盘使用。