文档中心API Explorer
ZHEN
文档中心›ZVF›ZStack ZSphere›用户手册ZVF

存储服务

支持快速部署分布式存储集群或无缝接管外部的分布式存储系统，您可以在平台中统一管理和使用分布式存储系统，更好利用已有存储资源。 平台提供存储监控功能，支持直接查询分布式存储概览、节点详情、性能指标以及硬盘健康状况。

快速部署分布式存储

第一步 上传分布式存储安装包

前提条件

  • 已提前准备好分布式存储软件的安装包。
  • 已将平台管理节点作为主机添加进平台中。
  • 已将至少 2 个分布式存储节点作为主机添加进平台中，且已通过主机或分布式端口组使用 Kernel 适配器为节点配置存储网络。有关如何配置存储网络的更多信息，请参阅 新建 Kernel 适配器。
  • 为确保分布式存储能随平台一起启用管理节点高可用，建议先前往 MN Ops 设置管理节点 HA，再安装分布式存储。有关如何设置管理节点 HA 的更多信息，请参阅《安装部署升级教程》。

操作步骤

  1. 在导航栏中，选择存储服务 > 存储概览。
  2. 在存储概览页面，点击去上传。
  3. 在上传分布式存储安装包弹窗中，参考以下示例完成配置：
    • 服务器IP：展示当前管理节点的 IP 地址

      若为双管理节点环境，则展示为双管理节点 VIP 所在节点的 IP 地址。

    • 存储路径：指定一个服务器上的目录路径，用于存放上传的安装包及其解压后的文件。
      Note:
      • 请确保该目录具备充足的可用空间，否则将导致安装失败。
      • 不能使用 /、/dev、/proc、/sys、/usr/bin、/bin、/opt 等系统目录，否则可能导致服务器异常。
    • 上传方式：选择上传安装包的方式，包括 URL 和本地上传
  4. 点击确定。

第二步 安装分布式存储管理服务

操作步骤

  1. 在存储概览页面，点击去安装。
  2. 在安装分布式存储管理服务弹窗中，参考以下示例完成配置：
    • VIP：单管理节点环境显示管理节点 IP 地址，双管理节点环境显示 VIP 地址
    • 管理节点IP：显示单管理节点或双管理节点的 IP 地址，填写管理节点 SSH 端口和密码
    • 数据库密码：留空不填时，默认使用初始数据库密码。若已修改过数据库密码，需填写修改后的数据库密码
  3. 确认配置无误后，点击确定。

第三步 初始化分布式存储

前提条件

初始化配置前，需从主机或分布式端口组使用 Kernel 适配器为分布式存储节点配置存储网络。有关如何配置存储网络的更多信息，请参阅 新建 Kernel 适配器。

操作步骤

  1. 在存储概览页面，点击初始化。
  2. 在初始化分布式存储弹窗中，完成初始化和存储配置。
  3. 对于初始化配置，参考以下示例完成配置：
    • 存储管理节点 IP：选择分布式存储的管理节点 IP
    • 集群：显示所在集群位置
    • 管理网络：输入管理网络 CIDR 用于管理和配置存储集群
    • 存储集群内部网络：输入存储集群内部网络 CIDR 用于存储集群各节点之间数据盘监控及副本同步
    • 存储集群对外网络：输入存储集群对外网络 CIDR 用于存储集群对外提供服务
    • 时间同步服务器地址：根据系统检测的存储服务类型展示此参数。输入时间同步服务器地址用于保障存储集群各节点间的时间同步
    • 存储网关网络：根据系统检测的存储服务类型展示此参数。输入存储网关网络，用户业务可通过该网络访问存储资源
  4. 确认配置无误后，点击下一步。
  5. 对于存储配置，点击添加添加分布式存储节点。
  6. 配置管理监控角色。
    为保障数据安全，建议指定 3 个节点为管理监控角色。
  7. 设置节点主机名。
    Note:
    • 节点主机名长度要求为 2～60 个字符。
    • 节点主机名允许使用大小写字母、数字、连字符（-）。
    • 节点主机名不能连续使用连字符，或使用连字符开头或结尾。
    • 添加节点时，节点主机名将自动增加后缀 "-1/-2/-3" 以此类推，用于确保节点主机名唯一。
  8. 确认配置无误后，点击确定。

后续操作

从ZStack ZSphere 4.10.20 开始，若您需单独访问分布式存储的管理界面：
  • 对于 ZCE-X v6.4.200.1 版本，默认登录账户名和密码为 admin/Admin@123
  • 对于 ZCE-X v5 版本，默认登录账户名和密码仍为 admin/password

接管现有分布式存储

接管分布式存储

在服务器已完成存储软件包安装、网络配置与系统初始化，或分布式存储已经在运行和使用时，您可选择此方式接管分布式存储。

操作步骤

  1. 在导航栏中，选择存储服务 > 存储概览。
  2. 在存储概览页面，点击接管现有存储。
  3. 在接管分布式存储弹窗中，参考以下示例完成配置：
    • 存储管理节点 IP：输入要接管的分布式存储的管理节点 IP
    • 存储服务检测：点击检测以检测是否存在存储服务以及能否连接成功
    • 用户名：输入登录分布式存储平台的用户名
    • 密码：输入登录密码
    • 访问令牌：根据检测的存储服务类型，按需填写此参数
  4. 确认配置无误后，点击确定。

后续操作

从ZStack ZSphere 4.10.20 开始，若您需单独访问分布式存储的管理界面：
  • 对于 ZCE-X v6.4.200.1 版本，默认登录账户名和密码为 admin/Admin@123
  • 对于 ZCE-X v5 版本，默认登录账户名和密码仍为 admin/password

取消接管分布式存储

取消接管分布式存储后，不会影响任何存储的数据，但您无法继续在平台管理分布式存储系统。

操作步骤

  1. 在导航栏中，选择存储服务 > 存储概览。
  2. 在存储概览页面，点击取消接管。
  3. 在二次确认弹窗中，阅读风险提示，确认后点击确定。

分布式存储资源管理

存储池

创建通用存储池

在ZStack ZSphere主菜单，点击存储服务 > 存储池，进入存储池界面。点击创建存储池，弹出创建存储池界面。

支持创建以下三种类型存储池：
  • 块存储存储池
  • 对象存储存储池
  • 文件存储存储池

创建存储池-块存储

可参考以下示例输入相应内容：
  • 名称：设置存储池名称

    存储池名称需符合以下命名规则：支持1~128字符，输入内容只能包含中文汉字、英文字母、数字和以下7种英文字符“-”、“_”、“.”、“(”、“)”、“:”、“+”。

  • 类型：选择块存储
  • 角色：默认显示数据池角色，且不支持修改
  • 数据安全策略：
    • 类型：默认显示副本类型，且不支持修改
    • 副本数：设置存储池的副本数，支持选择的副本数范围：2~6
      Note: 生产环境中建议至少设置为3副本以确保数据安全。
    • 级别：可按照拓扑中的规划，选择服务器、机架、机房级别的故障域。
    • 数据盘：根据拓扑视图选择需要添加的数据盘
      Note:
      • 选择的数据盘需满足数据冗余级别要求。
      • 建议尽量选择大小一致的数据盘。
如图 1所示：
图 1. 创建存储池-块存储


创建存储池-对象存储

可参考以下示例输入相应内容：
  • 名称：设置存储池名称

    存储池名称需符合以下命名规则：支持1~128字符，输入内容只能包含中文汉字、英文字母、数字和以下7种英文字符“-”、“_”、“.”、“(”、“)”、“:”、“+”。

  • 类型：选择对象存储
  • 角色：选择存储池的角色，包括数据池、索引池、复合池
    Note:
    1. 数据池：用于存储数据。
    2. 索引池：用于存储对象的索引信息。
    3. 复合池：支持多用途复用，可被存储策略中的索引池、数据中转池选用。
  • 数据安全策略：
    • 类型：选择数据冗余类型，包括副本、EC
      • 若选择副本，可参考以下示例填写相应内容：
        • 副本数：设置存储池的副本数，支持选择的副本数范围：2~6
        Note:
        • 索引池和复合池角色的存储池仅支持副本类型的数据冗余策略。
        • 生产环境中建议至少设置为3副本以确保数据安全。
      • 若选择EC，可参考以下示例填写相应内容：
        • EC策略：设置存储的EC策略，包括推荐值、自定义
          • 推荐值：选择系统推荐的六种EC策略，包括2+1、4+2、8+3、4+2:1、8+2:1、16+2:1
          • 自定义：支持自定义EC策略，输入数据块+校验块
            Note: 需输入正整数，数据块数量需大于校验块数量，校验块数量需小于等于4。
          Note:
          • EC策略由数据块和校验块构成，其中数据块指数据分片的数量，校验块指通过校验算法生成的校验分片的数量，以服务器级别的4+2的EC策略为例，其表示允许当2台服务器发生故障时，数据仍可正常使用。
          • 支持实时展示得盘率，计算方法：数据块/（数据块+校验块）。
    • 级别：可按照拓扑中的规划，选择服务器、机架、机房级别的故障域。
    • 数据盘：根据拓扑视图选择需要添加的数据盘
      Note:
      • 选择的数据盘需满足数据安全策略的故障域要求。
      • 建议尽量选择大小一致的数据盘。
如图 2所示：
图 2. 创建存储池-对象存储


创建存储池-文件存储

可参考以下示例输入相应内容：
  • 名称：设置存储池名称

    存储池名称需符合以下命名规则：支持1~128字符，输入内容只能包含中文汉字、英文字母、数字和以下7种英文字符“-”、“_”、“.”、“(”、“)”、“:”、“+”。

  • 类型：选择文件存储
  • 角色：选择存储池的角色，包括数据池、元数据池
  • 数据安全策略：
    • 类型：默认显示副本类型，且不支持修改
    • 副本数：设置存储池的副本数，支持选择的副本数范围：2~6
      Note: 生产环境中建议至少设置为3副本以确保数据安全。
    • 级别：可按照拓扑中的规划，选择服务器、机架、机房级别的故障域。
    • 数据盘：根据拓扑视图选择需要添加的数据盘
      Note:
      • 选择的数据盘需满足数据冗余级别要求。
      • 建议尽量选择大小一致的数据盘。
      • 元数据池需要使用SSD介质的原生数据盘。
如图 3所示：
图 3. 创建存储池-文件存储


管理通用存储池

在ZStack ZSphere主菜单，点击存储服务 > 存储池，进入存储池界面。

存储池支持以下操作：
操作 描述
创建存储池 创建存储池。
添加数据盘 添加一个或多个数据盘至存储池。
移除数据盘 解除数据盘与该存储池的关联关系，并将其从存储池移除，进行存储池缩容。
移除数据盘可能会导致数据丢失，请谨慎操作。以下情况不支持移除数据盘操作：
  • 当前存储池状态为创建中、删除中或初始化中等中间状态。
  • 当前存储池已设置单副本。
  • 需要移除的数据盘上存在唯一的副本。
  • 批量移除数据盘时，余下的数据盘无法满足数据冗余策略要求。
  • 集群已开启数据恢复，且预计移除数据盘后存储池容量使用率将超过数据迁移阈值。
    Note: 存储池容量使用率预计超过数据迁移阈值时，如确需移除数据盘，可先临时关闭集群数据恢复。该方案可能会导致数据丢失，请谨慎操作。
设置恢复QoS 为存储池设置恢复QoS级别，目前支持静态QoS（低速）、静态QoS（中速）、静态QoS（高速）三种级别。存储池数据恢复时，您可在存储池主列表页查看预计待恢复数据量、恢复速率、以及预计剩余时间。
  • 低速恢复优先保证业务带宽，恢复所需时间较长。恢复过程中如再次出现硬件故障，可能会降低数据安全级别。生产环境建议选择低速恢复。
  • 中速恢复保证业务带宽和恢复带宽同等优先级，恢复所需时间中等，性能饱和情况下可能会增加I/O延时。
  • 高速恢复优先保证恢复带宽，恢复所需时间较短，性能饱和情况下可能会影响业务性能。
    Note: 用户可自行在全局范围内启用/禁用高速恢复QoS。默认禁用，如启用，将允许用户为存储池设置高速恢复。
  • 中速恢复、高速恢复有影响业务的风险，不建议在生产环境下使用。如需设置，请联系技术支持工程师进行风险评估。
数据一致性检查 对存储池进行数据一致性检查，并设置相应的检查策略。支持选择以下2种检查策略：
  • 默认：系统将在每天02:00-06:00进行一次数据一致性检查。
  • 每天：自定义设置检查时间范围，系统每天将在设置的时间范围内进行一次数据一致性检查。
Note:
  • 若自定义设置的起始时间大于或等于终止时间，则表示检查将在每日起始时间至次日终止时间之间进行。
  • 数据一致性检查时间建议避开业务繁忙时间段。
  • 检查时间以服务器时间为准，浏览器时间与服务器时间不一致不影响数据一致性检查。
手动数据块重平衡 手动重平衡存储池中的数据块。
Note:
  • 进行该操作需开启集群数据恢复并保证存储池处于健康状态。
  • 数据块重平衡会影响业务性能，建议避开业务繁忙时间段。
修改数据安全策略 修改存储池的数据安全策略，可选择的策略值需满足数据安全策略的故障域要求。
  • 以副本策略类型为例：当存储池的数据冗余级别为服务器，且服务器数量为 3 时，可选择的副本数范围为2~3。增加副本数时，需确保增加后的存储池容量使用率不超过数据迁移阈值。若存储池预计容量使用率超过数据迁移阈值，则不允许增加副本数。
  • 以EC策略类型为例：仅支持由折叠EC到标准EC的切换。
Note:
  • 修改数据安全策略将触发数据迁移，影响业务性能，建议避开业务高峰期。
  • 数据迁移阈值默认为85%，支持在全局设置中修改数据迁移阈值。
  • 用户可自行在全局范围内启用/禁用单副本。默认禁用，如启用，用户可在创建存储池和修改副本数时设置单副本。
  • 当存储池当前为单副本，且存储池容量不足以修改为其它副本数时，则不支持修改副本数。
  • 增加副本数时，需确认修改存储池副本数后所需的总PG数量，该数量不得大于所有数据盘允许的最大PG数量的总和。
删除存储池 删除已创建的存储池。删除后，存储池内所有数据盘将解除与该存储池的关联关系，且存储池的数据将无法恢复，请谨慎操作。
Note:
删除块存储类型的存储池：
  • 删除存储池前需满足以下条件：
    • 存储池内不存在块存储卷。
    • 存储池所在集群处于健康状态。
删除对象存储类型的存储池：
  • 对于初始化对象存储时选择的存储池，若当前平台中无存储策略、对象网关、对象用户、存储桶资源时，可正常删除。删除存储池将同步删除对象存储系统资源池。删除后，将无法使用对象存储服务且数据无法恢复，请谨慎操作。
  • 对于初始化对象存储时选择的存储池，若当前平台已存在存储策略、对象网关、对象用户、存储桶中的任一资源，均无法删除存储池。
  • 对于非初始化对象存储时选择的存储池，若该存储池被存储策略引用，则无法删除存储池。
删除文件存储类型的存储池：
  • 若存储池已被文件系统关联，则无法删除存储池。
  • 若存储池处于创建中、扩容中、缩容中、更新中、删除中等中间状态时，则无法删除存储池。

存储节点

添加通用存储服务器

在ZStack ZSphere主菜单，点击存储服务 > 存储节点，进入存储节点界面。点击通用存储节点 > 添加服务器，弹出添加服务器界面。

添加通用存储服务器分为以下五步，您可参考以下示例输入相应内容，完成服务器配置。

第 1 步：基础配置

  • 服务器IP地址：输入服务器的IP地址，可填写单个IP地址或IP范围。支持批量添加多台服务器
  • 类型：选择服务器类型，支持以下两种服务器类型：
    • 存储服务器：
      • 为存储池提供硬盘等资源。存储服务器上的硬盘可被作为数据盘使用。
      • 存储服务器类型的服务器支持管理、监控、块存储网关、对象存储网关四种角色。
    • 存储网关服务器：
      • 承载各类接口客户端，仅支持对网关进行管理，不可以管理服务器中的硬盘。
      • 存储网关服务器类型的服务器仅支持块存储网关一种角色。
  • 角色：设置服务器的角色，支持以下五种服务器角色：
    • 管理：
      • 负责集群运行时状态的采集与管理，作为管理节点来提供分布式存储集群的管理功能，支持GUI、API等管理方式。
      • 为满足高可用要求，建议一般部署至少2个管理角色。
    • 监控：
      • 负责集群存储数据的监控，维持集群整体状态，包括数据映射关系、集群认证等元数据信息。
      • 为满足高可用要求，建议部署数量为奇数（3+2*N，N≥0），一般可部署3个监控节点。
    • 块存储网关：
      • 负责服务器与存储集群之间使用Block接口访问。
      • 存储服务器类型的服务器默认选择此角色。
      • 存储网关服务器类型的服务器默认且仅支持选择此角色。
    • 对象存储网关：
      • 负责服务器与存储集群之间使用 Object 接口访问。
      • 若使用对象存储功能，需选择此角色。
      • 对象存储网关角色的服务器支持开启对象网关，提供S3协议和网关服务。
    • 文件存储网关：
      • 若使用文件存储功能，需选择此角色。
      • 文件存储网关角色的服务器支持创建文件网关组，提供SMB、NFS等文件存储访问协议。
    Note:
    • 第一次添加服务器时，默认选择管理、监控、块存储网关角色。
    • 一般一个集群中至少部署三台同时作为管理、监控、块存储网关角色的存储服务器。
如图 1所示：
图 1. 基础配置


第 2 步：环境配置

  • SSH用户名：输入服务器的SSH用户名，默认为root
  • SSH密码：输入服务器的SSH密码。该密码仅用于配置免密，不会保存
  • 端口：输入服务器的端口号，默认端口为22
  • 服务器名：可选项，设置服务器名称

    命名规则：长度限制1~63个字符，输入内容只能包含英文小写字母、数字和以下2种特殊字符：“.”、“-”，且不支持以“-”开头或结尾。建议不要以数字开头。

    Note:
    • 若选择不设置服务器名，请提前在服务器/etc/hosts配置文件下配置服务器名称和IP地址的映射关系。服务器添加完成后，将直接使用/etc/hosts中配置的服务器名。
    • 若选择设置服务器名，新的服务器名将写入服务器/etc/hosts配置文件，并覆盖原服务器名与IP地址的映射关系。
    • 批量添加服务器时，若设置服务器名，系统将自动增加服务器IP末位数字（0-254）作为名称后缀，用于资源区分。
  • 时间同步服务：选择是否开启时间同步服务

    开启后，系统将通过时间同步服务器保证新添加服务器与集群中其他服务器的时间同步。

  • 服务器免密：选择是否通过输入的SSH用户名和密码自动配置免密功能
如图 2所示：
图 2. 环境配置


第 3 步：网络配置

  • Admin IP：设置管理网络IP地址，用于对存储集群进行管理和配置，默认为服务器IP地址
  • Public IP：设置存储集群公有网络IP地址，用于块存储网关与存储池之间的访问
  • Cluster IP：设置存储集群内部网络IP地址，用于存储集群各服务器之间的数据盘监控及副本同步
    Note: 添加存储网关服务器类型的服务器无需设置Cluster IP。
如图 3所示：
图 3. 网络配置


第 4 步：信息确认

查看将要添加的服务器，支持跳转修改相应信息。

如图 4所示：
图 4. 信息确认


第 5 步：安装部署

查看服务器安装部署进度。安装过程中如退出该页面，服务器安装部署将继续进行，可通过操作日志再次查看安装进程。
Note:
  • 首次添加服务器不支持退出该页面。
  • 首次添加服务器建议不要刷新浏览器。
如图 5所示：
图 5. 安装部署


管理通用存储服务器

在ZStack ZSphere主菜单，点击存储服务 > 存储节点 > 通用存储节点，进入服务器界面。

服务器支持以下操作：
操作 描述
添加服务器 添加一台或多台服务器。
Note: 若当前集群中存在未连接状态的监控服务器，则无法添加新服务器。
删除服务器 删除服务器将停止服务器服务并删除所有相关数据，且数据将无法恢复，请谨慎操作。
Note: 删除服务器需满足以下条件：
  • 服务器已连接。
  • 服务器所在集群处于健康状态。
  • 服务器内没有正在使用的数据盘。
  • 服务器没有被添加为对象网关。
  • 服务器没有被添加为块网关。

数据盘

创建通用存储节点数据盘

在ZStack ZSphere主菜单，点击存储服务 > 数据盘，进入数据盘界面。点击创建数据盘，弹出创建数据盘界面。

可参考以下示例输入相应内容：
  • 选择硬盘：选择需要添加为数据盘的硬盘
    Note: 仅支持将健康状态且用途为空闲盘的硬盘添加为数据盘。单个硬盘的容量不能少于25 GB。
  • 缓存分区：选择数据盘是否使用缓存分区
    • 自动模式：系统自动为已选择的硬盘批量匹配服务器上的缓存分区。
    • 手动模式：用户可手动为已选择的每一块硬盘单独选择需要绑定的缓存分区。
    Note: 可用缓存分区数量小于已选硬盘数时，超出数量的硬盘将无法添加为数据盘。
如图 1所示：
图 1. 创建数据盘


管理通用存储节点数据盘

在ZStack ZSphere主菜单，点击存储服务 > 数据盘，进入数据盘界面。

数据盘支持以下操作：
操作 描述
创建数据盘 创建一块或多块数据盘。
设置维护模式 为数据盘开启/关闭维护模式。维护模式下的数据盘将不进行数据块重平衡。
Note:
  • 开启维护模式将停止数据盘上的服务和数据访问。考虑到系统可用性，数据盘维护时间不宜过长。
  • 开启维护模式不会停止集群数据迁移。如需停止，可在全局设置中手动关闭数据恢复。
  • 数据盘维护结束后，请手动关闭维护模式，并重新开启集群数据恢复。维护模式关闭后，数据盘上的服务和数据访问将自动恢复。
删除数据盘 删除数据盘将停止数据盘上的服务并删除所有相关数据，且数据将无法恢复，请谨慎操作。
Note: 删除数据盘前需满足以下条件：
  • 数据盘关联的缓存盘处于健康状态。
  • 数据盘未被添加进存储池。

物理硬盘

扫描通用存储节点硬盘

在ZStack ZSphere主菜单，点击存储服务 > 物理硬盘，进入硬盘界面。点击扫描，即可列出服务器中的硬盘及硬盘信息。

如图 1所示：
图 1. 扫描硬盘


Note:
  • 健康状态的空闲盘可进行缓存分区（建议SSD）或添加为数据盘。若进行缓存分区，需确保单个分区容量至少为50 GB。
  • 若扫描出未知盘，表示该硬盘上存在未知分区。
    • 针对分布式存储 4.2.0及之前的版本，可执行wipefs -af /dev/sdX命令，手动清理分区后再次扫描硬盘。
    • 针对分布式存储 4.2.0及之后的版本，可在硬盘页面，点击初始化硬盘，直接进行分区清理。
  • 部分硬件环境中，新添加的硬盘可能无法识别，请重启服务器或联系官方技术支持。

管理通用存储节点硬盘

在ZStack ZSphere主菜单，点击存储服务 > 物理硬盘，进入硬盘界面。

硬盘支持以下操作：
操作 描述
扫描硬盘 可通过扫描硬盘列出服务器中的硬盘与用途。
设置缓存分区 支持为单个或多个健康状态的空闲盘设置缓存分区。
Note:
  • 单个分区的容量至少为50 GB。
  • 最多支持设置36个分区。
  • 若选择的空闲盘的总容量大小不一致，无法批量设置缓存分区。请选择总容量相同的空闲盘再尝试此操作。
清理缓存 支持为健康状态的缓存盘清理缓存。
Note:
  • 清理缓存会清除缓存盘中的所有分区，且不可恢复，请谨慎操作。
  • 用户可以重新设置缓存分区或将硬盘添加为数据盘。
  • 若缓存盘的分区正在被数据盘使用，则无法清理缓存，可删除数据盘之后再试。
初始化硬盘 支持对单个或多个健康状态的未知盘进行初始化操作。
Note:
  • 初始化后，硬盘用途将由未知盘变为空闲盘。
  • 初始化硬盘将对硬盘上已存在的分区进行清理，可能会导致数据丢失，请谨慎操作。
硬盘点灯 支持开启/关闭硬盘灯，快速定位硬盘的物理位置。
Note:
  • 系统盘、虚拟盘、离线状态的硬盘不支持该操作。
  • 建议选用分布式存储平台适配的硬盘类型，如：HGST HUS728T8TALE6L4、ST2000DM001-1ER164等。
上一篇裸金属管理