简介

关于本文档

本文档介绍了如何安装 ZStack ZSphere 管理节点,以及如何设置管理节点 HA。

图 1所示:
图 1. 安装流程


目标读者

本文档的目标读者是希望安装 ZStack ZSphere 并具有丰富经验的管理员。

安装模式

ZStack ZSphere 提供三种安装模式。不同安装模式的安装内容、适用场景各不相同。

安装模式 安装内容 适用场景
管理节点模式
  • 基础操作系统
  • MariaDBCloudBus消息总线等依赖包
适用于安装为虚拟化平台的管理节点。
计算节点模式
  • 基础操作系统
  • libvirtQEMU等虚拟化组件
适用于安装为除管理节点外的其他节点,例如:
  • 计算节点
  • 单机镜像存储、分布式镜像存储、分布式镜像存储监控节点
  • 分布式存储节点、分布式存储监控节点
专家模式 基础操作系统

规划与准备

硬件设备要求

服务器的 CPU、内存、存储大小以及网卡性能等配置决定了 ZStack ZSphere 的业务承载能力。
  • 基础演示环境:服务器 CPU 核心数至少为 4 核、内存至少为 8 GB。
  • 生产环境:
    • 管理节点配置:小规模场景下,服务器 CPU 核心数至少为 8 核、内存至少为 16 GB、存储至少为 240 GB。

      服务器的实际硬件配置要求需根据用户的业务规模确定,详情请咨询官方技术支持。

    • 计算节点配置:服务器的实际硬件配置要求需根据用户的业务规模确定,详情请咨询官方技术支持。

推荐硬件配置

无论是基础演示环境还是生产环境,服务器的推荐硬件配置如下表所示:
设备 配置需求
服务器 CPU
  • x86 架构:64 位,且支持 Intel VT-x 或 AMD-V 硬件虚拟化特性(如 Intel VMX 或 AMD/Hygon SVM)
  • ARM 架构:64 位,且支持硬件虚拟化特性
内存 无特殊要求。推荐配置 DDR4 或更高规格内存
主板 标准双路服务器主板
阵列卡 需支持 SAS/SATA RAID 0/1/10,且支持直通模式
硬盘 无特殊要求。可根据容量与性能需求,选配机械硬盘或固态硬盘
网口
  • 管理网口:1 × 1 GbE RJ45
  • 业务网口:1 × 10 GbE SFP+
网络交换机
  • 至少提供 1 台千兆交换机,推荐万兆交换机
  • 随附五类及以上等级网线若干

硬件规划

您需要根据生产环境的实际业务需求,妥善规划服务器资源。在资源充足的大型数据中心场景,推荐将两台服务器作为管理节点,用于管控整个虚拟化平台。这两个管理节点可提供管理节点高可用功能,当其中任何一个管理节点失联,系统将自动触发秒级高可用切换,从而保障管理节点持续提供服务。在小型数据中心场景,也可仅选择一台服务器作为管理节点。

其余服务器作为计算节点。在大型数据中心场景,可选择多台计算节点作为镜像存储以扩展镜像存储容量和吞吐率。在小型数据中心场景,镜像存储可以和管理节点共用一台服务器。

网络规划

图 1所示,一个典型的数据中心通常由若干台不同功能的服务器和两个独立的网络环境构成。
图 1. 网络规划拓扑图


  • 管理网络采用双千兆网络,用于管理虚拟化平台相关的硬件资源。业务网络采用双万兆网络,用于虚拟机的业务流量。网络速率可根据实际业务需求进行配置。
  • 若您使用 NFS 或分布式存储等网络存储,还应额外规划存储网络,用于承载存储流量。
  • 建议所有服务器的网卡命名保持一致,并使用相同名称的网卡承载相同的网络流量,例如:管理网流量都使用em1网卡。
  • 若您使用 VLAN 网络环境,需提前在交换机上配置对应的 VLAN 网络通讯。
  • ZStack ZSphere 会主动为虚拟机分配 IP 地址,需提前预留一段和系统不冲突的 IP 网络段,同时避免该网络段与原有网络环境中的 DHCP 服务冲突。

准备软件包

ZStack ZSphere ISO 以自研的 Helix 为底座。Helix 是运行在基础设施层和上层客户操作系统之间的虚拟化内核软件,集成硬件驱动、宏内核、虚拟代理等必要组件。当上层各类客户操作系统对底层硬件资源进行访问时,Helix 可屏蔽底层异构硬件的差异,使客户操作系统免除对最底层物理硬件的驱动依赖,并增强虚拟化运行环境中的硬件兼容性、高可靠性、高可用性、可扩展性、运行性能。

安装 ZStack ZSphere 无需连接公网,也无须配置 yum 源,可完全离线安装。

安装 ZStack ZSphere 使用的软件包如下表所示:
服务器架构 软件包名称
x86 ZStack-ZSphere-x86_64-DVD-5.0.3-H84r.iso
ZStack-ZSphere-x86_64-DVD-5.0.3-KylinV10SP3.iso
ARM ZStack-ZSphere-aarch64-DVD-5.0.3-H22e.iso
ZStack-ZSphere-aarch64-DVD-5.0.3-KylinV10SP3.iso
Note: 获取软件后,请通过 MD5 校验工具核对校验码,以确保软件完整无损。

使用 Rufus 刻录 ISO 镜像文件

获取 ISO 软件包后,可使用 Rufus 软件将 ISO 镜像刻录到 U 盘。

操作步骤

  1. 选择 ISO 镜像。
    1. 接入 U 盘,然后打开 Rufus。
    2. 引导类型选择列表,选择镜像文件(请选择)
    3. 点击选择,打开已获取到的 ISO 镜像文件。
    图 1所示:
    图 1. 选择 ISO 镜像


  2. 刻录镜像。
    1. 选择好 ISO 镜像后,保持其他选项为默认设置不变,然后点击开始
    2. 确认风险提示信息。
      Note: 刻录镜像会格式化 U 盘数据,若您的 U 盘中存有重要数据,请在格式化前做好备份。
    3. 点击确定,Rufus 会把 ISO 镜像刻录到 U 盘。
    图 2所示:
    图 2. 刻录镜像


后续操作

刻录完成后,即可使用U盘作为启动盘,支持Legacy模式和UEFI模式引导。

使用 Fedora Media Writer 刻录 ISO 镜像文件

获取 ISO 软件包后,若使用麒麟操作系统,建议使用 Fedora Media Writer 软件刻录 ISO 镜像。

操作步骤

  1. 选择 ISO 镜像。
    1. 接入 U 盘,然后打开 Fedora Media Writer。
    2. 点击自定义镜像,打开已获取到的 ISO 镜像文件。
    图 1所示:
    图 1. 选择 ISO 镜像


  2. 刻录镜像。
    1. 选择好 ISO 镜像后,保持其他选项为默认设置不变,然后点击写入磁盘
      Note: 刻录镜像会格式化 U 盘数据,若您的 U 盘中存有重要数据,请在格式化前做好备份。
    图 2所示:
    图 2. 刻录镜像


后续操作

刻录完成后,即可使用U盘作为启动盘,支持Legacy模式和UEFI模式引导。

配置服务器

根据实际网络规划,管理员需将前述服务器和网络设备进行上架、连线并加载电源。随后管理员需启动服务器进入 BIOS,检查以下内容:
  • 安装过程将覆盖所有数据,请确认服务器内的硬盘数据已备份。
  • 进入服务器 BIOS,开启 CPU VT 和超线程 HT 选项。
  • 进入阵列卡配置合适的 RAID 级别,以提供一定的数据冗余特性。
  • 设置 U 盘为第一启动顺序。
有关如何更改服务器配置的信息,请参阅硬件供应商文档。

安装 ZStack ZSphere

安装管理节点

Bond 网卡部署

为了满足网口带宽容量和高可靠需要,在实际生产环境中需实施网卡 Bond 配置操作。x86 服务器与 ARM 服务器安装操作系统流程一致,本章以 x86 服务器为例介绍系统安装的详细步骤。

操作步骤

  1. 选择引导项。
    进入 ISO 系统引导界面,选择默认选项开始安装操作系统。您可根据实际情况选择,建议使用图形界面安装。若服务器无 VGA 接口,仅支持串口连接,您可使用 VNC 方式或字符安装方式。
    • 图形界面方式
    • VNC 方式
    • 字符安装方式
    图 1所示:
    图 1. 系统引导


  2. 查看安装配置汇总。
    此页面展示系统安装配置,您可按需修改,ZStack ZSphere 默认已配置以下内容:
    • Keyboard:默认 English (US)
    • Language Support:默认 English (United States)
    • Time & Date:默认亚洲东八区,建议管理员提前检测主机时间,配置为当前时间和时区
    图 2所示:
    图 2. 安装系统界面


  3. 选择安装模式。
    1. INSTALLATION SUMMARY 界面,点击 Software Selection
    2. SOFTWARE SELECTION 界面,选择安装模式。
      管理节点所在服务器选择ZStack ZSphere Management Node模式,其余节点所在服务器选择ZStack ZSphere Compute Node模式。
    3. 选择完安装模式后,点击 Done
    图 3所示:
    图 3. 选择安装模式


  4. 配置硬盘分区。
    1. INSTALLATION SUMMARY 界面,点击 Installation Destination,进入 INSTALLATION DESTINATION 界面。
    2. 对于 Device Selection,建议此处仅配置系统盘,其余磁盘可在系统安装后配置。
    3. 对于 Storage Configuration,建议选择 Automatic 自动配置硬盘分区。
      若您需手动配置,可根据 BIOS 引导模式参考以下内容:
      • UEFI 模式:
        • /boot:存放 Linux 启动所需的核心文件,建议分配 1 GB 空间
        • /boot/efi:存放 UEFI 启动引导文件,建议分配 500 MB
        • swap:交换区,建议分配 32 GB
        • /:Linux 系统根目录,建议分配全部剩余空间
      • Legacy 模式
        • /boot:存放 Linux 启动所需的核心文件,建议分配 1 GB 空间
        • swap:交换区,建议分配 32 GB
        • /:Linux 系统根目录,建议分配全部剩余空间
      Note:
      • 以上数值为 ZStack ZSphere 建议分区容量(磁盘总容量大于 300 GB)。
      • Legacy 模式下,若系统盘容量大于 2 TB,需配置 BIOS boot 分区,以支持 GPT 分区。UEFI 模式没有此限制,且支持 GPT 分区。
    4. 确认配置无误后,点击 Done
    图 4所示:
    图 4. 配置硬盘分区


  5. 添加 Bond 设备。
    1. INSTALLATION SUMMARY 界面,点击 Network & Host Name
    2. NETWORK & HOST NAME 界面,点击页面左下角的 + 按钮,弹出 Add device 弹窗,在下拉菜单中选择 Bond,然后点击 Add
    图 5所示:
    图 5. 添加 Bond 设备


  6. 添加 Bond Slave。
    1. 在 Bond 配置弹窗中,按需调整 Connection name 命名。
      Note: 请确保 Connection name 和 Interface name 保持一致。
      图 6所示:
      图 6. 调整 Connection name


    2. 在 Bond 配置弹窗中,点击 Add,添加 Bond Slave。
      图 7所示:
      图 7. 添加 Bond Slave


    3. 弹出 Choose a Connection Type 弹窗,在下拉菜单中选择连接类型,如 Ethernet,然后点击 Create...
      图 8所示:
      图 8. 选择 Bond Slave 连接类型


    4. 弹出 Editing bond0 slave1 弹窗,在弹窗的 Ethernet 子页面,点击 Device 下拉菜单按钮,选择需要绑定的 Slave 设备,如 ens3 (相应MAC地址),其它选择默认或按需自定义设置,然后点击 Save
      图 9所示:
      图 9. 选择 Bond Slave 设备


  7. 选择 Bond 模式。
    在 Bond 配置弹窗的 Mode 下拉菜单中,按需选择 Bond 模式,如 Active backup(主备模式),其它选择默认或按需自定义设置,然后点击 Save
    图 10所示:
    图 10. 选择 Bond 模式


  8. 原网卡禁用 IPv4。
    1. 选择原网卡,如 Ethernet (ens3),点击 Configure
      图 11所示:
      图 11. 配置原网卡


    2. 弹出 Editing ens3 弹窗,点击 IPv4 Settings,进入 IPv4 Settings 子页面。将 Method 参数值改为 Disabled,然后点击 Save
      图 12所示:
      图 12. 禁用 IPv4


  9. 配置 Bond 静态 IP 地址。
    1. NETWORK & HOST NAME 界面,选择 Bond 设备,如 Bond (bond0),然后点击 Configure
    2. 弹出 Editing bond0 弹窗,点击 IPv4 Settings,进入 IPv4 Settings 子页面。将 Method 参数值改为 Manual,用于切换 IP 地址获取方式为手动指定。
      Note: 您可按需配置 IP 地址获取方式,包括使用 DHCP 自动获取、手动指定等。
    3. 点击 Add 添加 IP 地址条目,根据按需配置 IP 地址、子网掩码、网关地址,完成后点击 Save保存配置。
    图 13所示:
    图 13. 配置 Bond 静态 IP 地址


  10. 配置网卡自动激活。
    Editing bond0 弹窗,点击 General,进入 General 子页面。勾选 Connect automatically with priority,用于设置网卡自动激活,然后点击 Save
    图 14所示:
    图 14. 配置网卡自动激活


  11. 完成 Bond 配置。
    1. 检查 Bond 配置项,必须保证 On 开启且配置了 IP 地址,同时 Bond Slave (如 ens3) 也 On 开启,否则 ZStack ZSphere 无法正常安装。
    2. 确认配置无误后,点击 Done,返回 INSTALLATION SUMMARY 界面。
    图 15所示:
    图 15. 检查 Bond 配置


  12. INSTALLATION SUMMARY 界面,点击 Root Password,设置操作系统 root 密码。
  13. INSTALLATION SUMMARY 界面,点击 Begin Installation,开始安装操作系统。

单网卡部署

x86 服务器与 ARM 服务器安装操作系统流程一致,本章以 x86 服务器为例介绍系统安装的详细步骤。

操作步骤

  1. 选择引导项。
    进入 ISO 系统引导界面,选择默认选项开始安装操作系统。您可根据实际情况选择,建议使用图形界面安装。若服务器无 VGA 接口,仅支持串口连接,您可使用 VNC 方式或字符安装方式。
    • 图形界面方式
    • VNC 方式
    • 字符安装方式
    图 1所示:
    图 1. 系统引导


  2. 查看安装配置汇总。
    此页面展示系统安装配置,您可按需修改,ZStack ZSphere 默认已配置以下内容:
    • Keyboard:默认 English (US)
    • Language Support:默认 English (United States)
    • Time & Date:默认亚洲东八区,建议管理员提前检测主机时间,配置为当前时间和时区
    图 2所示:
    图 2. 安装系统界面


  3. 选择安装模式。
    1. INSTALLATION SUMMARY 界面,点击 Software Selection
    2. SOFTWARE SELECTION 界面,选择安装模式。
      管理节点所在服务器选择ZStack ZSphere Management Node模式,其余节点所在服务器选择ZStack ZSphere Compute Node模式。
    3. 选择完安装模式后,点击 Done
    图 3所示:
    图 3. 选择安装模式


  4. 配置硬盘分区。
    1. INSTALLATION SUMMARY 界面,点击 Installation Destination,进入 INSTALLATION DESTINATION 界面。
    2. 对于 Device Selection,建议此处仅配置系统盘,其余磁盘可在系统安装后配置。
    3. 对于 Storage Configuration,建议选择 Automatic 自动配置硬盘分区。
      若您需手动配置,可根据 BIOS 引导模式参考以下内容:
      • UEFI 模式:
        • /boot:存放 Linux 启动所需的核心文件,建议分配 1 GB 空间
        • /boot/efi:存放 UEFI 启动引导文件,建议分配 500 MB
        • swap:交换区,建议分配 32 GB
        • /:Linux 系统根目录,建议分配全部剩余空间
      • Legacy 模式
        • /boot:存放 Linux 启动所需的核心文件,建议分配 1 GB 空间
        • swap:交换区,建议分配 32 GB
        • /:Linux 系统根目录,建议分配全部剩余空间
      Note:
      • 以上数值为 ZStack ZSphere 建议分区容量(磁盘总容量大于 300 GB)。
      • Legacy 模式下,若系统盘容量大于 2 TB,需配置 BIOS boot 分区,以支持 GPT 分区。UEFI 模式没有此限制,且支持 GPT 分区。
    4. 确认配置无误后,点击 Done
    图 4所示:
    图 4. 配置硬盘分区


  5. 开始配置网卡。
    1. INSTALLATION SUMMARY 界面,点击 Network & Host Name,进入 NETWORK & HOST NAME 界面。
    2. 在左侧网卡列表,选择网卡,例如 Ethernet (ens3)
    3. 点击 Configure
    图 5所示:
    图 5. 配置网卡


  6. 配置网卡静态 IP 地址。
    1. Editing ens3 弹窗中,点击 IPv4 Settings
    2. 对于 Method,按需选择 IP 地址获取方式,例如选择 Manual 手动指定 IP 地址。
    3. 点击 Add 添加 IP 地址条目,按需配置 IP 地址、子网掩码、网关地址。
    图 6所示:
    图 6. 配置静态 IP 地址


  7. 配置网卡自动激活。
    1. Editing ens3 弹窗中,点击 General,然后勾选 Connect automatically with priority,用于设置网卡自动激活。
    2. 确认配置无误后,点击 Save
    图 7所示:
    图 7. 配置网卡自动激活


  8. 完成网卡配置。
    1. 返回 NETWORK & HOST NAME 界面,确认网卡选择正确,并且网卡状态为 ON
    2. 点击 Done,返回 INSTALLATION SUMMARY 界面。
    图 8所示:
    图 8. 检查网卡配置


  9. INSTALLATION SUMMARY 界面,点击 Root Password,设置操作系统 root 密码。
  10. INSTALLATION SUMMARY 界面,点击 Begin Installation,开始安装操作系统。

使用 TUI 安装

本章介绍通过 ISO 部署计算节点模式,并在 TUI 中将管理网络配置为 bond,最终在该计算节点上安装管理节点的完整流程。

操作步骤

  1. 选择引导项。
    进入 ISO 系统引导界面,选择默认选项开始安装操作系统。您可根据实际情况选择,建议使用图形界面安装。若服务器无 VGA 接口,仅支持串口连接,您可使用 VNC 方式或字符安装方式。
    • 图形界面方式
    • VNC 方式
    • 字符安装方式
    图 1所示:
    图 1. 系统引导


  2. 进入 INSTALLATION SUMMARY 安装向导。
    自动加载安装引导界面后,最终进入 INSTALLATION SUMMARY 页面。此页面需重点关注三个配置项:Installation DestinationSoftware SelectionRoot Password
    图 2. INSTALLATION SUMMARY 总览


  3. 配置 Installation Destination。
    1. 点击 Installation Destination
    2. Local Standard Disks 中选择一块磁盘作为系统盘。
    3. Storage Configuration 保持默认 Automatic
    4. 点击左上角 Done 返回。
    图 3. 选择系统盘


  4. 配置 Software Selection。
    1. 点击 Software Selection
    2. Base Environment 中选择 ZStack ZSphere Compute Node 计算节点模式。
    3. 点击左上角 Done 返回。
    图 4. 选择计算节点模式


  5. 配置 Root Password。
    1. 点击 Root Password
    2. 输入并确认 root 密码。

      密码强度需符合提示要求。

    3. 点击 Done 返回。
  6. 启动安装并等待完成。

    确认所有红框标识项均已配置完成(不再有黄色警告条),点击右下角 Begin Installation 开始安装。

    图 5. 开始安装


    安装过程将自动完成,期间无需手动干预。安装完成后系统会重启并进入 TUI 界面。

  7. 进入 TUI 主界面并完成 root 身份认证。
    TUI 界面分为四个信息区域:
    • NODE INFO:节点运行时间、负载、CPU、内存使用率。
    • DISK INFO:磁盘挂载点和容量。
    • NIC INFO:网卡名称及 IP,首次启动会显示默认网卡。如 ens3。
    • VM INFO:当前节点上的虚拟机列表。
    界面底部提示快捷键:
    • <F2> System Configuration:进入系统配置。
    • <F12> Reboot/Poweroff:重启或关机。
    图 6. TUI界面


    1. F2 进入系统配置,弹出 ROOT PASSWORD 验证框。
    2. 输入 root 密码并按 Enter 确认。
    图 7. 输入 root 密码进行身份验证


  8. 进入 Configure Networks 配置项。
    通过身份验证后进入 System Configuration 菜单。
    1. 使用方向键选择 Configure Networks 后按 Enter
    2. 在弹出的 CONFIGURE NETWORKS 对话框中,选择需要配置的物理网卡(如 ens3)。
    3. 将键盘切换至大写状态。
    4. 按字母 A 键,触发 Link <A>ggregation 链路聚合操作。
      Note: 必须确保键盘已切换至大写状态,否则按 A 不会触发 Bond 创建流程。
    图 8. 选择网卡并触发 Link Aggregation


  9. 选择 Bond 模式。
    1. 弹出 CONFIGURE BOND 对话框,选择 Bond 模式。
    2. 本章示例选择 Active-Backup,按 Enter 确认。
    图 9. 选择 Active-Backup Bond 模式


  10. 命名 Bond 并选择 Slave 网卡。
    进入 CONFIGURE BOND SLAVE 对话框,完成以下设置。
    1. BOND NAME 中输入 Bond 名称,如 bond0。
    2. Select SLAVES 中,使用方向键移动到目标网卡,按空格键选中。

      选中后显示 [X] 标记。

    3. 全部选择完成后按 Enter 确认。
    图 10. 输入 Bond 名称并选中 Slave 网卡


  11. 确认 Bond 配置。
    系统弹出 CONFIGURE BOND NETWORK CONFIRM 警告框,提示以下信息:
    Be careful! Changing the network configuration may cause failure!
    If you know what you are doing, then enter 'Y' to continue!
    1. 将键盘切换至大写状态。
    2. 按字母 Y 键确认配置。
      图 11. 确认 Bond 网络配置


    3. 成功后弹出 SUCCESS 提示框,提示 Network configuration is changed successfully!,按 Enter 关闭。
      图 12. Bond 创建成功


  12. 选择 Bond 进入 IP 配置。
    回到 Configure Networks 对话框。
    1. 在网卡列表中选择上一步创建的 Bond (如 bond0)。
    2. Enter 进入 IP 配置。
    图 13. 选择 bond0 进行 IP 配置


  13. 配置管理网 IP 地址。
    1. CONFIGURE NETWORK 对话框中,参考示例依次填写以下字段:
      • VLAN ID:输入管理网 VLAN ID,无 VLAN 留空。
      • IP ADDR:输入管理网 IP 地址,例如 172.26.215.195
      • NETMASK:输入子网掩码,例如 255.255.0.0
      • GATEWAY(DEF):输入默认网关,例如 172.26.0.1
    2. Enter 确认。
    图 14. IP 配置示例


  14. 确认 IP 配置。
    1. Enter 提交,弹出 CONFIGURE NETWORK CONFIRM 二次确认。
    2. 键盘切换至大写状态。
    3. 按字母 Y 键确认。
      图 15. IP 配置二次确认


    4. 弹出 SUCCESS 提示框,按 Enter 关闭。
      图 16. IP 配置成功


  15. 进入 Install ZStack 选项。
    1. Esc 键,回到 System Configuration 菜单,
    2. 使用方向键选择 Install ZStack
    3. Enter
    图 17. 进入 Install ZStack 选项


  16. 确认安装管理节点。
    系统弹出 INSTALL ZStack 警告框,提示以下信息:
    This process will install a brand new ZStack, please confirm
    1. 完整输入字符串 install zstack
    2. Enter 确认。
    图 18. 确认安装管理节点


  17. 等待管理节点安装完成。

    进入安装等待状态,界面提示 Please wait...,请耐心等待安装完成。

    图 19. 管理节点安装进行中


  18. 安装完成后,查看 TUI 主界面。
    管理节点安装完成后,TUI 主界面中的信息将出现如下变化:
    • DISK INFO:新增 /var/lib/zstack/usr/local/zstack 等挂载点。
    • NIC INFO:显示新增的 docker0 (管理服务相关),以及配置好的 bond0 与对应 IP (如 172.26.215.195)。
    图 20. 安装完成后的 TUI 主界面


  19. 通过命令行验证管理节点状态。
    1. 按组合键 Ctrl + Alt + F2 切换到命令行登录界面。
    2. 使用 root 账号登录。
    3. 执行如下命令查询管理节点状态:
      [root@localhost ~]# zstack-ctl status
      管理节点处于运行状态时,正常输出示例:
      MN status: Running
      UI status: Running
    图 21. 命令行验证管理节点状态


设置管理节点 HA

使用图形化界面设置

前提条件

  • 选取的两台服务器均需要安装管理节点服务。有关如何安装管理节点服务,请参阅 安装管理节点
  • 确保两个管理节点的网关地址在同一网络段内,并且两个管理节点的网卡名称配置保持一致。
  • 确保两个管理节点的版本保持一致。
  • 确保两个管理节点的操作系统类型和架构受支持,且两个管理节点系统类型保持一致。
  • 确保两个管理节点使用相同类型的许可证。

操作步骤

  1. 登录任意一个管理节点的 UI 管理界面。
    如果是还未初始化的全新环境:
    1. 欢迎使用初始化向导弹窗中,点击下一步,系统将自动检测管理节点 HA 状态。
    2. 设置管理节点HA弹窗中,点击前往MN Ops
    3. 点击后,将在浏览器新标签页中打开 MN Ops 页面。
    图 1所示:
    图 1. 从初始化页面前往 MN Ops


    如果是现有环境:
    1. 在导航栏中,点击可靠服务 > 管理节点监控
    2. 管理节点监控页面,点击前往MN Ops
    3. 点击后,将在浏览器新标签页中打开 MN Ops 页面。
    图 2所示:
    图 2. 从管理节点监控页面前往 MN Ops


  2. 在 MN Ops 的管理节点监控页面,点击设置管理节点HA
    图 3所示:
    图 3. 管理节点监控页面


  3. 设置管理节点 HA弹窗中,完成管理节点配置、配置信息确认、设置管理节点 HA。
    1. 对于配置管理节点,参考以下示例完成配置:
      • VIP:设置 VIP 用于后续访问管理节点环境的管理界面
        Note: 需确保 VIP 与主管理节点 IP 在相同网络段内。
      • 主管理节点IP:显示主管理节点的 IP 地址。指定主管理节点 SSH 用户名和密码
      • 备管理节点IP:指定备管理节点的 IP 地址、SSH 用户名和密码
        Note:
        • 需确保备管理节点 IP 与主管理节点 IP 在相同网络段内。
        • 设置管理节点 HA 时,密码仅支持英文字母、数字和以下特殊字符:-=[];,./~!@#$%^&*()_+|{}:<>?`。若您的管理节点密码不符合此规则,请修改后再设置管理节点 HA。
      • 时间同步服务器:默认使用主管理节点地址作为时间同步服务器
      • 强制同步:默认关闭。当主备管理节点的数据库无法完成自动同步时,对主管理节点强制执行 zsha2 安装命令
      • 数据库密码:留空不填时,默认使用初始数据库密码。若已修改过数据库密码,需填写修改后的数据库密码
      图 4所示:
      图 4. 配置管理节点


    2. 点击下一步
      系统将自动检测是否满足添加条件。
    3. 确认配置信息步骤中,检查主备管理节点的资源信息。
      Note:
      1. 确定添加后,系统将先自动备份主管理节点的数据库,再执行添加操作。
      2. 添加时,主备管理节点将停止运行,同时备管理节点的数据库将被主管理节点的数据库覆盖,请谨慎操作。
      3. 若在对比主备管理节点资源信息时,发现备管理节点存在较多资源,如需保留其资源,建议勾选切换主备管理节点。勾选后,将调换主备管理节点角色,将资源较多的备管理节点作为主管理节点来设置管理节点 HA。
      图 5所示:
      图 5. 确认配置信息


    4. 输入确认信息后,点击确定
    5. 设置管理节点 HA步骤中,查看添加进度及任务结果。
      图 6所示:
      图 6. 设置管理节点 HA


  4. 添加成功后,点击前往VIP,通过 VIP 访问平台管理界面。
    图 7所示:
    图 7. 前往VIP


使用命令行设置

第一步 安装操作系统

本场景中,管理员需分别在选取的两台服务器上安装管理节点模式。

操作步骤

  1. 选择引导项。
    进入 ISO 系统引导界面,选择默认选项开始安装操作系统。您可根据实际情况选择,建议使用图形界面安装。若服务器无 VGA 接口,仅支持串口连接,您可使用 VNC 方式或字符安装方式。
    • 图形界面方式
    • VNC 方式
    • 字符安装方式
    图 1所示:
    图 1. 系统引导


  2. 选择安装模式。
    1. INSTALLATION SUMMARY 界面,点击 Software Selection
    2. SOFTWARE SELECTION 界面,选择安装模式。
      管理节点所在服务器选择ZStack ZSphere Management Node模式,其余节点所在服务器选择ZStack ZSphere Compute Node模式。
    3. 选择完安装模式后,点击 Done
    图 2所示:
    图 2. 选择安装模式


  3. 配置硬盘分区。
    1. INSTALLATION SUMMARY 界面,点击 Installation Destination,进入 INSTALLATION DESTINATION 界面。
    2. 对于 Device Selection,建议此处仅配置系统盘,其余磁盘可在系统安装后配置。
    3. 对于 Storage Configuration,建议选择 Automatic 自动配置硬盘分区。
      若您需手动配置,可根据 BIOS 引导模式参考以下内容:
      • UEFI 模式:
        • /boot:存放 Linux 启动所需的核心文件,建议分配 1 GB 空间
        • /boot/efi:存放 UEFI 启动引导文件,建议分配 500 MB
        • swap:交换区,建议分配 32 GB
        • /:Linux 系统根目录,建议分配全部剩余空间
      • Legacy 模式
        • /boot:存放 Linux 启动所需的核心文件,建议分配 1 GB 空间
        • swap:交换区,建议分配 32 GB
        • /:Linux 系统根目录,建议分配全部剩余空间
      Note:
      • 以上数值为 ZStack ZSphere 建议分区容量(磁盘总容量大于 300 GB)。
      • Legacy 模式下,若系统盘容量大于 2 TB,需配置 BIOS boot 分区,以支持 GPT 分区。UEFI 模式没有此限制,且支持 GPT 分区。
    4. 确认配置无误后,点击 Done
    图 3所示:
    图 3. 配置硬盘分区


  4. INSTALLATION SUMMARY 界面,点击 Root Password,设置操作系统 root 密码。
  5. INSTALLATION SUMMARY 界面,点击 Begin Installation,开始安装操作系统。

第二步 配置管理网络

背景信息

本场景对管理节点的网络信息以及用于 Keepalived 通信的 VIP 设定如下:
服务器 网卡 1 网卡 2 聚合接口 网桥 IP 地址 掩码 网关
管理节点 1 eth0 eth1 bond0 br_bond0 192.168.195.200 255.255.0.0 192.168.0.1
管理节点 2 eth0 eth1 bond0 br_bond0 192.168.196.125 255.255.0.0 192.168.0.1
- IP 地址 掩码
VIP 192.168.199.151 255.255.0.0
Note:
  • VIP 用于登录管理节点 UI 界面,请避免使用 VIP 通过 SSH 方式登录管理节点。
  • 以上为示例数据,管理员可根据实际部署环境自行更改。
  • 网关需由物理网络设备提供,同时作为网络状态仲裁检测

操作步骤

  1. 登录管理节点 1 操作系统,然后执行以下命令。
    # 创建聚合网卡bond0
    [root@localhost ~]# zs-bond-lacp -c bond0
    
    # 将网卡eth0与eth1均添加到bond0
    [root@localhost ~]# zs-nic-to-bond -a bond0 eth0 
    [root@localhost ~]# zs-nic-to-bond -a bond0 eth1
    
    # 配置上述链路聚合后,请管理员在对应的交换机网口配置LACP聚合
    
    # 创建网桥br_bond0,指定网络IP、掩码和网关
    [root@localhost ~]# zs-network-setting -b bond0 192.168.195.200 255.255.0.0 192.168.0.1
    
    # 查看聚合端口bond0是否创建成功
    [root@localhost ~]# zs-show-network
    ...
    ----------------------------------------------------------------------------------
    | Bond Name  | SLAVE(s)        | BONDING_OPTS                                     |
    ----------------------------------------------------------------------------------
    | bond0      | eth0            | miimon=100 mode=4 xmit_hash_policy=layer2+3        |
    |            | eth1            |                                                    |
    ---------------------------------------------------------------------------------
  2. 登录管理节点 2 操作系统,然后执行类似的配置命令。
    Note:
    • eth0 和 eth1 加载到 bond0 后,对应交换机的端口需要配置 LACP 聚合,否则网络通信将异常。
    • 通过 bond0 创建网桥后,网桥命名为 br_bond0,将提供管理网络服务。
    • 关于网桥的IP地址、子网掩码和网关参数,用户需按照实际情况填写。
    • 管理网络配置完成后,可通过ping命令进行检测;若配置正确,则两管理节点的管理网络对应的 IP 地址可互ping
    • 管理网络建议采用万兆以上带宽,若独立部署,允许千兆带宽。

第三步 配置业务网络

背景信息

本场景对业务网络的设定如下:
节点 网卡 1 网卡 2 聚合接口 网桥 IP 地址 掩码 网关
管理节点 1 em1 em2 bond1 - - - -
管理节点 2 em1 em2 bond1 - - - -

操作步骤

  1. 登录管理节点 1 操作系统,然后执行以下命令。
    # 创建聚合网卡bond1
    [root@localhost ~]# zs-bond-lacp -c bond1
    
    # 将网卡em1与em2均添加到bond1
    [root@localhost ~]# zs-nic-to-bond -a bond1 em1
    [root@localhost ~]# zs-nic-to-bond -a bond1 em2
    
    # 配置上述链路聚合后,请管理员在对应的交换机网口配置LACP聚合
    
    # 业务网络,无需创建网桥
    
    # 查看聚合端口bond1是否创建成功
    [root@localhost ~]# zs-show-network
    ...
    ----------------------------------------------------------------------------------
    | Bond Name  | SLAVE(s)        | BONDING_OPTS                                     |
    ----------------------------------------------------------------------------------
    | bond1      | em1            | miimon=100 mode=4 xmit_hash_policy=layer2+3        |
    |            | em2            |                                                    |
    ---------------------------------------------------------------------------------
  2. 登录管理节点 2 操作系统,然后执行类似的配置命令。
    Note: em1 和 em2 加载到 bond1 后,对应交换机的端口需要配置 LACP 聚合,否则网络通信将异常。

第四步 安装高可用套件

本章节主要介绍安装高可用套件的两种方式:
Note: 使用相同配置安装高可用套件,直接指定命令行方式优先级高于配置文件方式。

通过命令行安装

本场景中,管理员已经将两台服务器安装为 ZStack ZSphere 管理节点。现在,管理员只需对其中一个管理节点安装高可用套件,即可设置管理节点高可用。若管理员对管理节点 1 安装高可用套件,则管理节点 1 为主管理节点,管理节点 2 为备管理节点。

操作步骤

  1. 导入高可用套件。
    登录管理节点 1 操作系统,将高可用套件导入管理节点 1 并解压。
    # 通过scp工具将高可用套件传输到管理节点1
    [root@localhost ~]# ls
    ZStack-ZSphere-Multinode-HA-Suite.tar.gz
    
    # 将高可用套件解压,生成两个可执行文件:zsha2和zstack-hamon
    [root@localhost ~]# tar zxvf ZStack-ZSphere-Multinode-HA-Suite.tar.gz
    zsha2 //管理节点高可用的安装和管理程序
    zstack-hamon //管理节点高可用的监控程序
  2. HA 初始化。
    执行以下命令,在管理节点 1 中安装高可用套件:
    [root@localhost ~]# chmod +x zsha2 zstack-hamon
    [root@localhost ~]# ./zsha2 install-ha -nic br_bond0 -gateway 192.168.0.1 -slave "root:password@192.168.196.125" \
    -vip 192.168.199.151 -myip 192.168.195.200 -db-root-pw zstack.mysql.password -time-server 192.168.196.125 -cidr 192.168.0.0/16 -yes
    Note:
    • 安装命令执行后,会先自动备份主备管理节点的数据库,再执行安装操作。
    • 安装高可用套件,需将 zsha2zstack-hamon 放在一个目录,安装过程中,zsha2 会自动部署 zstack-hamon 以及相关配置文件。
  3. 查看管理节点状态。
    高可用套件初始化完成后,执行以下命令,查看管理节点状态:
    # 查看管理节点1的状态
    [root@localhost ~]# zsha2 status
    Status report from 192.168.195.200
    =================================
    Owns virtual address:            yes //管理节点1已获取VIP,同一时刻只允许一个管理节点获取VIP
    Self 192.168.195.200 reachable:   yes //管理节点1可达
    Gateway 192.168.0.1 reachable:    yes //当前网关可达
    VIP 192.168.199.151 reachable:    yes //VIP可达
    Peer 192.168.196.125 reachable:   yes //管理节点2可达
    Keepalived status:               active //Keepalived服务处于工作状态
    ZStack HA Monitor:               active //高可用监控服务处于工作状态
    MySQL status:                    mysqld is alive //数据库正常工作
    MN status: Running [PID:6500] //管理节点正常工作
    UI status: Running [PID:9785] https://192.168.195.200:443 //UI正常工作
    
    Slave Status:
    -------------
                 Slave_IO_Running: Yes //Slave IO正常运行
                Slave_SQL_Running: Yes //Slave SQL正常运行
                       Last_Error:
            Seconds_Behind_Master: 0
                    Last_IO_Error:
                   Last_SQL_Error:
    
    Warning: Permanently added '192.168.196.125' (ECDSA) to the list of known hosts.
    Status report from 192.168.196.125 //查看管理节点2的状态
    ================================
    Owns virtual address:            no
    Self 192.168.196.125 reachable:    yes
    Gateway 192.168.0.1 reachable:    yes
    VIP 192.168.199.151 reachable:     yes
    Peer 192.168.195.200 reachable:   yes
    Keepalived status:               active
    ZStack HA Monitor:               active
    MySQL status:                    mysqld is alive
    
    Slave Status:
    -------------
                 Slave_IO_Running: Yes
                Slave_SQL_Running: Yes
                       Last_Error:
            Seconds_Behind_Master: 0
                    Last_IO_Error:
                   Last_SQL_Error:
    
    Note: visit ZStack UI with https://192.168.199.151:443
    Note: 安装高可用套件过程中,已自动为两个管理节点做 SSH 免密登录。

通过配置文件安装

本场景中,管理员已经将两台服务器安装为 ZStack ZSphere 管理节点。现在,管理员只需对其中一个管理节点安装高可用套件,即可设置管理节点高可用。若管理员对管理节点 1 安装高可用套件,则管理节点 1 为主管理节点,管理节点 2 为备管理节点。

操作步骤

  1. 导入高可用套件。
    登录管理节点 1 操作系统,将高可用套件导入管理节点 1 并解压。
    # 通过scp工具将高可用套件传输到管理节点1
    [root@localhost ~]# ls
    ZStack-ZSphere-Multinode-HA-Suite.tar.gz
    
    # 将高可用套件解压,生成两个可执行文件:zsha2和zstack-hamon
    [root@localhost ~]# tar zxvf ZStack-ZSphere-Multinode-HA-Suite.tar.gz
    zsha2 //管理节点高可用的安装和管理程序
    zstack-hamon //管理节点高可用的监控程序
  2. 编写配置文件。
    执行以下命令,编写高可用套件的初始化配置文件:
    [root@localhost ~]# chmod +x zsha2 zstack-hamon
    [root@localhost ~]# ./zsha2 sample-config > zs-install.config
    [root@localhost ~]# cat zs-install.config
    {
      "gateway": "192.168.0.1", //主备管理节点的仲裁网关
      "virtualIp": "192.168.199.151", //指定Keepalived通信的VIP
      "myIp": "192.168.195.200", //指定本机IP
      "peerIp": "192.168.196.125", //指定Peer管理节点IP
      "peerSshUser": "root", //指定Peer管理节点SSH用户名
      "peerSshPass": "password", //指定Peer管理节点SSH密码
      "peerSshPort": 22, //指定Peer管理节点SSH端口
      "dbRootPass": "zstack.mysql.password", //指定主备管理节点的数据库root密码(必须相同)
      "interface": "br_bond0", //物理设备名,用于配置VIP,生产环境一般是一个管理网络的网桥
      "timeServer": "192.168.196.125" //指定时间同步服务器,用于统一时间同步
    }
  3. HA 初始化。
    执行以下命令,初始化安装高可用套件:
    [root@localhost ~]# ./zsha2 install-ha -config zs-install.config
    Note:
    • 安装命令执行后,会先自动备份主备管理节点的数据库,再执行安装操作。
    • 安装高可用套件,需将 zsha2zstack-hamon 放在一个目录,安装过程中,zsha2 会自动部署 zstack-hamon 以及相关配置文件。
  4. 查看管理节点状态。
    高可用套件初始化完成后,执行以下命令,查看管理节点状态:
    # 查看管理节点1的状态
    [root@localhost ~]# zsha2 status
    Status report from 192.168.195.200
    =================================
    Owns virtual address:            yes //管理节点1已获取VIP,同一时刻只允许一个管理节点获取VIP
    Self 192.168.195.200 reachable:   yes //管理节点1可达
    Gateway 192.168.0.1 reachable:    yes //当前网关可达
    VIP 192.168.199.151 reachable:    yes //VIP可达
    Peer 192.168.196.125 reachable:   yes //管理节点2可达
    Keepalived status:               active //Keepalived服务处于工作状态
    ZStack HA Monitor:               active //高可用监控服务处于工作状态
    MySQL status:                    mysqld is alive //数据库正常工作
    MN status: Running [PID:6500] //管理节点正常工作
    UI status: Running [PID:9785] https://192.168.195.200:443 //UI正常工作
    
    Slave Status:
    -------------
                 Slave_IO_Running: Yes //Slave IO正常运行
                Slave_SQL_Running: Yes //Slave SQL正常运行
                       Last_Error:
            Seconds_Behind_Master: 0
                    Last_IO_Error:
                   Last_SQL_Error:
    
    Warning: Permanently added '192.168.196.125' (ECDSA) to the list of known hosts.
    Status report from 192.168.196.125 //查看管理节点2的状态
    ================================
    Owns virtual address:            no
    Self 192.168.196.125 reachable:    yes
    Gateway 192.168.0.1 reachable:    yes
    VIP 192.168.199.151 reachable:     yes
    Peer 192.168.195.200 reachable:   yes
    Keepalived status:               active
    ZStack HA Monitor:               active
    MySQL status:                    mysqld is alive
    
    Slave Status:
    -------------
                 Slave_IO_Running: Yes
                Slave_SQL_Running: Yes
                       Last_Error:
            Seconds_Behind_Master: 0
                    Last_IO_Error:
                   Last_SQL_Error:
    
    Note: visit ZStack UI with https://192.168.199.151:443
    Note: 安装高可用套件过程中,已自动为两个管理节点做 SSH 免密登录。

管理 ZStack ZSphere 服务

查看管理节点服务状态

您可以使用 zstack-ctl status 命令,查看 ZStack ZSphere 管理节点相关服务的运行状态:
[root@localhost ~]# zstack-ctl status
ZSTACK_HOME: /usr/local/zstack/apache-tomcat/webapps/zstack
zstack.properties: /usr/local/zstack/apache-tomcat/webapps/zstack/WEB-INF/classes/zstack.properties
log4j2.xml: /usr/local/zstack/apache-tomcat/webapps/zstack/WEB-INF/classes/log4j2.xml
PID file: /usr/local/zstack/management-server.pid
log file: /usr/local/zstack/apache-tomcat/logs/management-server.log
version: 5.0.3 (ZStack-enterprise 5.0.3)
MN status: Running [PID:123135]
UI status: Running [PID:795] https://10.0.0.254:443
您也可以使用 zstack-ctl ui_status 命令单独查看 Web UI 服务状态:
[root@localhost ~]# zstack-ctl ui_status
UI status: Running [PID:8459] https://10.0.0.254:443

改变管理节点服务状态

在使用过程中如需重启管理节点服务,不重启 Web UI 服务,可执行:
zstack-ctl restart_node
在使用过程中不建议全部停止及重启所有服务。如果确需重启所有服务,可执行以下命令进行重启:
zstack-ctl stop && zstack-ctl start
管理节点因维护或其他异常原因停止服务后,需手动启动服务。启动 ZStack ZSphere 服务方法如下:
# 此命令将同时启动管理节点和 Web UI 服务
[root@localhost ~]#zstack-ctl start

查看管理节点 HA 服务状态

您可以执行 zsha2 status 命令查看 zsha2 服务是否正常运行。

输出管理节点 HA 日志

您可以执行以下命令收集 zsha2 服务相关日志:
[root@localhost ~]# zsha2 collect-log
Collecting logs ...
Collected log: zsha2-log-2018-09-17T154358+0800.tgz

# 将日志压缩包解压
[root@localhost ~]# tar zxvf zsha2-log-2021-01-17T154358+0800.tgz
tmp/zsha2-log588815976/
tmp/zsha2-log588815976/zsha2-status.log
tmp/zsha2-log588815976/zstack-ha.log
tmp/zsha2-log588815976/keepalived.data
tmp/zsha2-log588815976/zs-vip-192.168.199.151.log
tmp/zsha2-log588815976/keepalived_status.log