• • ZStack Cloud ISO：
    • 软件名称（h84r）：ZStack-Cloud-x86_64-DVD-5.4.12-h84r.iso
    • 下载地址：点击这里
  • ZStack Cloud安装包：
    • 软件名称：ZStack-Cloud-installer-5.4.12.bin
    • 下载地址：点击这里
• 多管理节点高可用套件
  • 软件名称：ZStack-Multinode-HA-Suite-5.4.12.tar.gz
  • 下载地址：点击这里

• 以上均为示例数据，管理员可根据实际部署环境自行更改；
• 网关需由物理网络设备提供，同时作为网络状态仲裁检测。

# 创建聚合网卡bond0
[root@localhost ~]# zs-bond-lacp -c bond0

# 将网卡eth0与eth1均添加到bond0
[root@localhost ~]# zs-nic-to-bond -a bond0 eth0
[root@localhost ~]# zs-nic-to-bond -a bond0 eth1

# 配置上述链路聚合后,请管理员在对应的交换机网口配置LACP聚合

# 创建网桥br_bond0,指定网络IP、掩码和网关
[root@localhost ~]# zs-network-setting -b bond0 192.168.195.200 255.255.0.0 192.168.0.1

# 查看聚合端口bond0是否创建成功
[root@localhost ~]# zs-show-network
...
----------------------------------------------------------------------------------
| Bond Name  | SLAVE(s)        | BONDING_OPTS                                     |
----------------------------------------------------------------------------------
| bond0      | eth0            | miimon=100 mode=4 xmit_hash_policy=layer2+3        |
|            | eth1            |                                                    |
---------------------------------------------------------------------------------

# 创建聚合网卡bond1
[root@localhost ~]# zs-bond-lacp -c bond1

# 将网卡em1与em2均添加到bond1
[root@localhost ~]# zs-nic-to-bond -a bond1 em1
[root@localhost ~]# zs-nic-to-bond -a bond1 em2

# 配置上述链路聚合后,请管理员在对应的交换机网口配置LACP聚合

# 云主机数据网络,无需创建网桥

# 查看聚合端口bond1是否创建成功
[root@localhost ~]# zs-show-network
...
----------------------------------------------------------------------------------
| Bond Name  | SLAVE(s)        | BONDING_OPTS                                     |
----------------------------------------------------------------------------------
| bond1      | em1            | miimon=100 mode=4 xmit_hash_policy=layer2+3        |
|            | em2            |                                                    |
---------------------------------------------------------------------------------

• 通过直接指定命令行方式安装高可用套件。
• 通过编写配置文件方式安装高可用套件。

1. 完成升级前的准备工作
2. 高可用套件升级
3. 管理节点升级

1. 请提前在管理节点界面关闭云主机全局高可用功能，避免意外触发云主机高可用影响升级。可在主菜单点击设置 > 全局设置 > 高可用策略，进入高可用策略界面，点击右上角的停用按钮，待升级完成后再手动开启。
2. 在双管理节点分别备份数据库，执行以下命令即可进行数据库备份：

   [root@localhost ~]#zstack-ctl dump_mysql --file-name zstack-db-backup

3. 确认双管理节点均已下载zstack-upgrade脚本、系统对应的ISO、安装升级包和双管理节点高可用套件。
4. 使用以下命令，在两个管理节点分别使用下载的最新ISO更新本地的repo源：

   [root@localhost ~]#cd /root/
   #bash /root/zstack-upgrade -r ZStack-Cloud-x86_64-DVD-5.4.12-h84r.iso

1. 在任一管理节点执行以下命令，查看管理节点高可用的VIP所在节点。在执行zsha2后，返回结果中VIP为yes的节点即为VIP所在的管理节点：

   [root@localhost ~]#zsha2 status

2. 通过IPMI登录VIP节点所在的管理节点终端，执行以下命令，对双管理节点高可用套件进行解压：

   [root@localhost ~]#tar zxvf ZStack-Multinode-HA-Suite-5.4.12.tar.gz

3. 执行以下命令，对解压后的zsha2、zstack-hamon赋予可执行权限：

   [root@localhost ~]#chmod +x zsha2 zstack-hamon

4. 在VIP所在的管理节点执行以下命令，完成高可用套件升级：

   [root@localhost ~]# ./zsha2 upgrade-ha

1. 升级管理节点前，需保证如下参数均无异常：
   • VIP可达
   • 当前网关可达
   • 备管理节点可达
   • 数据库已同步
   可执行zsha2 status查看管理节点状态：

   [root@localhost ~]# zsha2 status
   Status report from 192.168.195.200
   =================================
   Owns virtual address:            yes //管理节点1已获取VIP，同一时刻只允许一个管理节点获取VIP
   Self 192.168.195.200 reachable:   yes //管理节点1可达
   Gateway 192.168.0.1 reachable:    yes //当前网关可达
   VIP 192.168.199.151 reachable:    yes //VIP可达
   Peer 192.168.196.125 reachable:   yes //管理节点2可达
   Keepalived status:               active //Keepalived服务处于工作状态
   ZStack HA Monitor:               active //高可用监控服务处于工作状态
   MySQL status:                    mysqld is alive //数据库正常工作
   MN status: Running [PID:6500] //管理节点正常工作
   UI status: Running [PID:9785] http://192.168.195.200:5000 //UI正常工作
   
   Slave Status:
   -------------
                Slave_IO_Running: Yes //Slave IO正常运行
               Slave_SQL_Running: Yes //Slave SQL正常运行
                      Last_Error:
           Seconds_Behind_Master: 0
                   Last_IO_Error:
                  Last_SQL_Error:
   
   Warning: Permanently added '192.168.196.125' (ECDSA) to the list of known hosts.
   Status report from 192.168.196.125 //查看管理节点2的状态
   ================================
   Owns virtual address:            no
   Self 192.168.196.125 reachable:    yes
   Gateway 192.168.0.1 reachable:    yes
   VIP 192.168.199.151 reachable:     yes
   Peer 192.168.195.200 reachable:   yes
   Keepalived status:               active
   ZStack HA Monitor:               active
   MySQL status:                    mysqld is alive
   
   Slave Status:
   -------------
                Slave_IO_Running: Yes
               Slave_SQL_Running: Yes
                      Last_Error:
           Seconds_Behind_Master: 0
                   Last_IO_Error:
                  Last_SQL_Error:
   
   Note: visit ZStack UI with http://192.168.199.151:5000

2. 管理员需准备好以下必要的软件包：

   • ZStack Cloud ISO：
     • 软件名称（h84r）：ZStack-Cloud-x86_64-DVD-5.4.12-h84r.iso
     • 下载地址：点击这里
   • ZStack Cloud安装包：
     • 软件名称：ZStack-Cloud-installer-5.4.12.bin
     • 下载地址：点击这里

   • 升级脚本
     • 软件名称：zstack-upgrade
     • 下载地址：点击这里
     Note: 升级脚本版本号需与ISO及bin包版本号保持一致。

   Note: 软件下载后，需通过MD5校验工具核对校验码，确认与发行信息一致。
3. 升级方式分包括从bin包升级和从ISO升级，具体如下：
   若选择从bin包升级管理节点，请参考以下步骤进行升级：

   1. 请将新版ZStack Cloud ISO分别导入两个管理节点，并分别在两个管理节点中执行以下命令，将本地源升级至最新：

      [root@localhost ~]# bash zstack-upgrade -r ZStack-Cloud-x86_64-DVD-5.4.12-h84r.iso

   2. 管理员只需在任一管理节点中执行以下命令，就可对两个管理节点进行升级：

      [root@localhost ~]# zsha2 upgrade-mn -peerpass password ZStack-Cloud-installer-5.4.12.bin

   若选择从ISO升级管理节点，请参考以下步骤进行升级：

   1. 管理员只需在任一管理节点中执行以下命令，就可对两个管理节点进行升级：

      [root@localhost ~]# zsha2 upgrade-mn -peerpass password ZStack-Cloud-x86_64-DVD-5.4.12-h84r.iso

      Note: -peerpass为可选参数，可设置Peer管理节点SSH登录密码。

[root@localhost ~]# zsha2 collect-log
Collecting logs ...
Collected log: zsha2-log-2018-09-17T154358+0800.tgz

# 将日志压缩包解压
[root@localhost ~]# tar zxvf zsha2-log-2021-01-17T154358+0800.tgz
tmp/zsha2-log588815976/
tmp/zsha2-log588815976/zsha2-status.log
tmp/zsha2-log588815976/zstack-ha.log
tmp/zsha2-log588815976/keepalived.data
tmp/zsha2-log588815976/zs-vip-192.168.199.151.log
tmp/zsha2-log588815976/keepalived_status.log

1. 对两个管理节点执行zsha2 stop-node，关闭zsha2相关服务。
2. 对两个管理节点进行shutdown关机操作。
3. 对两个管理节点下电后进行维护。
4. 对两个管理节点通电后，通过手动或IPMI启动服务器。
5. 等待两个管理节点启动，成功引导操作系统。
6. 对两个管理节点执行zsha2 start-node，启动zsha2相关服务。
7. 对两个管理节点执行zsha2 status，查看zsha2服务是否正常运行。
8. 对两个管理节点执行zstack-ctl status，查看管理节点服务是否正常运行，UI服务是否正常运行。

1. 对故障节点执行zsha2 stop-node，关闭zsha2相关服务；
2. 尝试恢复故障节点， 如果不能恢复，需使用相同版本的ZStack Cloud安装包修复原节点或安装新节点。
3. 以安装新节点为例：
   1. 调配备用服务器，使得硬件规格与故障节点相近。
   2. 安装基础操作系统，安装完成后，配置root的密码和网络信息与故障节点一致，详情可参考安装与部署章节；
   3. 对置换节点安装高可用套件，详情可参考安装与部署章节。
   4. 对置换节点执行zsha2 status，查看zsha2服务是否正常运行。
   5. 对置换节点执行zstack-ctl status，查看管理节点服务是否正常运行，UI服务是否正常运行。

1. 尝试恢复该两个故障节点， 如果不能恢复，需使用相同版本的ZStack Cloud修复原节点或安装新节点。
2. 以安装两个新节点为例：
   1. 调配两台备用服务器，使得硬件规格分别与原两个故障节点相近。
   2. 对两台备份服务器分别安装基础操作系统，安装完成后，配置root的密码和网络信息分别与原两个故障节点一致，详情可参考安装与部署章节；
   3. 选择一个正常运行的管理节点，通过管理节点IP地址ssh登录，执行如下命令，在此管理节点恢复数据库：

      [root@localhost ~]# zstack-ctl restore_mysql -f /var/lib/zstack/mysql-backup/xxx.gz --mysql-root-password MYSQL_PASSWORD

      • /var/lib/zstack/mysql-backup/xxx.gz表示备份数据库文件路径及名称。
      • MYSQL_PASSWORD表示数据库密码，默认密码为：zstack.mysql.password。
   4. 在此节点通过install_ha命令重新安装高可用套件，详情可参考直接指定命令行方式章节。
   5. 对置换节点执行zsha2 status，查看zsha2服务是否正常运行。
   6. 对置换节点执行zstack-ctl status，查看管理节点服务是否正常运行，UI服务是否正常运行。