概述

本文档介绍将ZStack AIOS升级到5.5.38的详细流程,包括:

适用范围

  • 本文档仅适用于同源环境ZStack AIOS升级,即:

    • 当前平台内所有物理机和管理节点均使用相同的操作系统,例如均使用h84r操作系统。
    • 目标版本的操作系统与当前平台物理机、管理节点的操作系统一致,例如:当前平台内所有物理机和管理节点均使用h84r操作系统,则应使用h84r版ISO进行升级。

    如需更换操作系统或在多源共存环境下升级,请联系官方技术支持获取帮助。

  • 本文档适用于从ZStack AIOS 5.3.40及之后版本升级到5.5.38的场景。

注意事项

升级ZStack AIOS前,请阅读以下注意事项:

  • 升级过程中将无法访问管理节点、无法申请云主机/云盘等资源。建议在业务低谷期或业务变更窗口进行操作,避免升级过程中发生资源申请或其他关键业务变更。
  • 管理节点升级完成后,将重连所有物理机、主存储、镜像服务器、路由器并自动升级相关资源。重连过程中云主机、云盘等相关资源不可操作。
  • 升级过程中如发生任何异常情况导致升级中断或出现业务影响,请及时联系官方技术支持。

重要功能迭代

起始版本 功能迭代 详情
ZStack AIOS 5.3.20 原AI云原生功能模块更名为容器管理

5.3.20开始,原AI云原生功能模块更名为容器管理,更名后,模块提供的基本功能不变。

本文档将统一使用容器管理表示本模块。

准备工作

进行ZStack AIOS升级前,请提前准备以下软件工具:

  • ZStack AIOS支持离线升级,无需连接公网,请提前获取软件包。
  • 软件包下载完成后,请通过MD5值确认下载的软件是否完整。

升级ZStack AIOS管理节点所需的软件包

软件类型 软件名称 下载地址

ZStack AIOS 5.5.38 ISO

注:

ZStack AIOS提供多个ISO版本,请根据实际情况选择下载

H84R (x86) 版:ZStack-Cloud-x86_64-DVD-5.5.38-h84r.iso 点击这里
Kylin10SP3 (x86) 版:ZStack-Cloud-x86_64-DVD-5.5.38-ky10sp3.iso
Kylin10SP3-2403 (x86) 版:ZStack-Cloud-x86_64-DVD-5.5.38-ky10sp32403.iso
Kylin10SP3 (ARM) 版:ZStack-Cloud-aarch64-DVD-5.5.38-ky10sp3.iso
ZStack AIOS 5.5.38安装包 ZStack-Cloud-installer-5.5.38.bin

多管理节点高可用套件

注:

  • 如部署双管理节点环境,需准备该软件。
  • ZStack AIOS提供多种架构的多管理节点高可用套件,请根据实际需求选择下载。
x86版:ZStack-Multinode-HA-Suite-zsha2_5.5.38.tar.gz
ARM版:ZStack-Multinode-HA-Suite-zsha2_5.5.38-aarch64.tar.gz

升级AI模型平台所需的软件包

  • 从5.4.2及之后版本升级,需准备:AI模型平台升级包、业务网关镜像、预置推理模板包、AI推理镜像 (云主机) 、预置模型文件包 (Qwen3-ASR-0.6B)。如需启用dGPU模式,还需准备dGPU依赖工具包。
  • 从5.4.2之前版本升级,需准备:AI模型平台升级包、业务网关镜像、预置推理模板包、AI推理镜像 (云主机) 、预置模型文件包 (完整)。如需启用dGPU模式,还需准备dGPU依赖工具包。
软件类型 软件名称 下载地址
AI模型平台升级包 x86版:aios-installer-5.5.38-x86_64.bin 点击这里
ARM版:aios-installer-5.5.38-aarch64.bin

业务网关镜像

注:

  • 从5.5.32版本开始,升级AI模型平台需准备业务网关镜像;升级目标版本低于5.5.32时,无需准备该镜像
  • 升级AI模型平台时,必须根据环境CPU架构使用与目标版本匹配的业务网关镜像
x86版:zstack-ai-business-gateway-image-x86_64.qcow2
ARM版:zstack-ai-business-gateway-image-aarch64.qcow2

AI推理镜像 (云主机)

  • 该镜像为AI云主机默认镜像,提供推理服务
  • ZStack AIOS提供多种架构的AI推理镜像 (云主机),请根据需求选择下载
  • 默认账户名:root;默认密码:AIOS@admin123
x86-NVIDIA版:zstack-ai-inference-vm-ubuntu22.04-cuda125-python310-5.5.38.qcow2
x86-K100-AI版:zstack-ai-inference-vm-ubuntu22.04-dtk25.04.1-python310-5.5.38.qcow2
x86-PPU版:zstack-ai-inference-vm-ubuntu24.04-alippu1.6.1-python312-5.5.38.qcow2
ARM版:zstack-ai-inference-vm-openeuler2403sp1-CANN8.1.RC1-python311-5.5.38.qcow2
ARM-910C版:zstack-ai-inference-vm-openeuler2403sp1-CANN9.1.RC1-A3-python311-5.5.38.qcow2
预置模型文件包 (完整) Models_5.5.6.tar.gz
预置模型文件包 (Qwen3-ASR-0.6B) Model_Qwen3-ASR-0.6B_tar.gz

预置推理模板包

注:ZStack AIOS提供多种架构的推理模板包,请根据实际需求选择下载

x86版:ModelServices_5.5.38_x86.tar.gz
ARM版:ModelServices_5.5.38_aarch64.tar.gz

dGPU依赖工具包

注:从5.5.16版本开始提供。该工具包用于为需启用dGPU模式的物理机安装依赖,以支持dGPU模式。使用时,请登录需开启dGPU模式的物理机,执行bash zstack-dgpu-toolkit.bin。

zstack-dgpu-toolkit.bin
GPU驱动
  • 不同GPU型号使用的GPU驱动不同,可联系GPU厂商获取。
  • 本教程提供的GPU驱动的版本为NVIDIA-Linux-x86_64-580.126.09。

升级容器管理所需的软件包

  • 如当前云平台已部署容器管理,请准备以下软件包。如未部署容器管理,可跳过此处。
  • 从容器管理3.8.0版本开始,对接的ZStack AIOS必须为5.5.16及之后版本,否则将无法正常访问容器管理页面。
  • 容器管理必须逐版本升级,不可跨版本升级。例如,当前容器管理版本为3.4.0,请遵循以下升级路径升级到3.10.0:3.4.0 > 3.5.0 > 3.6.0 > 3.7.0 > 3.8.0 > 3.9.0 > 3.10.0。
  • 准备容器管理升级包时,请按照实际情况,准备逐版本升级过程中所需的全部升级包。
软件类型 软件名称 下载地址
容器管理3.10.0升级包
  • zaku-1.24-3.10.0-all-in-one-upgrade.tgz
  • zaku-1.35-3.10.0-all-in-one-upgrade.tgz
点击这里
容器管理3.9.0升级包 zaku-1.24-3.9.0-all-in-one-upgrade.tgz
容器管理3.8.0升级包 zaku-1.24-3.8.0-all-in-one-upgrade.tgz
容器管理3.7.0升级包 zaku-1.24-3.7.0-all-in-one-upgrade.tgz
容器管理3.6.0升级包 zaku-1.24-3.6.0-all-in-one-upgrade.tgz
容器管理3.5.0升级包 zaku-1.24-3.5.0-all-in-one-upgrade.tgz

AI推理镜像 (容器)

注:

ZStack AIOS提供多种AI容器默认镜像,请根据实际使用的GPU型号选择下载。

NVIDIA版:aiworker-latest.tar

  • 该容器镜像适配NVIDIA GPU。

910B版:aiworker-npu-910b-3.0.0-800I-A2-py311-openeuler24.03-lts.tar

  • 该容器镜像适配昇腾910B GPU。

昇腾vllm版:vllm-ascend-v0.26.0rc1.tar

  • 该容器镜像用于在昇腾NPU上运行vLLM推理服务。

K100AI版:aiworker-dcu-vllm0.18.1.tar

  • 该容器镜像适配Hygon K100-AI GPU。

ARM-精调版:aiworker-npu-llamafactory-0.9.5.tar

  • 该容器镜像适配qwen3.6的精调任务。

管理节点升级

ZStack AIOS支持单管理节点部署、双管理节点部署两种部署模式,不同部署模式的管理节点升级流程不同。

单管理节点升级

如当前环境为单管理节点部署,请参考本章进行管理节点升级。

  1. 获取升级安装包。

    根据准备工作,获取最新版ZStack AIOS ISO、ZStack AIOS安装包,并存放在管理节点/root/目录。

  2. 关闭云主机高可用全局开关。

    登录ZStack AIOS UI界面,点击设置 > 平台设置 > 高可用策略,在高可用策略界面,点击右上角的停用按钮。

  3. 备份数据库和升级脚本。

    升级前,备份数据库和升级脚本以用于意外恢复。

    • 登录管理节点,执行以下命令将数据库备份至/var/lib/zstack/mysql-backup/目录:

      [root@localhost ~]# zstack-ctl dump_mysql --file-name zstack-db-backup
    • 在管理节点执行以下命令将升级脚本备份备份至/root/目录:

      [root@localhost ~]# cp /usr/local/bin/zstack-upgrade /root/zstack-upgrade-bk
  4. 升级管理节点。

    在管理节点执行以下命令,进行离线升级:

    #支持两种离线升级方式,推荐使用第一种:
    # 第一种方式: 升级本地仓库和管理服务
    [root@zstack-1 opt]# zstack-upgrade ZStack-Cloud-x86_64-DVD-5.5.38-h84r.iso
    # 第二种方式: 先升级本地仓库再升级管理服务:
    [root@zstack-1 opt]# zstack-upgrade -r ZStack-Cloud-x86_64-DVD-5.5.38-h84r.iso
    [root@zstack-1 opt]# bash ZStack-Cloud-installer-5.5.38.bin -u -P MYSQL_ROOT_PASSWORD
    • 若数据库root密码采用系统默认密码-P MYSQL_ROOT_PASSWORD参数可省略。
    • 执行zstack-upgrade命令前需确认所准备的ISO是基于h84r版,避免使用其他ISO覆盖本地源。
    • 升级本地仓库时会自动更新升级脚本,脚本升级完成后,可按提示重新执行上一步命令即可。
  5. 手动清理浏览器缓存。

    为了保证新功能能够正常使用,请在升级完成后登录ZStack AIOS UI界面,按下Ctrl+F5或Ctrl+Shift+R,手动清理浏览器缓存。

  6. 开启云主机高可用开关。

    在ZStack AIOS UI界面,点击设置 > 平台设置 > 高可用策略,在高可用策略界面,点击右上角的启用按钮。

至此,单管理节点升级已完成,平台将自动重连物理机、主存储、镜像服务器、VPC路由器等资源,完成其他相关节点升级。用户需继续进行容器管理服务和AI模型平台服务的更新。

双管理节点升级

如当前环境为双管理节点部署,请参考本章进行管理节点升级。

  1. 获取升级安装包。

    根据准备工作,获取最新版ZStack AIOS ISO、ZStack AIOS安装包、高可用套件,并分别存放在两个管理节点的/root/目录。

  2. 关闭云主机高可用全局开关。

    登录ZStack AIOS UI界面,点击设置 > 平台设置 > 高可用策略,在高可用策略界面,点击右上角的停用按钮。

  3. 备份数据库和升级脚本

    升级前,备份数据库和升级脚本以用于意外恢复。

    • 分别登录两个管理节点,执行以下命令将数据库备份至/var/lib/zstack/mysql-backup/目录:

      [root@localhost ~]# zstack-ctl dump_mysql --file-name zstack-db-backup
    • 分别在两个管理节点执行以下命令将升级脚本备份至/root/目录:

      [root@localhost ~]# cp /usr/local/bin/zstack-upgrade /root/zstack-upgrade-bk
  4. 更新本地repo源

    分别在两个管理节点执行以下命令,更新本地repo源:

    [root@localhost ~]# zstack-upgrade -r ZStack-Cloud-x86_64-DVD-5.5.38-h84r.iso

    升级本地repo时会自动更新升级脚本,脚本升级完成后,可按提示重新执行上一步命令即可。

  5. 获取VIP所在管理节点IP地址

    执行以下命令获取VIP所在管理节点IP地址,返回结果中VIP为yes的节点即为VIP所在的管理节点:

    [root@localhost ~]# zsha2 status
  6. 解压高可用套件,并赋予可执行权限

    在VIP所在管理节点依次执行以下命令,解压高可用套件,并对zsha2和zstack-hamon文件赋予可执行权限:

    [root@localhost ~]# tar zxvf ZStack-Multinode-HA-Suite-5.5.38.tar.gz      #解压高可用套件
    [root@localhost ~]# chmod +x zsha2 zstack-hamon    #赋予可执行权限
  7. 升级高可用套件

    在VIP所在管理节点执行以下命令,完成高可用套件升级:

    [root@localhost ~]# ./zsha2 upgrade-ha
  8. 升级管理节点

    在VIP所在管理节点执行以下命令,升级双管理节点:

    [root@localhost ~]# zsha2 upgrade-mn -peerpass password ZStack-Cloud-installer-5.5.38.bin

    -peerpass为可选参数,可设置Peer管理节点SSH登录密码。

  9. 手动清理浏览器缓存。

    为了保证新功能能够正常使用,请在升级完成后,登录ZStack AIOS UI界面,按下Ctrl+F5或Ctrl+Shift+R,手动清理浏览器缓存。

  10. 开启云主机高可用开关。

    在ZStack AIOS UI界面,点击设置 > 平台设置 > 高可用策略,在高可用策略界面,点击右上角的启用按钮。

至此,双管理节点升级已完成,平台将自动重连物理机、主存储、镜像服务器、VPC路由器等资源,完成其他相关节点升级。用户需继续进行容器管理服务和AI模型平台服务的更新。

AI模型平台升级

ZStack AIOS管理节点升级完成后,需单独升级其上的AI模型平台,以使用最新的模型平台功能。

若当前 AI 模型平台版本为 5.5.6及之后版本,仅需执行升级AI模型平台版本、更新预置推理模板、更新AI推理镜像 (云主机)和更新AI推理镜像 (容器)步骤;如需启用dGPU模式,还需执行为物理机安装dGPU依赖工具包步骤。若模型平台配置界面的资源配置中存在待配置的云主机集群,还需执行确认升级后的云主机集群网络配置步骤。

  1. 升级AI模型平台版本
  2. 更新预置推理模板
  3. 更新预置模型文件
  4. 更新模型元数据
  5. 更新AI推理镜像 (云主机)
  6. (可选) 为物理机安装dGPU依赖工具包
  7. 更新AI推理镜像 (容器)
  8. 更新Redis节点配置
  9. 确认升级后的云主机集群网络配置
  1. 升级AI模型平台版本

    1. 根据准备工作,获取AI模型平台升级包

    2. 上传AI模型平台升级包到Model Center,并执行以下命令,进行AI模型平台升级:

      [root@localhost~]# bash aios-installer-5.5.38-${Architecture}.bin
  2. 更新预置推理模板

    1. 根据准备工作,获取最新版预置推理模板包

    2. 登录新Model Center,执行以下命令:

      进入/root/bentoml/
      [root@localhost~]# cd /root/bentoml/
      
      将最新版预置推理模板包上传到/root/bentoml/下
      
      解压预置推理模板包
      [root@localhost~]# tar -xzvf ModelServices_5.5.38_${Architecture}.tar.gz
  3. 更新预置模型文件

    1. 根据准备工作,获取最新版预置模型文件包

      • 从5.4.2或之后版本升级,请准备预置模型文件包 (Qwen3-ASR-0.6B)
      • 从5.4.2之前版本升级,请准备预置模型文件包 (完整)
    2. 登录新Model Center,执行以下命令:

      进入/root/bentoml/
      [root@localhost~]# cd /root/bentoml/
      
      将最新版预置模型文件包上传到/root/bentoml/下
      
      解压预置模型文件包
      ================================================
      从5.4.2之前版本升级,执行:
      [root@localhost~]# tar -xzvf Models_5.5.6.tar.gz
      =================================================
      从5.4.2及之后版本升级,执行:
      [root@localhost~]# tar -xzvf Model_Qwen3-ASR-0.6B_tar.gz
  4. 更新模型元数据

    登录ZStack AIOS管理节点,执行以下命令:

    登录CLI命令行
    [root@localhost ~]# zstack-cli    //进入CLI命令行
    - >>>  LogInByAccount accountName=admin password=${Password}    //使用Admin账号密码登录
    
    更新模型元数据
    admin >>> GenerateModelMetadata modelCenterUuid=2cc1f4d6b8014b44912f92bb242e9675
  5. 更新AI推理镜像 (云主机)

    1. 上传最新版AI推理镜像 (云主机)

      根据准备工作,按使用的GPU型号,获取对应的最新版AI推理镜像 (云主机)。在ZStack AIOS主菜单,点击资源中心 > 云资源池 > 镜像。在镜像界面,点击添加镜像,将AI推理镜像 (云主机) 上传到此处。

    2. 设置AI推理镜像 (云主机) 为全局共享

      在镜像界面,找到已上传的AI推理镜像 (云主机),点击操作 > 设置共享模式,将该镜像设置为全局共享。

    3. 更新系统推理模板默认云主机镜像

      登录ZStack AIOS管理节点,执行以下命令:

      [root@localhost~]# zstack-ctl aios_setup_system_services --architecture ${Architecture} --vm-image-uuid ${AIVMIMAGEUUID}
      //${AIVMIMAGEUUID}为AI推理镜像 (云主机) UUID,可进入镜像详情页查看; ${Architecture}为镜像架构,x86架构请填写为x86_64,ARM架构请填写为aarch64
  6. (可选) 为物理机安装dGPU依赖工具包

    如不使用dGPU模式,可跳过本步骤。

    根据准备工作,获取dGPU依赖工具包,将其上传到需开启dGPU模式的物理机,并登录该物理机执行以下命令:

    [root@localhost~]# bash zstack-dgpu-toolkit.bin

    该工具包用于为物理机安装dGPU模式所需依赖。安装完成后,可在该物理机上启用dGPU模式。

  7. 更新AI推理镜像 (容器)

    如ZStack AIOS未部署容器管理,可跳过本步骤。

    1. 根据准备工作,按使用的GPU型号,获取最新版AI推理镜像 (容器)。

    2. 登录ZStack AIOS UI界面,点击容器管理 > 制品仓库 > 本地仓库。在本地仓库界面,找到ai-model-registry仓库,点击进入其详情页。在仓库详情页,点击镜像,将旧版本AI推理镜像 (容器) 删除,并上传5.5.38版AI推理镜像 (容器)。

      支持在线上传、文件上传、命令上传三种上传方式

      • 如使用在线上传,请选择镜像架构,支持多选

      • 如使用命令上传,请在命令中标注镜像架构,例如:

        • nerdctl push --platform=linux/arm64
        • nerdctl push --platform=linux/amd64
        • nerdctl push --platform=linux/arm64 --platform=linux/amd64

      如使用昇腾910B GPU,请同时准备并上传aiworker-npu-910b-3.0.0-800I-A2-py311-openeuler24.03-lts.tar、vllm-ascend-v0.26.0rc1.tar、aiworker-npu-llamafactory-0.9.5.tar镜像。

    3. 指定模型精调服务默认容器镜像

      • 使用NVIDIA GPU进行模型精调,可跳过本步骤。

      • 使用Hygon K100-AI进行模型精调,请登录ZStack AIOS管理节点,执行以下命令:

        [root@localhost~]# zstack-ctl aios_setup_system_services --type FineTune --architecture x86_64 --docker-image-name aiworker-dcu:vllm0.9.2
      • 使用昇腾910B进行模型精调,请登录ZStack AIOS管理节点,执行以下命令:

        [root@localhost~]# zstack-ctl aios_setup_system_services --type FineTune --architecture aarch64 --docker-image-name aiworker-npu-llamafactory:latest
  8. 更新Redis节点配置

    从5.3.52及之后版本升级至5.5.38,可跳过本步骤。

    1. 查看Redis节点信息

      登录ZStack AIOS UI界面,点击运营管理 > 应用市场 > 默认应用 > 已部署。在默认应用-已部署界面,找到已部署的ZStack AI模型平台,点击… > 查看云主机,即可查看Redis节点信息,包括名称、IP地址等。

      查看Redis节点IP信息
    2. 确认Redis云主机根云盘是否达到40 GB。如未达到,请扩容到40 GB或以上。

    3. 分别登录三台Redis节点,执行以下命令:

      [root@localhost~]# lsblk    //查看磁盘名
      
      如磁盘名为vda,执行以下命令
      [root@localhost~]# sudo bash -c "echo -e 'n\np\n\n\n\nt\n\n8e\nw' | fdisk /dev/vda";
      [root@localhost~]# sudo pvcreate /dev/vda4 && sudo vgextend ubuntu-vg /dev/vda4 && sudo lvextend -r -l +100%FREE /dev/ubuntu-vg/ubuntu-lv
      
      如磁盘名为sda,执行以下命令
      [root@localhost~]# sudo bash -c "echo -e 'n\np\n\n\n\nt\n\n8e\nw' | fdisk /dev/sda";
      [root@localhost~]# sudo pvcreate /dev/sda4 && sudo vgextend ubuntu-vg /dev/sda4 && sudo lvextend -r -l +100%FREE /dev/ubuntu-vg/ubuntu-lv
      
      执行配置修改命令
      [root@localhost~]# sudo systemctl stop unattended-upgrades; sudo systemctl disable unattended-upgrades;
      [root@localhost~]# redis-cli -p 6379 -a zstack.redis.password -h 127.0.0.1 CONFIG SET appendonly yes;
      [root@localhost~]# redis-cli -p 6379 -a zstack.redis.password -h 127.0.0.1 CONFIG SET save "900 1 300 10 60 10000";
      [root@localhost~]# redis-cli -p 6379 -a zstack.redis.password -h 127.0.0.1 CONFIG REWRITE;
  9. 确认升级后的云主机集群网络配置

    从5.5.32之前版本升级时,系统可能检测到仍沿用升级前默认网络的云主机集群。已完成业务网关配置的集群无需重复配置。

    1. 上传业务网关镜像

      根据准备工作,获取与目标版本和环境CPU架构匹配的业务网关镜像。在ZStack AIOS主菜单,点击资源中心 > 云资源池 > 镜像。在镜像界面,点击添加镜像,上传业务网关镜像。

    2. 查看待配置的云主机集群

      登录ZStack AIOS UI界面,在主菜单点击AI 模型平台 > 统计和管理 > 模型平台配置,进入模型平台配置界面,点击资源配置。系统将显示升级后的网络配置提示,并将受影响的云主机集群标记为待配置。

      升级后待配置的云主机集群
    3. 确认并补充业务网关配置

      在目标集群卡片中,点击去配置,弹出配置 VM 集群业务网关对话框。目标云主机集群不可修改。系统将升级前仍可用于该集群的默认服务网络预填至业务网络和开发访问网络,将升级前仍可用于该集群的默认存储网络预填至存储网络。在镜像下拉列表中,根据环境CPU架构选择对应的业务网关镜像。选择计算规格和管理网络,确认或重新选择业务网络和开发访问网络。确认存储网络配置。然后点击确定。

      停用全局模型缓存时,存储网络为必填项;启用全局模型缓存时,存储网络为可选项。

      确认并补充业务网关配置

      完成配置后,新建的推理服务将使用重新配置的业务网关;已有推理服务继续使用原访问地址。

至此,AI模型平台服务更新已完成。如当前环境部署容器管理,需继续升级容器管理模块。

容器管理升级

如ZStack AIOS部署容器管理模块,需在管理节点升级完成后,单独升级本模块,以使用最新的容器功能。

  • 从容器管理3.8.0版本开始,对接的ZStack AIOS必须为5.5.16及之后版本,否则将无法正常访问容器管理页面。
  • 容器管理必须逐版本升级,不可跨版本升级。例如,当前容器管理版本为3.4.0,请遵循以下升级路径升级到3.10.0:3.4.0 > 3.5.0 > 3.6.0 > 3.7.0 > 3.8.0 > 3.9.0 > 3.10.0。
  • 请根据实际情况,按照以下步骤进行逐版本升级。
  • 如容器管理版本已为3.10.0,可跳过本流程。
  • 若当前容器管理为KylinSP3版本并使用Hygon K100-AI,请单独联系官方技术支持获取升级帮助。
  1. 检查容器管理节点状态
  2. 升级容器管理到3.5.0版本
  3. 升级容器管理到3.6.0版本
  4. 升级容器管理到3.7.0版本
  5. 升级容器管理到3.8.0版本
  6. 升级容器管理到3.9.0版本
  7. 升级容器管理到3.10.0版本
  8. 更新容器管理集群
  1. 检查容器管理节点状态。

    1. 检查容器管理管理集群、业务集群,确保所有节点均处于运行中状态

    2. 检查业务集群GPU节点,确保所有GPU节点均安装GPU设备。如未安装GPU设备且该节点后续不再作为GPU节点使用,请登录容器管理集群点3 (Zaku-3) 执行以下命令:

      [root@localhost ~]# kubectl label node ${NodeName} gpu-

      查看Zaku-3节点,可登录ZStack AIOS UI界面,点击运营管理 > 应用市场 > 默认应用 > 已安装。在已安装界面,找到ZStack Zaku容器管理,点击右上角的… > 查看云主机,查看名为Zaku-3的云主机即可。如图 4: 查看Zaku-3云主机所示:

      查看Zaku-3云主机
  2. 升级容器管理到3.5.0版本。

    如当前容器管理已为3.5.0或之后版本,可跳过本步骤。

    1. 根据准备工作,准备容器管理3.5.0升级包。

    2. 登录Zaku-3云主机,将容器管理3.5.0升级包存放在/opt/zstack-edge目录。

    3. 在Zaku-3云主机执行以下命令,升级管理集群到3.5.0:

      解压容器管理3.5.0升级包
      [root@localhost ~]#  cd /opt/zstack-edge
      [root@localhost ~]#  tar -xzvf zaku-1.24-3.5.0-all-in-one-upgrade.tgz
      
      拷贝hosts.yaml配置文件,并确认当前环境机器配置信息是否正确
      (命令一:如当前容器管理直接从3.4.0升级到3.5.0,执行本命令进行拷贝)
      [root@localhost ~]# cp /opt/zstack-edge/kubespray/inventory/sample/hosts.yaml /opt/zstack-edge/upgrade-zaku-1.24-3.5.0/inventory/sample/hosts.yaml
      (命令二:如当前容器管理先从3.3.0或之前版本升级到3.4.0,再升级到3.5.0,执行本命令进行拷贝)
      [root@localhost ~]# cp /opt/zstack-edge/upgrade-zaku-1.24-3.4.0/inventory/sample/hosts.yaml /opt/zstack-edge/upgrade-zaku-1.24-3.5.0/inventory/sample/hosts.yaml
      
      执行升级脚本
      [root@localhost ~]# cd /opt/zstack-edge/upgrade-zaku-1.24-3.5.0
      [root@localhost ~]# ansible-playbook -i inventory/sample/hosts.yaml zaku-management-upgrade.yml
      
      确认管理集群Pod状态,如ze-db-migration Pod状态为Completed,其他Pod状态为Running,表示管理集群升级完成
      [root@localhost ~]# kubectl get pod -A
    4. 在Zaku-3云主机执行以下命令,升级业务集群到3.5.0:

      执行升级脚本
      [root@localhost ~]# cd /opt/zstack-edge/upgrade-zaku-1.24-3.5.0
      [root@localhost ~]# bash zaku-upgrade/upgrade.sh    //按提示输入需升级的业务集群名称,如有多个业务集群,需依次升级
      
      确认业务集群是否为已升级状态
      [root@localhost ~]# bash zaku-upgrade/upgrade.sh
  3. 升级容器管理到3.6.0版本。

    如当前容器管理已为3.6.0或之后版本,可跳过本步骤。

    1. 根据准备工作,准备容器管理3.6.0升级包。

    2. 登录Zaku-3云主机,将容器管理3.6.0升级包存放在/opt/zstack-edge目录。

    3. 在Zaku-3云主机执行以下命令,升级管理集群到3.6.0:

      解压容器管理3.6.0升级包
      [root@localhost ~]#  cd /opt/zstack-edge
      [root@localhost ~]#  tar -xzvf zaku-1.24-3.6.0-all-in-one-upgrade.tgz
      
      拷贝hosts.yaml配置文件,并确认当前环境机器配置信息是否正确
      (命令一:如当前容器管理直接从3.5.0升级到3.6.0,执行本命令进行拷贝)
      [root@localhost ~]# cp /opt/zstack-edge/kubespray/inventory/sample/hosts.yaml /opt/zstack-edge/upgrade-zaku-1.24-3.6.0/inventory/sample/hosts.yaml
      (命令二:如当前容器管理先从3.4.0或之前版本升级到3.5.0,再升级到3.6.0,执行本命令进行拷贝)
      [root@localhost ~]# cp /opt/zstack-edge/upgrade-zaku-1.24-3.5.0/inventory/sample/hosts.yaml /opt/zstack-edge/upgrade-zaku-1.24-3.6.0/inventory/sample/hosts.yaml
      
      执行升级脚本
      [root@localhost ~]# cd /opt/zstack-edge/upgrade-zaku-1.24-3.6.0
      [root@localhost ~]# ansible-playbook -i inventory/sample/hosts.yaml zaku-management-upgrade.yml
      
      确认管理集群Pod状态,如ze-db-migration Pod状态为Completed,其他Pod状态为Running,表示管理集群升级完成
      [root@localhost ~]# kubectl get pod -A
    4. 检查业务集群是否使用华为NPU设备

      • 检查业务集群是否使用华为NPU设备,如未使用可跳过本步骤。

      • 如使用华为NPU设备,登录容器管理VIP,执行以下命令,检查chipName模板中的配置字段是否与表 1: chipName模板字段表匹配:

        [root@localhost ~]# kubectl -n kube-system edit configmap hami-scheduler-device
      chipName commonWord resourceName resourceMemoryName
      910A Ascend910A huawei.com/Ascend910A huawei.com/Ascend910A-memory
      910B2 Ascend910B2 huawei.com/Ascend910B2 huawei.com/Ascend910B2-memory
      910B3 Ascend910B3 huawei.com/Ascend910B3 huawei.com/Ascend910B3-memory
      910B4 Ascend910B4 huawei.com/Ascend910B4 huawei.com/Ascend910B4-memory
      910B4-1 Ascend910B4-1 huawei.com/Ascend910B4-1 huawei.com/Ascend910B4-1-memory
      910ProB Ascend910ProB huawei.com/Ascend910ProB huawei.com/Ascend910ProB-memory
      310P3 Ascend310P huawei.com/Ascend310P huawei.com/Ascend310P-memory
    5. 停止华为NPU相关工作负载

      如业务集群未使用华为NPU或chipName模板中的配置字段与表 1: chipName模板字段表匹配,可跳过本步骤。

      在ZStack AIOS主菜单,点击容器管理 > 容器编排 > 应用管理 > 工作负载。依次点击华为NPU相关的工作负载后的操作 > 弹性伸缩,将工作负载的弹性伸缩副本数修改为0。

      请记录好当前副本数,以便升级完成后,将副本数恢复为原来的数值。

    6. 升级业务集群到3.6.0

      在Zaku-3云主机执行以下命令,升级业务集群到3.6.0

      执行升级脚本
      [root@localhost ~]# cd /opt/zstack-edge/upgrade-zaku-1.24-3.6.0
      [root@localhost ~]# bash zaku-upgrade/upgrade.sh    //按提示输入需升级的业务集群名称,如有多个业务集群,需依次升级
      
      确认业务集群是否为已升级状态
      [root@localhost ~]# bash zaku-upgrade/upgrade.sh
    7. 修改chipName模板字段

      如业务集群未使用华为NPU或chipName模板中的配置字段与表 1: chipName模板字段表匹配,可跳过本步骤。

      登录容器管理VIP,执行以下命令,将华为NPU相关工作负载配置中的resourceName、resourceMemoryName与表 1: chipName模板字段表对应:

      [root@localhost ~]# kubectl -n kube-system edit configmap hami-scheduler-device
    8. 启动华为NPU相关工作负载

      如业务集群未使用华为NPU或chipName模板中的配置字段与表 1: chipName模板字段表匹配,可跳过本步骤。

      登录ZStack AIOS UI界面,点击容器管理 > 容器编排 > 应用管理 > 工作负载。依次点击华为NPU相关工作负载后的操作 > 弹性伸缩,将工作负载的弹性伸缩副本数依次修改为更新前的数值。

  4. 升级容器管理到3.7.0版本。

    1. 根据准备工作,准备容器管理3.7.0升级包。

    2. 登录Zaku-3云主机,将容器管理3.7.0升级包存放在/opt/zstack-edge目录。

    3. 在Zaku-3云主机执行以下命令,升级管理集群到3.7.0:

      解压容器管理3.7.0升级包
      [root@localhost ~]# cd /opt/zstack-edge
      [root@localhost ~]# tar -xzvf zaku-1.24-3.7.0-all-in-one-upgrade.tgz
      
      拷贝hosts.yaml配置文件,并确认当前环境机器配置信息是否正确
      (命令一:如当前容器管理直接从3.6.0升级到3.7.0,执行本命令进行拷贝)
      [root@localhost ~]# cp /opt/zstack-edge/kubespray/inventory/sample/hosts.yaml /opt/zstack-edge/upgrade-zaku-1.24-3.7.0/inventory/sample/hosts.yaml
      (命令二:如当前容器管理先从3.5.0或之前版本升级到3.6.0,再升级到3.7.0,执行本命令进行拷贝)
      [root@localhost ~]# cp /opt/zstack-edge/upgrade-zaku-1.24-3.6.0/inventory/sample/hosts.yaml /opt/zstack-edge/upgrade-zaku-1.24-3.7.0/inventory/sample/hosts.yaml
      
      执行升级脚本
      [root@localhost ~]# cd /opt/zstack-edge/upgrade-zaku-1.24-3.7.0
      [root@localhost ~]# ansible-playbook -i inventory/sample/hosts.yaml zaku-management-upgrade.yml
      
      确认管理集群Pod状态,如ze-db-migration Pod状态为Completed,其他Pod状态为Running,表示管理集群升级完成
      [root@localhost ~]# kubectl get pod -A
    4. 检查业务集群是否使用Nvidia GPU、华为NPU或Hygon DCU设备。

    5. 停止Nvidia GPU、华为NPU、Hygon DCU相关工作负载。

      如业务集群未使用以上GPU设备,可跳过本步骤。

      登录ZStack AIOS UI界面,点击容器管理 > 容器编排 > 应用管理 > 工作负载。依次点击相关工作负载后的操作 > 弹性伸缩,将工作负载副本数修改为0。

      请记录好当前副本数,以便升级完成后恢复。

    6. 升级业务集群到3.7.0。

      在Zaku-3云主机执行以下命令,升级业务集群到3.7.0

      执行升级脚本
      [root@localhost ~]# cd /opt/zstack-edge/upgrade-zaku-1.24-3.7.0
      [root@localhost ~]# bash zaku-upgrade/upgrade.sh    //按提示输入需升级的业务集群名称,如有多个业务集群,需依次升级
      
      确认业务集群是否为已升级状态
      [root@localhost ~]# bash zaku-upgrade/upgrade.sh
    7. 启动Nvidia GPU、华为NPU或海光DCU设备相关工作负载。

      如业务集群未使用Nvidia GPU、华为NPU或海光DCU设备,可跳过本步骤。

      登录ZStack AIOS UI界面,点击容器管理 > 容器编排 > 应用管理 > 工作负载。依次点击相关工作负载后的操作 > 弹性伸缩,将工作负载的弹性伸缩副本数依次修改为更新前的数值。

  5. 升级容器管理到3.8.0版本。

    如当前容器管理已为3.8.0或之后版本,可跳过本步骤。

    1. 根据准备工作,准备容器管理3.8.0升级包。

    2. 登录Zaku-3云主机,将容器管理3.8.0升级包存放在/opt/zstack-edge目录。

    3. 在Zaku-3云主机执行以下命令,升级管理集群到3.8.0:

      解压容器管理3.8.0升级包
      [root@localhost ~]# cd /opt/zstack-edge
      [root@localhost ~]# tar -xzvf zaku-1.24-3.8.0-all-in-one-upgrade.tgz
      
      拷贝hosts.yaml配置文件,并确认当前环境机器配置信息是否正确
      (命令一:如当前容器管理直接从3.7.0升级到3.8.0,执行本命令进行拷贝)
      [root@localhost ~]# cp /opt/zstack-edge/kubespray/inventory/sample/hosts.yaml /opt/zstack-edge/upgrade-zaku-1.24-3.8.0/inventory/sample/hosts.yaml
      (命令二:如当前容器管理先从3.6.0或之前版本升级到3.7.0,再升级到3.8.0,执行本命令进行拷贝)
      [root@localhost ~]# cp /opt/zstack-edge/upgrade-zaku-1.24-3.7.0/inventory/sample/hosts.yaml /opt/zstack-edge/upgrade-zaku-1.24-3.8.0/inventory/sample/hosts.yaml
      
      执行升级脚本
      [root@localhost ~]# cd /opt/zstack-edge/upgrade-zaku-1.24-3.8.0
      [root@localhost ~]# ansible-playbook -i inventory/sample/hosts.yaml zaku-management-upgrade.yml
      
      确认管理集群Pod状态,如ze-db-migration Pod状态为Completed,其他Pod状态为Running,表示管理集群升级完成
      [root@localhost ~]# kubectl get pod -A
    4. 在Zaku-3云主机执行以下命令,升级业务集群到3.8.0:

      执行升级脚本
      [root@localhost ~]# cd /opt/zstack-edge/upgrade-zaku-1.24-3.8.0
      [root@localhost ~]# bash zaku-upgrade/upgrade.sh    //按提示输入需升级的业务集群名称,如有多个业务集群,需依次升级
      
      确认业务集群是否为已升级状态
      [root@localhost ~]# bash zaku-upgrade/upgrade.sh
    5. 检查ZStack AIOS Nginx Proxy配置。

      升级完成后,登录ZStack AIOS管理节点,检查zaku.server.nginx.conf是否包含/zaku-core-shell/mf-manifest.json的location配置,如缺失请按以下示例补充。双管理节点环境下,请分别登录两个管理节点检查:

      [root@localhost ~]# vi /usr/local/zstack/zstack-ui/configs/zaku.server.nginx.conf    //在/zaku-uilocation配置之后补充以下内容
      ===================================================
      location = /zaku-core-shell/mf-manifest.json {
              rewrite ^/zaku-core-shell/(.*) /ze/$1 break;
              expires -1;
              add_header Cache-Control "no-cache, no-store, must-revalidate";
              add_header Pragma "no-cache";
              proxy_pass http://${ZakuVip};    //${ZakuVip}需替换为容器管理VIP地址
              proxy_set_header Host $host;
              proxy_set_header X-Real-IP $remote_addr;
              proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
          }
      ===================================================
      [root@localhost ~]# /usr/sbin/nginx -t -c /usr/local/zstack/zstack-ui/configs/nginx.conf -p /usr/local/zstack/zstack-ui    //测试配置是否正确
      [root@localhost ~]# /usr/sbin/nginx -s reload -c /usr/local/zstack/zstack-ui/configs/nginx.conf -p /usr/local/zstack/zstack-ui    //重新加载Nginx配置
  6. 升级容器管理到3.9.0版本。

    如当前容器管理已为3.9.0或之后版本,可跳过本步骤。

    1. 根据准备工作,准备容器管理3.9.0升级包。

    2. 登录Zaku-3云主机,将容器管理3.9.0升级包存放在/opt/zstack-edge目录。

    3. 在Zaku-3云主机执行以下命令,升级管理集群到3.9.0:

      解压容器管理3.9.0升级包
      [root@localhost ~]# cd /opt/zstack-edge
      [root@localhost ~]# tar -xzvf zaku-1.24-3.9.0-all-in-one-upgrade.tgz
      
      拷贝hosts.yaml配置文件,并确认当前环境机器配置信息是否正确
      (命令一:如当前容器管理直接从3.8.0升级到3.9.0,执行本命令进行拷贝)
      [root@localhost ~]# cp /opt/zstack-edge/kubespray/inventory/sample/hosts.yaml /opt/zstack-edge/upgrade-zaku-1.24-3.9.0/inventory/sample/hosts.yaml
      (命令二:如当前容器管理先从3.8.0之前版本升级到3.8.0,再升级到3.9.0,执行本命令进行拷贝)
      [root@localhost ~]# cp /opt/zstack-edge/upgrade-zaku-1.24-3.8.0/inventory/sample/hosts.yaml /opt/zstack-edge/upgrade-zaku-1.24-3.9.0/inventory/sample/hosts.yaml
      
      执行升级脚本
      [root@localhost ~]# cd /opt/zstack-edge/upgrade-zaku-1.24-3.9.0
      [root@localhost ~]# ansible-playbook -i inventory/sample/hosts.yaml zaku-management-upgrade.yml
      
      确认管理集群Pod状态,如ze-db-migration Pod状态为Completed,其他Pod状态为Running,表示管理集群升级完成
      [root@localhost ~]# kubectl get pod -A
    4. 在Zaku-3云主机执行以下命令,升级业务集群到3.9.0:

      执行升级脚本
      [root@localhost ~]# cd /opt/zstack-edge/upgrade-zaku-1.24-3.9.0
      [root@localhost ~]# bash zaku-upgrade/upgrade.sh    //按提示输入需升级的业务集群名称,如有多个业务集群,需依次升级
      
      确认业务集群是否为已升级状态
      [root@localhost ~]# bash zaku-upgrade/upgrade.sh
  7. 升级容器管理到3.10.0版本。

    • 如当前容器管理已为3.10.0或之后版本,可跳过本步骤。
    • 容器管理3.10.0支持将K8s 1.30业务集群热升级到K8s 1.35。
    1. 按照当前管理集群K8s版本准备对应的容器管理3.10.0升级包。软件包详情,请参考准备工作。

    2. 登录Zaku-3云主机,将容器管理3.10.0升级包存放在/opt/zstack-edge目录。

    3. 在Zaku-3云主机执行当前K8s版本对应的命令,将管理集群升级到3.10.0:

      • K8s 1.24:

        解压容器管理3.10.0升级包
        [root@localhost ~]# cd /opt/zstack-edge
        [root@localhost ~]# tar -xzvf zaku-1.24-3.10.0-all-in-one-upgrade.tgz
        
        拷贝hosts.yaml配置文件,并确认当前环境机器配置信息是否正确
        [root@localhost ~]# cp /opt/zstack-edge/upgrade-zaku-1.24-3.9.0/inventory/sample/hosts.yaml /opt/zstack-edge/upgrade-zaku-1.24-3.10.0/inventory/sample/hosts.yaml
        
        执行升级脚本
        [root@localhost ~]# cd /opt/zstack-edge/upgrade-zaku-1.24-3.10.0
        [root@localhost ~]# ansible-playbook -i inventory/sample/hosts.yaml zaku-management-upgrade.yml
        
        确认管理集群Pod状态,如ze-db-migration Pod状态为Completed,其他Pod状态为Running,表示管理集群升级完成
        [root@localhost ~]# kubectl get pod -A
      • K8s 1.35:

        执行升级脚本时,请根据当前环境的实际网络配置输入网关和子网掩码。配置错误可能导致网络异常。

        解压容器管理3.10.0升级包
        [root@localhost ~]# cd /opt/zstack-edge
        [root@localhost ~]# tar -xzvf zaku-1.35-3.10.0-all-in-one-upgrade.tgz
        
        拷贝hosts.yaml配置文件,并确认当前环境机器配置信息是否正确
        [root@localhost ~]# cp /opt/zstack-edge/kubespray/inventory/sample/hosts.yaml /opt/zstack-edge/upgrade-zaku-1.35-3.10.0/inventory/sample/hosts.yaml
        
        执行升级脚本,并根据提示输入当前环境的网关和子网掩码
        [root@localhost ~]# cd /opt/zstack-edge/upgrade-zaku-1.35-3.10.0
        [root@localhost ~]# source /opt/zstack-edge/ansible-env
        [root@localhost ~]# ansible-playbook -i inventory/sample/hosts.yaml zaku-management-upgrade.yml
        
        确认管理集群Pod状态,如ze-db-migration Pod状态为Completed,其他Pod状态为Running,表示管理集群升级完成
        [root@localhost ~]# kubectl get pod -A
    4. 管理集群升级完成后,在Zaku-3云主机执行当前K8s版本对应的命令,将业务集群逐个升级到3.10.0:

      • K8s 1.24:

        [root@localhost ~]# cd /opt/zstack-edge/upgrade-zaku-1.24-3.10.0
        [root@localhost ~]# bash zaku-upgrade/upgrade.sh
      • K8s 1.35:

        [root@localhost ~]# cd /opt/zstack-edge/upgrade-zaku-1.35-3.10.0
        [root@localhost ~]# bash zaku-upgrade/upgrade.sh

      请根据脚本提示输入待升级的业务集群名称。如有多个业务集群,请逐个升级。

    5. 如升级失败,请根据当前管理集群K8s版本检查对应目录下的升级日志:

      • K8s 1.24:/opt/zstack-edge/upgrade-zaku-1.24-3.10.0/zaku-upgrade/log
      • K8s 1.35:/opt/zstack-edge/upgrade-zaku-1.35-3.10.0/zaku-upgrade/log
  8. 更新容器管理集群。

    登录ZStack AIOS管理节点,执行以下命令,更新容器管理业务集群,清除脏数据:

    登录CLI命令行
    [root@localhost ~]# zstack-cli    //进入CLI命令行
    - >>>  LogInByAccount accountName=admin password=${Password}    //使用Admin账号密码登录
    admin >>> QueryContainerManagementEndpoint    //查询容器管理业务集群管理节点UUID
    admin >>> QueryZone    //查询区域UUID
    admin >>> DeleteContainerResourceFromEndpoint uuid=${ContainerManagementEndpointUuid}
    admin >>> SyncContainerManagementEndpoint uuid="${ContainerManagementEndpointUuid}" zoneUuid=${ZoneUuid}

至此,容器管理升级已完成。