平台部署

使用ISO文件安装操作系统

ZStack Zaku 容器云平台使用 ZStack 定制的ISO镜像，除麒麟V10SP3-GFB操作系统外，其他操作系统在x86与ARM服务器上安装流程一致，下文介绍系统安装的详细步骤：

1. 配置服务器

   • 确认服务器内硬盘的数据已备份，安装过程会覆盖写入。

   • 进入阵列卡配置合适的RAID级别，以提供一定的数据冗余特性。(虚拟机上安装时略)

   • 设置系统启动盘为第一启动顺序。

2. 选择引导项

   进入ISO系统引导界面，选择默认选项开始安装操作系统。

   • 提供以下安装方式：图形界面方式、VNC方式和字符安装方式，您可根据实 际情况选择，建议使用图形界面安装。

   • 若服务器无VGA接口，仅支持串口连接，您可使用VNC方式或字符安装方式。

   

3. 查看安装配置汇总

   该页面展示系统安装配置，您可按需修改，默认已配置以下内容：

   • DATE&TIME：默认亚洲东八区，建议管理员提前检测主机时间，配置为当前时间和时区

   • LANGUAGE：默认English (United States)

   • KEYBOARD：默认English (US)

   

   系统安装界面

4. 选择安装模式

   在安装配置汇总界面，点击SOFTWARE SELECTION，进入安装模式选择界面，选择ZStack Compute Node模式。

   

5. 配置硬盘分区

   在安装配置汇总界面，点击INSTALLATION DESTINATION，进入硬盘分区界面。

   建议此处仅配置系统盘，其余磁盘可在系统安装后配置。配置硬盘时，建议使用Custom.手动配置硬盘分区：

   

   根据BIOS引导模式参考以下内容进行配置：

   • UEFI 模式

   分区	容量	描述
   /boot	1G	存放Linux 启动所需的核心文件
   /boot/efi	500M	存放UEFI启动引导文件
   /	所有剩余空间	Linux系统根目录
   swap	删除	交换分区

   • Legacy模式

   分区	容量	描述
   /boot	1G	存放Linux 启动所需的核心文件
   /	所有剩余空间	Linux系统根目录
   swap	删除	交换分区

   

6. 操作系统安装完成后将自动重启服务器

   略。

通过qcow2文件安装操作系统

1. 创建虚拟机

   按照节点规格、网络规划以及性能要求创建虚拟机即可，此处略过虚拟机创建过程。

   创建虚拟机过程中，建议配置虚拟机互斥策略，使虚拟机调度到不同物理机上，避免单台物理机故障影响 ZStack Zaku 容器云平台以及业务集群的高可用性。其中管理平台集群、业务集群管理节点、业务集群计算节点可各自创建一个互斥分组。

2. 虚拟机根云盘扩容

   qcow2镜像文件系统约20~30GB大小，虚拟机实例创建完成后，需要扩容系统盘。请先在IaaS虚拟化平台上扩容系统盘容量，再进入操作系统执行扩容步骤：

   # 扩容盘符，以操作系统内系统盘为vda为例
   fdisk /dev/vda

   依次输入 n、p、w。

   # 刷新分区并创建物理卷， /dev/vda3为刚刚新建的分区
   partprobe /dev/vda
   pvcreate /dev/vda3
   
   # 将物理卷扩展到卷组
   vgextend zstack /dev/vda3
   
   # 将卷组中的空闲空间扩展到根分区逻辑卷
   lvextend -l +100%FREE /dev/mapper/zstack-root
   
   # 刷新根分区
   xfs_growfs  /dev/mapper/zstack-root    # xfs格式
   resize2fs /dev/mapper/zstack-root    # ext4格式
   
   # 查看根盘是否扩容成功
   df -h

所有节点均为虚拟机

此示例中，大部分网卡名称为相同(enp3s0、ens3和ens4)，仅业务集群一台计算节点的管理网卡名称需要调整。

ens3 网卡标准配置步骤（若节点上已从DHCP自动获取IP地址，可以不用执行该步骤）：

# 为 ens3 网卡配置IP地址
# zs-network-setting -i <网卡名称> <IP地址> <子网掩码> <网关地址>
zs-network-setting -i ens3 172.27.210.111 255.255.255.0 172.27.210.1

ens9 网卡与其他网卡名称不一致，需要做网卡归一化处理：

# 创建 bond
# zs-bond-ab -c <bond名称>
zs-bond-ab -c ens3

# 将ens9网卡添加至bond(ens3)中
# zs-nic-to-bond -a <bond名称> <网卡名称>
zs-nic-to-bond -a ens3 ens9

# 为bond(ens3)配置IP地址
# zs-network-setting -i <bond名称> <IP地址> <子网掩码> <网关地址>
zs-network-setting -i ens3 172.27.210.112 255.255.255.0 172.27.210.1

所有节点均为物理机

为满足网口带宽容量和高可靠需要，在实际生产环境中需要实施网卡捆绑（bond）配置，配置完成后确保bond网卡名称一致即可。

物理网卡配置有以下建议：

• 管理、业务、存储网络建议在物理链路层面进行隔离，同时均采用双链路配置bond。

• bond模式优先使用链路聚合模式，进一步提高网络带宽。

• 相同型号网卡可以设置跨物理网卡做bond配置，达到跨物理网卡板卡冗余。

此处以业务集群管理网络为例：

• 物理机上的物理网卡名称可能各不相同，但最终配置完bond后bond网卡名称一致即可，此例中网卡名称均为bond0.33。

• 业务网络和存储网络同理，同时约定bond0管理网络，bond1业务网络，bond2存储网络。

网卡无VLAN子接口时参考以下方式：

# 创建 bond
# zs-bond-ab -c <bond名称>；若使用链路聚合模式，则使用 zs-bond-lacp 命令创建bond
zs-bond-ab -c bond0   # 或 zs-bond-lacp -c bond0

# 将两块物理网卡添加至bond0中
# zs-nic-to-bond -a <bond名称> <网卡名称>
zs-nic-to-bond -a bond0 p1p1
zs-nic-to-bond -a bond0 p2p1

# 为bond0配置IP地址
# zs-network-setting -i <bond名称> <IP地址> <子网掩码> <网关地址>
zs-network-setting -i bond0 172.27.210.111 255.255.255.0 172.27.210.1

网卡需要配置VLAN子接口时参考以下方式：

# 创建 bond
# zs-bond-ab -c <bond名称>；若使用链路聚合模式，则使用 zs-bond-lacp 命令创建bond
zs-bond-ab -c bond0   # 或 zs-bond-lacp -c bond0

# 将两块物理网卡添加至bond0中
# zs-nic-to-bond -a <bond名称> <网卡名称>
zs-nic-to-bond -a bond0 p1p1
zs-nic-to-bond -a bond0 p2p1

# 创建vlan子接口
# zs-vlan -c <bond名称> <vlan子接口ID>
zs-vlan -c bond0 33

# 为bond0.33子接口配置IP地址
# zs-network-setting -i <vlan子接口名称> <IP地址> <子网掩码> <网关地址>
zs-network-setting -i bond0.33 172.27.210.111 255.255.255.0 172.27.210.1

虚拟机与物理机混合使用

平台支持物理机和虚拟机混合部署，而物理机的网卡名称又与虚拟机的网卡名称有较大的差异，同样需要做网卡名称归一化处理。

此示例中，业务集群的管理节点均为虚拟机，管理网卡名称为ens3。而计算节点为物理机，需要将物理机管理网卡的bond名称配置为ens3。

物理机bond配置方式如下：

1. 若网卡上存在配置，则参考网卡配置回滚小节移除网卡配置。

2. 创建bond并配置IP地址

   网卡无VLAN子接口时参考以下方式：

   # 创建 bond
   # zs-bond-ab -c <bond名称>；若使用链路聚合模式，则使用 zs-bond-lacp 命令创建bond
   zs-bond-ab -c ens3   # 或 zs-bond-lacp -c ens3
   
   # 将两块物理网卡添加至ens3中
   # zs-nic-to-bond -a <bond名称> <网卡名称>
   zs-nic-to-bond -a ens3 p1p1
   zs-nic-to-bond -a ens3 p2p1
   
   # 为ens3配置IP地址
   # zs-network-setting -i <bond名称> <IP地址> <子网掩码> <网关地址>
   zs-network-setting -i ens3 172.27.210.111 255.255.255.0 172.27.210.1

   网卡需要配置VLAN子接口时参考以下方式：

   物理机节点提前准备zaku-vlan工具。

   # zs-vlan工具分为H84r操作系统以及麒麟操作系统，根据现场环境进行下载
   # H84r操作系统
   mv zaku-vlan-h84r /usr/local/bin/zaku-vlan
   chmod a+x /usr/local/bin/zaku-vlan
   
   # 麒麟操作系统
   mv zaku-vlan-kylin /usr/local/bin/zaku-vlan
   chmod a+x /usr/local/bin/zaku-vlan

   创建VLAN子接口命令行。

   # 创建 bond
   # zs-bond-ab -c <bond名称>；若使用链路聚合模式，则使用 zs-bond-lacp 命令创建bond
   zs-bond-ab -c bond0   # 或 zs-bond-lacp -c bond0
   
   # 将两块物理网卡添加至bond0中
   # zs-nic-to-bond -a <bond名称> <网卡名称>
   zs-nic-to-bond -a bond0 p1p1
   zs-nic-to-bond -a bond0 p2p1
   
   # 创建vlan子接口ens3
   # zaku-vlan -c <vlan子接口名称> <bond名称> <vlan子接口ID>
   zaku-vlan -c ens3 bond0 33
   
   # 为ens3（bond0子接口）配置IP地址
   # zs-network-setting -i <vlan子接口名称> <IP地址> <子网掩码> <网关地址>
   zs-network-setting -i ens3 172.27.210.111 255.255.255.0 172.27.210.1

网卡配置回滚

# 清理网卡接口的IP、掩码、网关和网桥
zs-restore-network-setting -i bond0     # 无vlan配置时
zs-restore-network-setting -i bond0.33  # vlan配置时

# 将物理网卡p1p1和p1p2移出bond
zs-nic-to-bond -d bond0 p1p1
zs-nic-to-bond -d bond0 p2p1

# 删除基于bond0、vlan33创建的子接口ens3
zaku-vlan -d ens3 bond0 33

# 删除vlan子接口bond0.33
zs-vlan -d bond0 33

# 删除bond
zs-bond-ab -d bond0

安装部署引导程序

ZStack Zaku部署视频演示：zaku专业版管理平台安装演示视频链接

将部署包下载至第三台管理平台集群节点/root目录，并执行以下命令

bash zaku-1.24-3.X.0-all-in-one.bin

安装完成后，使用Chrome浏览器访问 http://服务器IP地址:12000，通过图形化界面部署 ZStack Zaku 容器云平台。点击表单部署的开始部署按钮，进入部署向导。

部署向导

1. 平台配置

   配置ZStack Cloud许可证对接、页面嵌入配置等。

   参数	用例	描述
   外部NTP服务器	ntp1.aliyun.com	用于各节点同步时钟
   ZStack云平台许可证服务	开启	开启后，Zaku平台作为Cloud平台的子模块运行。
   ZStack云平台API地址	172.21.1.50	/
   ZStack云平台admin密码	password	/
   嵌入ZStack云平台	开启	开启后，ZStack Cloud平台上可直接管理容器资源。
   ZStack云平台地址	http://172.21.1.50:5000	ZStack Cloud平台的页面访问地址

   

   如需与ZStack Cloud云平台统一界面使用，需要在 ZStack Cloud 云平台的MN节点上按照提示配置nginx文件。

   

2. 节点配置

   配置节点IP等基础信息。

   参数	用例	描述
   管理网与业务网复用	开启
   集群高可用	开启	管理平台集群支持高可用
   管理网IPv4地址	172.31.12.183；172.31.12.145；172.31.12.236	各节点的IP地址
   业务网IPv4地址	自动复用管理网IP地址
   节点名称	zaku-1；zaku-2；zaku-3
   节点ROOT密码	password
   节点SSH端口	22

   

3. 基础配置

   配置节点IP等基础信息。

   参数	用例	描述
   管理网IPv4子网掩码	255.255.255.0
   管理网IPv4网关	172.31.12.1
   基础服务管理网VIP	172.31.1.21	用于平台高可用管理
   基础服务业务网VIP	自动复用管理网IP地址	用于平台高可用管理
   控制台管理网VIP	172.31.12.160	用于访问Zaku容器云平台
   平台数据磁盘	/dev/vdb	存放平台元数据、容器镜像的存储空间、监控数据、日志数据等
   容器组网段	10.233.64.0/18	容器组IP从该网段中分配IP地址。需要确认该网段是否和内网网段冲突。
   服务网段	10.233.0.0/18	service服务从该网段中分配IP地址。需要确认该网段是否和内网网段冲突。
   DNS服务器	223.5.5.5
   镜像数据磁盘	空	存放containerd数据文件的存储空间

   

4. 确认配置

   查看各项参数填写是否正确。

   

5. 生成YAML配置

   如遇特殊需求可修改YAML文件进行部署，修改前建议联系原厂工程师进行评估。

   最终部署脚本以YAML配置文件为准。

   

6. 安装部署

   整个平台部署时间预计40分钟左右，受服务器性能和网络影响部署时间会有增减。

   每步骤右侧提供操作按钮，可以查看部署日志以及重试当前步骤。当部署出现报错时，可根据步骤的日志进行排查分析。

   

7. 部署完成

   部署成功后，点击进入控制台跳转至 Zaku 控制台页面，默认账号密码 admin / admin@123

   

申请授权

登录平台后，将自动跳转至许可证管理页面，下载请求码提供给原厂工程师申请授权。

授权申请成功后，通过右上角上传许可证按钮上传授权文件。

ZStack Cloud 云平台对接配置

可选配置。该配置用于 ZStack Cloud 云平台租户管理模块与 ZStack Zaku 容器云平台的对接。

前提条件：

• ZStack Cloud 云平台5.5.16 至 5.5.24 版本。

• ZStack Cloud 云平台开启租户管理模块

对接步骤如下：

1. 获取以下四项信息

   描述	例
   ZStack Cloud云平台密码	password
   ZStack Zaku控制台VIP	172.10.207.201
   AccessKeyId	QQxxxxxxxxxxxxBz
   AccessKeySecret	56lxxxxxxxxxxxxxxvc

   其中，AccessKeyId和AccessKeySecret可登录 ZStack Cloud 云平台后，前往容器管理 > 服务设置 > AccessKey管理获得。

   

2. 使用 zstack-cli 命令行工具配置 AddContainerManagementEndpoint

   SSH 登录 ZStack Cloud 云平台任意一台管理节点，参考以下命令配置。

   注：红字部分根据实际环境进行替换

   # 登录 ZStack Cloud 命令行控制端
   # zstack-cli LogInByAccount accountName=admin password=<ZStack Cloud云平台密码>
   zstack-cli LogInByAccount accountName=admin password=password
   
   # 添加 ContainerManagementEndpoint 资源
   # zstack-cli AddContainerManagementEndpoint \
   # name=zaku-1 \
   # description=zaku-1 \
   # managementIp=<ZStack Zaku控制台VIP> managementPort=80 \
   # containerAccessKeyId=<AccessKeyId> \
   # containerAccessKeySecret=<AccessKeySecret> \
   # vendor=zaku
   zstack-cli AddContainerManagementEndpoint \
   name=zaku-1 \
   description=zaku-1 \
   managementIp=172.10.207.201 managementPort=80 \
   containerAccessKeyId=QQxxxxxxxxxxxxBz \
   containerAccessKeySecret=56lxxxxxxxxxxxxxxvc \
   vendor=zaku

3. 确认配置已添加

   zstack-cli QueryContainerManagementEndpoint
   # 返回 json 格式结果

   {
       "inventories": [
           {
               "createDate": "Sep 4, 2024 2:36:06 PM",
               "description": "Zaku体验环境",
               "lastOpDate": "Sep 4, 2024 2:36:06 PM",
               "managementIp": "172.31.1.39",
               "managementPort": 80,
               "name": "zaku",
               "uuid": "5dxxxxx0c",
               "vendor": "zaku"
           }
       ],
       "success": true
   }

4. 配置回滚

   通过以下命令删除配置

   zstack-cli DeleteContainerManagementEndpoint uuid=5dxxxxx0c

进入创建向导

登录 ZStack Zaku 容器云平台，进入平台管理下集群页面，点击创建集群进入向导。

节点配置

基础配置

确认配置

查看各项参数填写是否正确，确认完毕后点击确定按钮，开始安装业务kubernetes集群。

查看安装日志

集群创建过程中，可通过日志图标查看集群安装日志。

业务集群安装完成

集群安装完成后，处于运行中状态。也可通过一键巡检功能，巡检集群状态。

业务集群运行中状态