部署规划

术语定义

术语 定义
平台集群 承载容器云平台及相关组件的环境,由平台节点组成,不用于承载客户业务。
平台节点 用于部署容器平台的节点(物理机或虚拟机)。
基础服务VIP 平台集群内部服务组件高可用的IP地址。
控制台VIP 平台集群暴露web控制台页面、镜像仓库上传下接口的IP地址。
系统数据盘 平台集群中用于存放平台组件的数据,请确保每个平台节点都有一块磁盘作为系统数据盘。
业务集群 业务集群实际是一个Kubernetes集群,通过容器云平台创建,有独立的管理节点和计算节点,用于承载客户业务的Kubernetes集群。
托管集群 通过有效的kubeconfig文件,可以被容器云平台纳管的第三方Kubernetes集群。
管理节点 在 Kubernetes 官方文档中称为 control plane 节点,是业务集群的大脑,负责Kubernetes 资源的决策、调度和管理,不直接承载客户业务。
计算节点 在 Kubernetes 官方文档中称为 worker 节点,是实际承载客户业务的节点。
管理网 业务集群中与平台集群通讯的网络平面,主要用于集群管理、镜像分发、监控日志查询等。
业务网 业务集群中实际承载客户业务容器之间网络通讯的网络平面。
业务网VIP;管理网VIP 业务集群暴露 kube-apiserver、监控接口、日志接口等组件的地址。
监控日志数据盘 业务集群中用于存储监控数据和容器日志数据的磁盘,请确保每个管理节点都有一块磁盘作为监控日志数据盘。
镜像数据盘 业务集群中用于存放 containerd 等容器运行时的数据存储磁盘。当使用的镜像较多较大时,建议给节点专门加载一块磁盘存放镜像,避免将系统盘占满导致系统异常。
容器组网段 业务集群中为容器组分配IP地址的范围,仅用于集群内部,不会路由到集群外部。
服务网段 业务集群中为服务分配虚机IP地址(ClusterIP)的范围,仅用于集群内部,不会路由到集群外部。
外部网络 一个独立的IP地址段, 由容器组外部网络和服务外部网络组成。
容器组外部网络 为业务集群内的容器组提供独立的IP地址,该IP可以被业务集群外的物理机、虚拟机以及其他客户端直接访问。
服务外部网络 为业务集群内的服务提供独立的IP地址,该IP可以被业务集群外的物理机、虚拟机以及其他客户端直接访问。

部署流程

  1. 掌握部署架构、硬件兼容性以及授权计量方式

  2. 掌握节点规划、网络规划以及性能要求

  3. 部署前完善平台信息收集表

  4. 部署包下载、操作系统安装及网络配置

  5. 管理平台安装

  6. 业务集群创建

  7. 选配组件安装

  8. 平台巡检及功能测试

部署架构

ZStack Zaku 容器云平台可分为管理平台集群、业务集群以及托管集群,在部署之前请阅读本章节,了解和选用合适的部署架构,并合理规划节点容量和规模。

ZStack Zaku 容器云平台部署架构

管理平台集群

运行 ZStack Zaku 容器云平台的管理面组件,一套 ZStack Zaku 容器云平台仅包含一个管理平台集群。

自3.10.0版本起,管理平台集群可承载客户业务。

管理平台集群提供两种部署方案:

架构方案 节点数量 特点
非高可用架构 1 + N;1:管理节点数量;N:计算节点数量 占用资源少,具备全量功能演示能力。平台整体无高可用,建议用于demo演示、POC功能测试等场景,避免在生产环境中使用。管理节点和计算节点可以复用,形成 ALL in One 部署模式,以减少资源开支。
高可用架构 3 + N;3:管理节点数量;N:计算节点数量 占用资源较多,功能齐全。可用于生产环境。管理节点和计算节点可以复用,以减少资源开支,但不推荐该方案。仅用于客户资源不足场景下使用。
管理平台集群部署架构

业务集群

由容器云平台创建和生命周期管理的 Kubernetes 集群,承载客户业务,一套容器云平台中支持创建和管理多套业务集群。

架构方案 节点数量 特点
非高可用架构 1 + N;1:管理节点数量;N:计算节点数量 占用资源少,具备全量功能演示能力。平台整体无高可用,建议用于demo演示、POC功能测试等场景,避免在生产环境中使用。管理节点和计算节点可以复用,以减少资源开支。
高可用架构 3 + N;3:管理节点数量;N:计算节点数量 占用资源较多,功能齐全。可用于生产环境。计算节点推荐至少2个,满足最低限度的计算节点高可用冗余架构。管理节点和计算节点可以复用,以减少资源开支。
业务集群部署架构

托管集群

由第三方提供商创建的标准 Kubernetes 集群,可以在容器云平台上传 kubeconfig 文件后对该集群进行资源管理。纳管方案可以避免业务迁移及迁移引起的调试、中断等,但同时有以下限制:

  • 不提供 Kubernetes 集群层面的维护工作,不保障托管集群的稳定性、高可用等;不提供节点调优;不提供节点添加、移除等操作。

  • 部分功能不可用,例如微服务治理、监控日志报警、外部网络等。

第三方 Kubernetes 托管集群架构

硬件兼容性

ZStack Zaku 容器云平台支持软件与硬件松耦合方式部署,可部署于X86架构及ARM架构的物理服务器以及虚拟机上,支持物理机、虚拟机混合部署,以及X86架构、ARM架构的节点混合部署。用户可根据实际需求 ,提供合理的节点配置清单,对于具体的硬件品牌 ,ZStack Zaku 容器云平台无任何限制以及特殊要求。若用户有现存的服务器设备希望利旧,ZStack Zaku 容器云平台支持兼容利旧,统一通过容器云平台进行管理。

物理机、虚拟机和处理器架构兼容性

此外,ZStack Zaku 容器云平台支持与 ZStack Cloud 云平台以及 ZStack 企业级分布式存储平台组成完善的产品方案,支持由 ZStack Cloud 云平台统一授权、统一管理云主机和容器、提供业务集群计算节点自动扩缩容等,以及支持使用 ZStack 企业级分布式存储平台的块/文件存储能力为业务集群提供业务数据的持久化存储。

ZStack Zaku 与云平台和分布式存储的产品对接

授权计量

哪些节点需要计算授权?

ZStack Zaku 容器云平台的节点类型致分为 Kubernetes集群的管理节点和计算节点,计算授权的节点类型如下:

节点角色 授权计量
管理节点 不参与授权计量
计算节点 参与授权计量
管理节点与计算节点的授权计量范围

计算节点授权的计量具体如何计算?

根据下图所示,ZStack Zaku 容器云平台提供两种灵活的授权计量模式,分为vCPU授权以及CPU授权,以满足不同的业务场景需求:

CPU 授权与 vCPU 授权计量方式
  • vCPU授权模式:计算节点为虚拟机时采用该授权,按虚拟机的逻辑处理器(thread)数量计量。

  • CPU授权模式:计算节点为物理机时采用该授权,按物理机的处理器(socket)数量计量。

虚拟机 vCPU 授权计量示例
物理机 CPU 授权计量示例

节点规格规划

最简部署场景(All in One)

客户资源有限,仅能提供1台或少数几台节点用于POC测试。此时为了充分利用资源,可使用单节点 ALL IN ONE 方式部署,即单节点即承载管理平台组件也可承载客户业务系统。

单节点 All in One 部署方案

管理平台集群(一台起)实施部署,用于最小化部署平台及功能测试使用。不适用于多网络隔离、性能测试、高可用测试等场景。

集群类型 节点类型 数量 节点规格
管理平台集群(复用为业务集群) 管理平台节点 1 16C32G;300G系统盘 + 200G数据盘(混闪以上);千兆网卡 * 1

生产交付场景(物理机场景)

客户只有数台物理机并且无法提供虚拟机时,此时不推荐使用管理平台集群+业务集群的部署方案,独立部署管理平台集群将导致物理机资源闲置/浪费。

该方案至少需要三台物理机作为管理平台集群的管理/计算节点,并将剩余物理机添加为该集群的计算节点,使所有物理机计算资源得到充分利用。

生产环境物理机部署方案

管理平台集群(三台起,高可用)交付,并且对存储对接、网络隔离等没有特殊要求的场景,可用于生产环境交付、以及POC测试转生产。

集群类型 节点类型 数量 节点规格
管理平台集群(复用为业务集群) 管理节点;复用为计算节点 3 16C32G;500G系统盘 + 500G数据盘(混闪以上);万兆网卡 * 1
管理平台集群(复用为业务集群) 计算节点 0个或以上 16C32G;500G系统盘(混闪以上);万兆网卡 * 1

生产交付标准场景(虚拟机场景)

客户提供数台虚拟机搭建容器云平台,但无物理机资源。

管理平台集群由三台虚拟机搭建,不运行客户业务系统,避免因客户业务影响平台稳定性。

(推荐方案)业务集群由管理节点和计算节点组成,其中管理节点使用三台虚拟机搭建,不运行客户业务系统,避免因客户业务影响集群稳定性。剩余虚拟机作为计算节点添加到该集群中,运行客户业务系统。

管理节点与计算节点分离的部署方案

(次选方案)业务集群由管理节点和计算节点组成,因虚拟机资源紧张,管理节点使用三台虚拟机搭建,并复用为计算节点以运行客户业务系统。剩余虚拟机作为计算节点添加到该集群中,运行客户业务系统。

管理节点复用为计算节点的虚拟机部署方案

管理平台集群(三台,高可用)+业务集群(三台起,高可用)高可用交付,并且对存储对接、网络隔离等没有特殊要求的场景,可用于生产环境交付、以及POC测试转生产。

集群类型 节点类型 数量 节点规格
管理平台集群 管理平台节点 3 16C32G;500G系统盘 + 500G数据盘(混闪以上);万兆网卡 * 1
K8S业务集群 管理节点;复用为计算节点 3 16C32G;500G系统盘 + 500G数据盘(混闪以上);万兆网卡 * 1
K8S业务集群 计算节点 0个或多个 16C32G;500G系统盘(混闪以上);万兆网卡 * 1

生产交付标准场景(虚拟机+物理机混合场景)

客户提供数台虚拟机及物理机搭建容器云平台,虚拟机用于管理节点,物理机用于计算节点,最大化利用物理机的计算资源。

管理平台集群由三台虚拟机搭建,不运行客户业务系统,避免因客户业务影响平台稳定性。

业务集群由管理节点和计算节点组成,其中管理节点使用三台虚拟机搭建,不运行客户业务系统,避免因客户业务影响集群稳定性。剩余虚拟机或物理机作为计算节点添加到该集群中,运行客户业务系统。

管理节点与计算节点分离的部署方案

管理平台集群(三台,高可用)+业务集群(三台起,高可用)高可用交付,并且对存储对接、网络隔离等没有特殊要求的场景,可用于生产环境交付、以及POC测试转生产。

集群类型 节点类型 数量 节点规格
管理平台集群 管理平台节点 3 16C32G;500G系统盘 + 500G数据盘(混闪以上);万兆网卡 * 1
K8S业务集群 管理节点 3 16C32G;500G系统盘 + 500G数据盘(混闪以上);万兆网卡 * 1
K8S业务集群 计算节点 2个或多个 16C32G;500G系统盘(混闪以上);万兆网卡 * 1

通用规划

容器云平台节点类型一般分为管理平台集群的管理节点、业务集群的管理节点以及计算节点(包含管理平台集群的计算节点以及业务集群的计算节点)。本章节提供POC场景及生产场景的最小节点资源要求,可以根据业务实际需求动态上调资源规格。

管理平台节点、业务集群管理节点与计算节点规划

管理平台集群节点资源要求

管理平台集群所使用的节点,物理机或虚拟机必须满足以下硬件要求:

硬件 最低(POC环境) 推荐(生产环境)
主机 适用于物理机、虚拟机 适用于物理机、虚拟机
数量 1 3
CPU 16核(3节点部署时可降配至8核) 16核 +
内存 32G(3节点部署时可降配至16G) 32G +
系统盘 300G 500G +
数据盘 200G(3节点部署时需调整至400G) 500G +
镜像数据盘(选配) 100G 300G +
网卡 1Gbps * 1 10Gbps * 1
网络 节点间网络互通。 节点间网络互通。

业务集群管理节点资源要求

业务集群的管理节点,必须满足以下硬件要求:

硬件 最低(POC环境) 推荐(生产环境)
主机 适用于物理机、虚拟机 适用于物理机、虚拟机
数量 1 3
CPU 8核 16核 +
内存 16G 32G +
系统盘 300G 500G +
数据盘 400G 500G
镜像数据盘(选配) 100G 200G +
网卡 1Gbps * 1 10Gbps * 1
网络 节点间网络互通。 节点间网络互通。

计算节点资源要求

业务集群的计算节点,必须满足以下硬件要求:

硬件 最低 推荐(生产环境)
主机 适用于物理机、虚拟机 适用于物理机、虚拟机
数量 1 2 +
CPU 4核 16核 +
内存 8G 32G +
系统盘 100G 500G +
镜像数据盘(选配) 100G 200G +
网卡 1Gbps * 1 10Gbps * 1
网络 与其他主机节点IP互通。 与其他主机节点IP互通。

存储容量规划

由节点规格规划可知,云原生平台的管理集群节点以及业务 Kubernetes 集群的管理节点均需要配备数据盘(非系统盘,非镜像数据盘),用于存放额外落盘的数据文件。这些数据盘用于存放容器平台数据库文件、监控数据、日志数据、容器镜像文件等。

上文提供的数据盘容量一般能够支持小型集群(10节点以下)7天的数据存储,不一定能够满足客户对监控、日志等存储时间的要求,以及容器镜像仓库容量的需求,需要评估数据盘存储容量大小。

物理机部署的环境,务必充分评估数据盘容量需求。

监控存储容量评估

监控存储容量可参考 容器组130个 + 保留30天,约占用25Gi存储空间。

集群 命名空间 组件名称 每台管理节点存储容量需求 用途
管理集群 monitoring prometheus 30Gi 节点、容器监控数据
业务集群 monitoring prometheus 100Gi 节点、容器监控数据

日志存储容量评估

日志存储容量受容器组输出日志量而定,没有标准/可靠的计算公式。建议参考客户现有业务的日志量进行评估。

集群 命名空间 组件名称 每台管理节点存储容量需求 用途
管理平台 monitoring loki 30Gi 容器日志、事件存储,审计存储
业务集群 monitoring loki 250Gi 容器日志、事件存储

镜像仓库容量评估

镜像仓库容量受用户使用方式而定,没有标准/可靠的计算公式。建议参考客户现有业务的镜像大小、业务规模以及容器镜像迭代周期等进行评估。

集群 命名空间 组件名称 每台管理节点存储容量需求 用途
管理平台 zstack-storage zstack-pool 300Gi 镜像仓库后端存储,使用9块数据盘做EC:4冗余模式,实际可用空间约500Gi
业务集群 无 无 0Gi 无

其他存储空间分配情况

其他平台组件使用的存储空间一般无需调整,保留默认值即可。

集群 每台管理节点存储容量需求约
管理集群 30Gi
业务集群 2Gi

存储空间需求明细:

集群 命名空间 组件信息 默认容量 作用
管理平台 zstack-middleware postgres 10Gi 容器云平台元数据信息
管理平台 zstack-middleware redis 5Gi 平台登录缓存、镜像元数据缓存等
管理平台 monitoring alertmanager 10Gi 告警规则
管理平台 zstack-devops mongodb 10Gi devops模块数据库
管理平台 zstack-devops mysql 5Gi devops模块数据库
管理平台 harbor trivy 3Gi 漏洞数据库缓存
管理平台 harbor jobservice 1Gi 作业日志等
管理平台 harbor jobservice-scandata 1Gi 扫描原始报告数据
业务集群 monitoring alertmanager 2Gi 告警规则

容量评估汇总

容量项目 管理集群 业务集群
监控容量 30Gi 100Gi
日志容量 30Gi 250Gi
镜像仓库容量 300Gi 0Gi
其他存储空间容量 30Gi 2Gi
总计 ≈ 390Gi ≈ 352Gi

网络规划

容器云平台上的网络规划逻辑上一般可分为管理网络、业务网络及存储网络。若将管理平台集群开放部署业务应用时,管理平台集群的网络架构应同步参考业务集群网络架构。

适用范围 网络名称 作用
管理平台集群 管理网络 用于管理平台集群内的组件通讯、用户访问等。
业务集群 管理网络 用于管理平台集群与业务集群通讯,管理业务集群、节点、镜像分发、监控/日志查询等。
业务集群 业务网络 用于业务集群内 Kubernetes 组件自治管理。用于容器跨节点通讯。用于容器业务流量出集群(SNAT)使用的网络。
业务集群 存储网络 用于业务集群对接存储平台,提供数据卷的持久化功能。业务集群的存储网络视存储平台网络架构而定。

管理/业务网络规划

管理网络与业务网络是在部署管理平台集群以及业务集群时必须要充分掌握的网络架构,以下提供两种管理/业务网络设计方案。

管理网络和业务网络复用方案

管理网络和业务网络复用是常用的网络规划方案,也是最为简单的网络规划方案。

此时所有节点均配备一张网卡,管理平台集群与业务集群可以部署在不同网段内,通过三层路由互联互通。

管理网络与业务网络复用方案
网络架构 管理平台集群 业务集群
管理/业务网络 N + 2 个;N:集群内节点总数;2:基础服务VIP地址 + 控制台VIP地址 N + 1 个;N:集群内节点总数;1:业务网络VIP地址

IP地址统计表

管理网络与业务网络分离方案

管理网络和业务网络分离面向网络安全要求较高的网络规划方案,主要区别在于将管理/业务网络拆分成两个独立的网络,即管理网络和业务网络。

此时要求管理平台集群和业务集群的管理网络在同一网段内,需要注意业务节点的默认路由设置在业务网络上。

管理网络与业务网络分离方案
网络架构 管理平台集群 业务集群
管理网络 N + 2 个;N:集群内节点总数;2:基础服务VIP地址 + 控制台VIP地址 N + 1 个;N:集群内节点总数;1:管理网络VIP地址
业务网络 0 N + 1 个;N:集群内节点总数;1:业务网络VIP地址

IP地址统计表

存储网络规划

ZStack 企业级分布式存储平台提供块存储与文件存储能力,确保核心业务数据安全落地、永续留存,为业务数据提供高可用、高性能的持久化数据底座。无缝对接容器业务集群工作负载,打造从计算到存储的云原生基础设施方案。

业务集群与 ZStack 分布式存储对接架构

不同的存储平台对应的存储网络方案各不相同。以下以 ZStack 企业级分布式存储平台为例,提供几种存储网络规划方案供参考:

注:管理平台集群无需对接分布式存储,所以本小节均未展示管理平台集群的拓扑。

适用场景:ZCE-X(iscsi)、ZStone(rbd)

业务集群所有计算节点增加存储网络。

存储网络要求:

  • 业务集群与存储集群的管理网络互通。

  • 业务集群与存储集群的存储外网(public-network)二层互通。

注:存储外网通常不设置网关,所以需要二层互通。

ZCE-X iSCSI 与 ZStone RBD 存储网络规划

适用场景:ZStone(ZBS)

业务集群所有计算节点增加存储网络。

存储网络要求:

  • 业务集群与存储集群的存储外网(public-network)二层互通。

注:存储外网通常不设置网关,所以需要二层互通。

ZStone ZBS 存储网络规划

适用场景:ZCE-X(nfs)

业务集群所有计算节点按需增加存储网络。

存储网络要求:

  • 业务集群与存储集群的 NFS 网关地址互联互通。
ZCE-X NFS 存储网络规划

作为Cloud容器模块时的网络规划

在管理/业务网络规划的基础上,将 Cloud 云平台的管理网络与 Zaku 管理平台集群网络互通即可。

管理网络/业务网络复用方案

确保Cloud双MN节点与管理平台集群互联互通。

对接 ZStack Cloud 时管理网络与业务网络复用

管理网络/业务网络分离方案

Cloud双MN节点与管理平台集群/业务集群管理网络在同一个网段内。

注:ZStack Cloud云平台管理网络通常使用千兆网络,使用该方案时建议将管理网络提升至万兆。

对接 ZStack Cloud 时管理网络与业务网络分离

性能要求

磁盘要求:

平台节点及业务集群管理节点上运行有etcd,建议使用高速硬盘,如混闪、SSD或NVME,以保证etcd的性能。

IOPS 要求:

项 要求
随机写入;Random Write IOPS 每个ETCD节点的磁盘应该能够提供至少1000到2000的随机写入IOPS
随机读取;Random Read IOPS 每个ETCD节点的磁盘应该能够提供至少1000到2000的随机写入IOPS
顺序写入;Sequential Write IOPS 尽管ETCD主要进行随机写入,但顺序写入IOPS也是一个考虑因素。每个ETCD节点的磁盘应该至少能够提供100~500的顺序写入IOPS。
fsync延迟 延迟小于10ms的数据同步写入磁盘性能,以确保etcd稳定性。

注:HDD本地盘通常不满足以上性能需求

网络性能要求:

项 要求
带宽要求 至少1Gbps的网络速率。
延迟要求 小于0.5ms的网络延迟,以确保高性能。

平台信息收集

掌握部署架构及部署规划完成后,为顺利完成安装、配置与使用,部署平台所需的所有信息可通过下表收集,建议部署前提前准备。

当使用IaaS虚拟化环境部署平台时,请确认VIP地址合理分配,避免IP地址冲突。例如在 ZStack Cloud 云平台上创建虚拟IP占位基础服务VIP和控制台VIP地址,防止其他云主机分配到该地址导致IP地址冲突。

安装包信息

项目 示例值 备注
产品版本 V3.10.0 主安装包版本
DevOps增值模块 是 部署DevOps增值模块
存储插件包 是 部署CSI插件;该插件用于对接 ZStone-rbd、ZCE-iscsi和ZCE-nfs

操作系统信息

项目 示例值 备注
CPU架构 x86_64 可选x86_64或arm64
操作系统镜像 ZStack H84r x86_64支持H84r、麒麟V10SP3.2403;arm64支持麒麟V10SP3.2403
操作系统安装方式 ISO 可选ISO或qcow2
操作系统分区;及注意事项 standard标准分区;关闭swap 其他注意事项参考安装操作系统章节
节点root密码 password qcow2镜像默认密码zstack@123@%
DNS服务器 172.27.8.5 可选
NTP服务器 172.27.8.5 可选

Cloud 云平台对接(可选)

项目 示例值 备注
云平台API地址 云平台API地址 授权方式发生变化,将由容器云平台独立授权转为Cloud云平台模块许可证授权,分为容器管理-CPU和容器管理-vCPU
云平台admin密码 password
容器页面嵌入云平台 是 页面嵌入云平台

管理平台集群网络配置信息

项目 管理网络信息 备注
IP地址 10.16.209.21;10.16.209.22;10.16.209.23
掩码 255.255.255.0
网关 10.16.209.254
VLAN_ID trunk + VLAN_ID=9 可选access或trunk+VLAN_ID=10
基础服务VIP 10.16.209.20 与IP地址同网段
控制台VIP 10.16.209.25 与IP地址同网段

业务集群-1 信息

项目 示例值 备注
集群名称 cluster-1 字母、“-”符号和数字的组合
Kubernetes版本 1.30 可选 1.24 或 1.30
管理节点数量 3 单节点集群部署时,管理节点总计为1台(仅POC,不可用于生产交付);高可用集群部署时,管理节点总计为3台
计算节点数量 5 高可用集群部署时,推荐至少2台起;计算授权

业务集群网络配置信息

网络配置信息 IPMI信息 管理网络信息 业务网络信息 存储网络信息
IP地址 10.16.200.21;10.16.200.22;10.16.200.23 10.16.209.41;10.16.209.42;10.16.209.43 10.16.210.41;10.16.210.42;10.16.210.43 192.168.209.41;192.168.209.42;192.168.209.43
掩码 255.255.255.0 255.255.255.0 255.255.255.0 255.255.255.0
网关 10.16.200.254 10.16.209.254 10.16.210.254 无
集群VIP地址 无 10.16.209.45 10.160.210.45 无
VLAN_ID access access trunk VLAN_ID=10 access
登录信息 admin / password root / password root / password root / password
容器组网段 无 10.233.64.0/18 10.233.64.0/18 10.233.64.0/18
服务网段 无 10.233.0.0/18 10.233.0.0/18 10.233.0.0/18
服务外部网络 无 无 10.16.210.30~79 无
容器组外部网络 无 无 10.16.210.80~89 无