ZStack Logo

ZStack AIOS

设置GPU分配策略

AIOS 用户侧功能说明,覆盖 GPU、模型仓库、推理服务和场景实践。

GPU分配策略用于设置按GPU规格加载GPU/vGPU设备的云主机,在创建或启动时如何选择物理机。平台会先根据GPU分配策略筛选支持目标GPU规格的物理机,再结合计算规格中的物理机分配策略选择最终运行节点。

配置位置

GPU分配策略支持在以下位置配置:
  • 全局设置:在设置 > 平台设置 > 全局设置 > 高级设置中,搜索并设置GPU分配策略。该设置对平台内所有按GPU规格加载GPU/vGPU设备的云主机生效,默认为分散优先
  • GPU规格:在资源中心 > 云资源池 > 计算配置 > GPU规格中,选择物理GPU规格或vGPU规格,按需设置GPU分配策略。若为GPU规格单独配置了GPU分配策略,则使用该GPU规格创建云主机时,优先按照该配置执行。

策略说明

全局设置支持以下策略:
  • 分散优先:优先选择GPU资源更空闲的物理机,提升负载均衡能力和业务稳定性。
  • 紧凑优先:优先选择GPU负载较高的物理机,提高单机利用率。
  • 不设置:不基于GPU负载筛选物理机,按所选计算规格的物理机分配策略调度。

GPU规格还支持跟随全局,表示使用全局设置中的GPU分配策略。

生效顺序

平台在创建或启动按GPU规格加载GPU/vGPU设备的云主机时,将按照以下顺序选择最终运行物理机:
  1. 基于云主机自定义调度策略,筛选初始可用物理机。
  2. 在满足云主机策略的前提下,根据GPU分配策略筛选支持目标GPU规格的物理机。
  3. 在满足GPU条件的物理机中,根据计算规格中的物理机分配策略选择最终运行节点。
  4. 若任一阶段无法筛选出符合条件的物理机,则云主机创建或启动失败。
说明: 修改后的策略对新建云主机直接生效,对已有云主机在下次重启后生效。