ZStack Logo

ZStack AIOS

设置dGPU显存模板

按 AI 模型平台功能组织的 UI 操作说明和配置入口。

在为物理GPU启用dGPU模式前,需先为对应GPU规格设置dGPU显存模板,定义用户加载dGPU时可选的显存大小。模板对该GPU规格下所有已启用dGPU模式的物理GPU生效,修改后即时生效。

说明:
  • 仅NVIDIA厂商、且归属KVM集群的GPU规格支持设置dGPU显存模板。
  • 修改显存模板后,已创建并加载的dGPU可继续使用,新加载的dGPU将应用新的模板。

ZStack AIOS主菜单,点击资源中心 > 硬件设施 > GPU设备,进入GPU设备界面。在物理GPU标签页选择目标物理GPU,点击操作 > 启用dGPU模式,弹出启用dGPU模式界面。

在该界面点击设置显存模板,跳转至设置dGPU显存模板界面。

可参考以下示例输入相应内容:
  • 物理GPU规格:显示当前GPU规格的基础信息,包括厂商、显存大小等。
  • dGPU显存模板:设置用户加载dGPU时可选的显存大小。
    • 支持添加多个显存模板,每个模板为一个正整数(单位:GB),且不得超过当前GPU显存大小。
    • 点击添加显存模板可继续添加;已添加的模板可单独删除。
    • 至少需设置一个显存模板,且不支持重复值。
  • dGPU通信共享内存:用于在物理机上为dGPU创建专属底层高速通信设备。
    • 常规推理场景:建议设为256 MB
    • 高吞吐业务场景(如vLLM大语言模型):可适量调大,例如设为512 MB

设置完成后,点击确定保存。系统将在设置生效后,于设置dGPU显存模板区域展示当前已生效的模板及将应用到的设备数量。可点击查看设备列表,查看受影响的物理GPU设备。

图1所示:


图1 设置dGPU显存模板