GPU设备
概览
GPU设备是一种拥有高并行计算能力的微处理器,可用于加速大规模计算负载。除图形渲染任务外,GPU现已成为AI训练与推理的核心硬件,能够有效提升深度学习、大模型推理、数据处理等业务效率。通过透传、vGPU、dGPU、整卡调度、显存切分等技术,GPU可以以整卡或细粒度切片的形式,为云主机和容器提供弹性化的算力支撑,提升AI服务的吞吐能力、响应速度和资源利用率。
GPU技术
ZStack Cloud支持多种GPU分配方式,可将GPU通过以下技术挂载至云主机或容器:
云主机
透传
将物理GPU机器关联外设 (如显卡、声卡、推理卡等) 作为整体单元直接分配给云主机使用。云主机完全独占该物理GPU,获得物理GPU强劲的并行计算能力。
以下GPU型号支持透传:
厂商 型号 NVIDIA Nvidia RTX 6000Ada、Nvidia RTX A6000 GeForce RTX 5090、Geforce RTX 4090、Nvidia RTX 3090 Quadro RTX 8000、Quadro RTX 6000 M4000、P2000 GTX 1650/1660、GTX 1060ti H100、H200、H800、H20
仅ZStack Cloud H84R ISO支持。
Nvidia L40、Nvidia L20、Nvidia L4 Nvidia A100、Nvidia A30 Nvidia A40、Nvidia A16、Nvidia A10、Nvidia T4 Tesla V100、Tesla P4/6/40/100、M6/10/60 K6000 AMD Radeon v620、Radeon RX5700 RRO W7800
暂不支持透传使用Windows操作系统的云主机
FirePro S7150、FirePro S7150X2 华为 Atlas 300i pro
仅支持透传ARM物理机上的本型号GPU
910B3/4
仅支持透传ARM物理机上的本型号GPU
Hygon Z100、Z100L K100-AI 燧原 S60 天数智芯 智铠MR-V100 天垓 瀚博 SV100、SG100
SG100不建议直接透传,建议切分vGPU后再加载使用。
昆仑芯 P800 阿里PPU PPU-ZW810E 其他 沐曦N100、摩尔线程、寒武纪等 虚拟化切割 (vGPU)
通过GPU虚拟化技术,将单张物理GPU切割为多个更小规格的vGPU,形成细粒度vGPU资源池,便于用户快速创建轻量化云主机,实现资源弹性部署,有效提升GPU利用率,节约成本。
目前,暂不支持使用vGPU部署云主机AI服务。
以下GPU型号支持虚拟化切割:
厂商 型号 NVIDIA Nvidia RTX 6000Ada、Nvidia RTX A6000 Quadro RTX 8000、Quadro RTX 6000 H100、H200、H800、H20
仅ZStack CloudH84R ISO支持。
Nvidia L40、Nvidia L20、Nvidia L4 Nvidia A40、Nvidia A16、Nvidia A10、Nvidia T4 Tesla V100、Tesla P4/6/40/100、M6/10/60 AMD FirePro S7150、FirePro S7150X2 瀚博 SV100、SG100 动态切分与调度 (dGPU)
基于CUDA API拦截转发技术,按需切分物理GPU显存,并动态分配给多个云主机使用,最大化资源利用率。适用于AI推理、深度学习等业务场景。
使用本功能,需购买dGPU算力切分许可证。
以下GPU型号支持dGPU功能:
厂商 型号 NVIDIA Nvidia RTX 6000Ada、Nvidia RTX A6000 GeForce RTX 5090、Geforce RTX 4090、Nvidia RTX 3090 Quadro RTX 8000、Quadro RTX 6000 H100、H200、H800、H20
仅ZStack CloudH84R ISO支持。
Nvidia L40、Nvidia L20、Nvidia L4 Nvidia A100、Nvidia A30 Nvidia A40、Nvidia A16、Nvidia A10、Nvidia T4 Tesla V100
容器
整卡调度
将物理GPU设备直接加载给容器使用。
以下GPU型号支持容器整卡调度:
厂商 型号 NVIDIA Nvidia RTX 6000Ada、Nvidia RTX A6000 GeForce RTX 5090、Geforce RTX 4090、Nvidia RTX 3090 Quadro RTX 8000、Quadro RTX 6000 M4000、P2000 GTX 1650/1660、GTX 1060ti H100、H200、H800、H20 Nvidia L40、Nvidia L20、Nvidia L4 Nvidia A100、Nvidia A30 Nvidia A40、Nvidia A16、Nvidia A10、Nvidia T4 Tesla V100、Tesla P4/6/40/100、M6/10/60 K6000 华为 Atlas 300i pro
仅容器管理Kylin10SP3 2403版支持
910B3/4
仅容器管理ARM-Kylin10SP3 2403版支持
Hygon Z100、Z100L
仅容器管理x86-Kylin10SP3 2403版支持
K100-AI
仅容器管理x86-Kylin10SP3 2403版支持
燧原 S60
仅容器管理Kylin10SP3版支持
天数智芯 智铠MR-V100
仅容器管理H84R、x86-Kylin10SP3 2403版支持
天垓
仅容器管理H84R、x86-Kylin10SP3 2403版支持
显存切分
对物理机上的单个或多个GPU进行显存切分和隔离,并为物理机上的容器分别分配显存。仅单卡支持显存切分。
以下GPU型号支持容器显存切分:
厂商 型号 NVIDIA Nvidia RTX 6000Ada、Nvidia RTX A6000 GeForce RTX 5090、Geforce RTX 4090、Nvidia RTX 3090 Quadro RTX 8000、Quadro RTX 6000 M4000、P2000 GTX 1650/1660、GTX 1060ti H100、H200、H800、H20 Nvidia L40、Nvidia L20、Nvidia L4 Nvidia A100、Nvidia A30 Nvidia A40、Nvidia A16、Nvidia A10、Nvidia T4 Tesla V100、Tesla P4/6/40/100、M6/10/60 K6000 华为 Atlas 300i pro
- 仅支持单卡切分
- 仅容器管理Kylin10SP3 2403版支持
910B3/4
- 仅支持单卡切分
- 仅容器管理ARM-Kylin10SP3 2403版支持
Hygon Z100、Z100L
- 仅支持单卡切分
- 仅容器管理x86-Kylin10SP3 2403版支持
K100-AI
- 仅支持单卡切分
- 仅容器管理x86-Kylin10SP3 2403版支持
天数智芯 智铠MR-V100
- 仅支持单卡切分
- 仅容器管理H84R、x86-Kylin10SP3 2403版支持
天垓
- 仅支持单卡切分
- 仅容器管理H84R、x86-Kylin10SP3 2403版支持
清单 (Inventory)
GPU设备清单
| 名字 | 描述 | 可选的 | 可选的参数值 | 起始支持版本 |
|---|---|---|---|---|
| uuid | 请参见 资源属性 | 5.1.8 | ||
| chooser | 5.1.8 | |||
| description | 请参见 资源属性 | 5.1.8 | ||
| deviceId | 设备ID | 5.1.8 | ||
| hostUuid | 物理机UUID | 5.1.8 | ||
| isDriverLoaded | 是否已加载驱动 | 5.1.8 | ||
| memory | 显存 | 5.1.8 | ||
| name | 请参见 资源属性 | 5.1.8 | ||
| pciDeviceAddress | PCI设备地址 | 5.1.8 | ||
| power | 电源 | 5.1.8 | ||
| serialNumber | 序列号 | 5.1.8 | ||
| status | 工作状态 | 5.1.8 | ||
| subvendorId | 子设备厂商ID | 5.1.8 | ||
| type | 类型 | 5.1.8 | ||
| virStatus | 虚拟化状态 | 5.1.8 | ||
| device | 设备 | 5.1.8 | ||
| groupBy | 以字段分组,相当于MySQL中的group by关键字。例如groupBy=type | 5.1.8 | ||
| iommuGroup | IOMMU组 | 5.1.8 | ||
| parentUuid | 5.1.8 | |||
| pciSpecUuid | PCI规格UUID | 5.1.8 | ||
| rev | 设备版本号 | 5.1.8 | ||
| state | 启用状态 | 5.1.8 | ||
| subdeviceId | 子设备ID | 5.1.8 | ||
| vendorId | 厂商ID | 5.1.8 | ||
| vmInstanceUuid | 云主机UUID | 5.1.8 | ||
| createDate | 请参见 资源属性 | 5.1.8 | ||
| lastOpDate | 请参见 资源属性 | 5.1.8 | ||
| userTags | 用户标签,请参见 创建用户标签(CreateUserTag) | 是 | 5.1.8 | |
| systemTags | 系统标签, 请参见 创建系统标签(CreateSystemTag) | 是 | 5.1.8 |
示例
{
"inventories": [
{
"chooser": "None",
"createDate": "Jul 15, 2024 3:54:32 PM",
"description": "3D controller: NVIDIA TU102GL [Quadro RTX 6000/8000]",
"device": "TU102GL [Quadro RTX 6000/8000] [1e78]",
"deviceId": "1e78",
"hostUuid": "363c8eab666547e29a7a74bbde9c1967",
"iommuGroup": "363c8eab666547e29a7a74bbde9c1967_/sys/kernel/iommu_groups/39",
"isDriverLoaded": true,
"lastOpDate": "Jul 17, 2024 4:03:05 PM",
"mdevSpecRefs": [],
"memory": 48318382080,
"metaData": {},
"name": "NVIDIA_TU102GL [Quadro RTX 6000/8000]_4885da63",
"pciDeviceAddress": "0000:17:00.0",
"pciSpecUuid": "016a96fd5aa648b290d2e96bf49f7407",
"power": 250,
"serialNumber": "1325119076420",
"state": "Enabled",
"status": "System",
"subdeviceId": "13d8",
"subvendorId": "10de",
"type": "GPU_3D_Controller",
"uuid": "4885da636aba4e12afcc5901e12673a3",
"vendor": "NVIDIA",
"vendorId": "10de",
"virtStatus": "SRIOV_VIRTUALIZABLE"
}
],
"success": true
}
匹配的PCI设备规格清单 (matchedPciDeviceOffering inventory)
| 名字 | 描述 | 可选的 | 可选的参数值 | 起始支持版本 |
|---|---|---|---|---|
| uuid | 请参见 资源属性 | 5.1.8 | ||
| description | 请参见 资源属性 | 5.1.8 | ||
| deviceId | 设备ID | 5.1.8 | ||
| ramSize | 5.1.8 | |||
| name | 请参见 资源属性 | 5.1.8 | ||
| subvendorId | 子设备厂商ID | 5.1.8 | ||
| type | 类型 | 5.1.8 | ||
| groupBy | 以字段分组,相当于MySQL中的group by关键字。例如groupBy=type | 5.1.8 | ||
| subdeviceId | 子设备ID | 5.1.8 | ||
| vendorId | 厂商ID | 5.1.8 | ||
| subvendorId | 子厂商ID | 5.1.8 | ||
| createDate | 请参见 资源属性 | 5.1.8 | ||
| lastOpDate | 请参见 资源属性 | 5.1.8 | ||
| userTags | 用户标签,请参见 创建用户标签(CreateUserTag) | 是 | 5.1.8 | |
| systemTags | 系统标签, 请参见 创建系统标签(CreateSystemTag) | 是 | 5.1.8 |
PCI设备规格清单 (PciDeviceSpec inventory)
| 名字 | 描述 | 可选的 | 可选的参数值 | 起始支持版本 |
|---|---|---|---|---|
| uuid | 请参见 资源属性 | 5.1.8 | ||
| description | 请参见 资源属性 | 5.1.8 | ||
| device | 设备 | 5.1.8 | ||
| isVirtual | 是否虚拟化 | 5.1.8 | ||
| deviceId | 设备ID | 5.1.8 | ||
| ramSize | 5.1.8 | |||
| romMd5sum | 5.1.8 | |||
| romVersion | 5.1.8 | |||
| name | 请参见 资源属性 | 5.1.8 | ||
| subvendorId | 子设备厂商ID | 5.1.8 | ||
| type | 类型 | 5.1.8 | ||
| groupBy | 以字段分组,相当于MySQL中的group by关键字。例如groupBy=type | 5.1.8 | ||
| subdeviceId | 子设备ID | 5.1.8 | ||
| vendorId | 厂商ID | 5.1.8 | ||
| subvendorId | 子厂商ID | 5.1.8 | ||
| createDate | 请参见 资源属性 | 5.1.8 | ||
| lastOpDate | 请参见 资源属性 | 5.1.8 | ||
| userTags | 用户标签,请参见 创建用户标签(CreateUserTag) | 是 | 5.1.8 | |
| systemTags | 系统标签, 请参见 创建系统标签(CreateSystemTag) | 是 | 5.1.8 |
操作
查询GPU信息 (QueryGpuDevice)
管理员可以使用QueryGpuDevice来查询GPU设备。例如:
QueryGpuDevice
原生域查询(Primitive Fields of Query)
请参见GPU设备清单。
嵌套和扩展域查询(Nested And Expanded Fields of Query)
| 域(Field) | 清单(Inventory) | 描述 | 起始支持版本 |
|---|---|---|---|
| host | Host Inventory | 所属物理机 | 5.1.8 |
| macthedPciDeviceOffering | macthedPciDeviceOffering Inventory | 匹配的PCI设备规格 | 5.1.8 |
| mdevSpec | mdev设备规格 | 5.1.8 | |
| matchedPciDeviceOfferingRef. | 匹配的PCI设备规格信息 | 5.1.8 | |
| parent | 5.1.8 | ||
| pciDeviceSpec | PciDeviceSpec Inventory | PCI设备规格 | 5.1.8 |
| vmInstance | VM inventory | 这个物理主机上运行的所有云主机 | 5.1.8 |
