GPU设备是一种拥有高并行计算能力的微处理器，可用于加速大规模计算负载。除图形渲染任务外，GPU现已成为AI训练与推理的核心硬件，能够有效提升深度学习、大模型推理、数据处理等业务效率。通过透传、vGPU、dGPU、整卡调度、显存切分等技术，GPU可以以整卡或细粒度切片的形式，为云主机和容器提供弹性化的算力支撑，提升AI服务的吞吐能力、响应速度和资源利用率。
GPU技术
ZStack AIOS支持多种GPU分配方式，可将GPU通过以下技术挂载至云主机或容器：
- 云主机
- 透传
将物理GPU机器关联外设 (如显卡、声卡、推理卡等) 作为整体单元直接分配给云主机使用。云主机完全独占该物理GPU，获得物理GPU强劲的并行计算能力。
以下GPU型号支持透传：厂商 型号 NVIDIA Nvidia RTX 6000Ada、Nvidia RTX A6000 GeForce RTX 5090、Geforce RTX 4090、Nvidia RTX 3090 Quadro RTX 8000、Quadro RTX 6000 M4000、P2000 GTX 1650/1660、GTX 1060ti H100、H200、H800、H20 说明： 仅ZStack AIOSH84R ISO支持。Nvidia L40、Nvidia L20、Nvidia L4 Nvidia A100、Nvidia A30 Nvidia A40、Nvidia A16、Nvidia A10、Nvidia T4 Tesla V100、Tesla P4/6/40/100、M6/10/60 K6000 AMD Radeon v620、Radeon RX5700 RRO W7800 说明： 暂不支持透传使用Windows操作系统的云主机FirePro S7150、FirePro S7150X2 华为 Atlas 300i pro 说明： 仅支持透传ARM物理机上的本型号GPU910B3/4 说明： 仅支持透传ARM物理机上的本型号GPUHygon Z100、Z100L K100-AI 燧原 S60 天数智芯 智铠MR-V100 天垓 瀚博 SV100、SG100 说明： SG100不建议直接透传，建议切分vGPU后再加载使用。昆仑芯 P800 阿里PPU PPU-ZW810E 其他 沐曦N100、摩尔线程、寒武纪等 - 虚拟化切割
(vGPU)通过GPU虚拟化技术，将单张物理GPU切割为多个更小规格的vGPU，形成细粒度vGPU资源池，便于用户快速创建轻量化云主机，实现资源弹性部署，有效提升GPU利用率，节约成本。说明： 目前，暂不支持使用vGPU部署云主机AI服务。以下GPU型号支持虚拟化切割：
厂商 型号 NVIDIA Nvidia RTX 6000Ada、Nvidia RTX A6000 Quadro RTX 8000、Quadro RTX 6000 H100、H200、H800、H20 说明： 仅ZStack AIOSH84R ISO支持。Nvidia L40、Nvidia L20、Nvidia L4 Nvidia A40、Nvidia A16、Nvidia A10、Nvidia T4 Tesla V100、Tesla P4/6/40/100、M6/10/60 AMD FirePro S7150、FirePro S7150X2 瀚博 SV100、SG100 - 动态切分与调度 (dGPU)基于CUDA API拦截转发技术，按需切分物理GPU显存，并动态分配给多个云主机使用，最大化资源利用率。适用于AI推理、深度学习等业务场景。说明： 使用本功能，需购买dGPU算力切分许可证。以下GPU型号支持dGPU功能：
厂商 型号 NVIDIA Nvidia RTX 6000Ada、Nvidia RTX A6000 GeForce RTX 5090、Geforce RTX 4090、Nvidia RTX 3090 Quadro RTX 8000、Quadro RTX 6000 H100、H200、H800、H20 说明： 仅ZStack AIOSH84R ISO支持。Nvidia L40、Nvidia L20、Nvidia L4 Nvidia A100、Nvidia A30 Nvidia A40、Nvidia A16、Nvidia A10、Nvidia T4 Tesla V100
- 透传
- 容器
- 整卡调度
将物理GPU设备直接加载给容器使用。
以下GPU型号支持容器整卡调度：厂商 型号 NVIDIA Nvidia RTX 6000Ada、Nvidia RTX A6000 GeForce RTX 5090、Geforce RTX 4090、Nvidia RTX 3090 Quadro RTX 8000、Quadro RTX 6000 M4000、P2000 GTX 1650/1660、GTX 1060ti H100、H200、H800、H20 Nvidia L40、Nvidia L20、Nvidia L4 Nvidia A100、Nvidia A30 Nvidia A40、Nvidia A16、Nvidia A10、Nvidia T4 Tesla V100、Tesla P4/6/40/100、M6/10/60 K6000 华为 Atlas 300i pro 说明： 仅容器管理Kylin10SP3 2403版支持910B3/4 说明： 仅容器管理ARM-Kylin10SP3 2403版支持Hygon Z100、Z100L 说明： 仅容器管理x86-Kylin10SP3 2403版支持K100-AI 说明： 仅容器管理x86-Kylin10SP3 2403版支持燧原 S60 说明： 仅容器管理Kylin10SP3版支持天数智芯 智铠MR-V100 说明： 仅容器管理H84R、x86-Kylin10SP3 2403版支持天垓 说明： 仅容器管理H84R、x86-Kylin10SP3 2403版支持 - 显存切分
对物理机上的单个或多个GPU进行显存切分和隔离，并为物理机上的容器分别分配显存。仅单卡支持显存切分。
以下GPU型号支持容器显存切分：厂商 型号 NVIDIA Nvidia RTX 6000Ada、Nvidia RTX A6000 GeForce RTX 5090、Geforce RTX 4090、Nvidia RTX 3090 Quadro RTX 8000、Quadro RTX 6000 M4000、P2000 GTX 1650/1660、GTX 1060ti H100、H200、H800、H20 Nvidia L40、Nvidia L20、Nvidia L4 Nvidia A100、Nvidia A30 Nvidia A40、Nvidia A16、Nvidia A10、Nvidia T4 Tesla V100、Tesla P4/6/40/100、M6/10/60 K6000 华为 Atlas 300i pro 说明：- 仅支持单卡切分
- 仅容器管理Kylin10SP3 2403版支持
910B3/4 说明：- 仅支持单卡切分
- 仅容器管理ARM-Kylin10SP3 2403版支持
Hygon Z100、Z100L 说明：- 仅支持单卡切分
- 仅容器管理x86-Kylin10SP3 2403版支持
K100-AI 说明：- 仅支持单卡切分
- 仅容器管理x86-Kylin10SP3 2403版支持
天数智芯 智铠MR-V100 说明：- 仅支持单卡切分
- 仅容器管理H84R、x86-Kylin10SP3 2403版支持
天垓 说明：- 仅支持单卡切分
- 仅容器管理H84R、x86-Kylin10SP3 2403版支持
- 整卡调度
推理部署
部署推理服务时，为运行该服务的云主机或容器加载GPU设备，为推理服务提供强大算力。
以下是各GPU型号支持的推理部署模式：
| 厂商 | 型号 | 单机多卡 (云主机) | 多机多卡 (云主机) | 单机多卡 (容器) | 多机多卡 (容器) |
|---|---|---|---|---|---|
| NVIDIA | Nvidia RTX 6000Ada、Nvidia RTX A6000 | 支持 | 支持 | 支持 | 支持 |
| GeForce RTX 5090、Geforce RTX 4090、Nvidia RTX 3090 | 支持 | 支持 | 支持 | 支持 | |
| Quadro RTX 8000、Quadro RTX 6000 | 支持 | 支持 | 支持 | 支持 | |
| P2000、M4000 | 计算能力低，不推荐使用 | ||||
| GTX 1650/1660、GTX 1060ti | 计算能力低，不推荐使用 | ||||
| H100、H800、H200、H20 | 支持 | 支持 | 支持 | 支持 | |
| Nvidia L40、Nvidia L20、Nvidia L4 | 支持 | 支持 | 支持 | 支持 | |
| Nvidia A100、Nvidia A30 | 支持 | 支持 | 支持 | 支持 | |
| Nvidia A40、Nvidia A16、Nvidia A10、Nvidia T4 | 支持 | 支持 | 支持 | 支持 | |
| Tesla V100、Tesla P4/6/40/100、M6/10/60 | 计算能力低，不推荐使用 | ||||
| K6000 | 计算能力低，不推荐使用 | ||||
| 华为 | 910B3/4 | 仅ARM-KylinSP3 2403版支持 | 仅ARM-KylinSP3 2403版支持 | 仅ARM-Kylin10SP3 2403版支持 | 仅ARM-Kylin10SP3 2403版支持 |
| Hygon | K100-AI | 仅支持LLM+RAG模型 | 不支持 | 仅支持LLM+RAG模型 | 不支持 |
| 阿里PPU | PPU-ZW810E | 支持 | 支持 | 不支持 | 不支持 |