ZStack Logo

ZStack AIOS

创建精调工作台

按 AI 模型平台功能组织的 UI 操作说明和配置入口。

前提条件

  • 已准备用于精调的模型。
    • 可基于系统模型进行精调。
    • 如需精调自定义模型,请参考添加模型,提前将自定义模型上传到ZStack AIOS
  • 已准备用于模型精调的数据集。可参考添加数据集

操作步骤

ZStack AIOS主菜单,点击AI模型平台 > 模型调优 > 模型精调。在模型精调界面,点击创建精调工作台,进入创建精调工作台界面。

图1所示:


图1 创建精调工作台
可参考以下示例输入相应内容:
  • 名称:设置精调工作台名称
  • 选择模型:选择需要精调的模型
  • 数据集:选择用于精调的数据集,支持选择多个数据集
  • 部署方式:选择精调工作台部署方式,支持容器部署、云主机部署两种方式
    • 容器部署:创建容器运行模型精调工作台,需设置以下参数:
      • CPU架构:选择容器CPU架构
        说明: 请确保当前环境内存在使用该架构的容器集群,以便将容器部署到对应集群
      • 高级设置:可选项。手动指定容器所在的集群和网络IP。如不指定,系统将自动分配。同时,支持指定项目,默认不指定,在当前用户下创建工作台;如选择目标项目,则在目标项目下创建工作台。
        说明: 如所选模型、数据集、网络、GPU规格等资源未共享至目标项目,将弹出存在未共享的资源提示框,点击共享并创建,相关资源将自动共享至目标项目并完成创建。
      • GPU:选择是否为容器加载GPU设备,如勾选使用GPU,需设置以下参数:
        • GPU规格:选择加载的GPU厂商和规格
        • GPU数量:设置加载的GPU数量和每GPU的显存大小
      • CPU和内存:设置容器CPU和内存
    • 云主机部署:创建云主机运行模型精调工作台,需设置以下参数:
      • CPU架构:选择云主机CPU架构
        说明: 请确保当前环境内存在使用该架构的物理机集群,以便将云主机部署到对应集群。
      • 高级设置:可选项。手动指定云主机所在的集群、主存储、网络IP。如不指定,系统将自动分配。同时,支持指定项目,默认不指定,在当前用户下创建工作台;如选择目标项目,则在目标项目下创建工作台。
        说明: 如所选模型、数据集、网络、主存储、云主机镜像、GPU规格等资源未共享至目标项目,将弹出存在未共享的资源提示框,点击共享并创建,相关资源将自动共享至目标项目并完成创建。
      • 根云盘容量:设置云主机根云盘容量
        说明: 建议至少预留模型文件3倍的容量。
      • GPU:选择是否为云主机加载GPU设备。如勾选使用GPU,需设置以下参数:
        • GPU规格:选择加载的GPU厂商和规格
        • GPU数量:选择加载的GPU数量
        • 卸载机制:选择是否关机自动卸载GPU设备
          说明:
          • 关机自动卸载:云主机关机后将自动卸载GPU设备,开机后,系统将按照所选规格为其重新分配。
          • 关机不自动卸载:云主机关机后将继续保有已加载的GPU设备,但如意外关机,可能无法高可用启动。
      • CPU和内存:设置云主机CPU和内存

后续操作

进入精调工作台,进行模型精调或将精调完成的模型导出。详情可参考管理精调工作台