ZStack Logo

ZStack AIOS

管理模型

按 AI 模型平台功能组织的 UI 操作说明和配置入口。

在ZStack AIOS主菜单，点击AI模型平台 > 模型仓库，进入模型仓库界面。

管理系统模型

系统模型支持以下操作：
操作 描述
创建推理服务 基于模型创建推理服务，生成服务API，将模型能力运用到实际业务中。详情可参考创建推理服务
推理兼容性评估 填写目标部署方案 (部署方式、GPU型号、推理模板) ，系统将生成初步兼容性评估，为模型部署提供可行性参考

管理自定义模型

自定义模型支持以下操作：
操作 描述
添加模型 添加一个新的自定义模型。
创建推理服务 基于模型创建推理服务，生成服务API，将模型能力运用到实际业务中。详情可参考创建推理服务
推理兼容性评估 填写目标部署方案 (部署方式、GPU型号、推理模板) ，系统将生成初步兼容性评估，为模型部署提供可行性参考。
编辑模型 对已创建的模型进行信息维护与配置调整，包括修改名称、简介、类型、Model ID、默认推理模板及出品方等信息，用于更新模型属性并优化后续部署与推理使用效果。
设置共享模式 设置模型的共享模式。目前支持以下三种模式：
  • 全局共享：将模型共享给所有的项目和账户使用。
  • 指定共享：将模型共享给指定的项目和账户使用。
  • 不共享：不共享模型给其他项目和账户使用。已在使用该模型的项目和账户不受影响，直到释放该资源。
删除模型 将自定义模型删除。
说明：
  • 正在被推理服务使用的模型不允许删除。
  • 删除后，将清空该模型所有数据，可能导致重要知识资源永久丢失、无法找回，请谨慎操作。

挂载模型

ZStack AIOS支持将自定义模型挂载至云主机，用户可在云主机内直接访问模型文件，快速开展模型验证与推理。

说明：
  • 该功能仅智算版支持。
  • 仅Admin、平台管理员、项目管理员、项目负责人可操作挂载模型功能。
  • 仅允许挂载与云主机所有者相同的模型。
前置条件：
  • 云主机处于运行中状态。
  • 云主机已安装vmtools。
  • 模型类型为自定义模型，且用户具备该模型的访问权限。
操作步骤：
  1. 进入挂载模型界面。
    支持以下两种入口：
    • 云主机列表页入口：登录ZStack AIOS，进入云主机列表页。选中目标云主机所在行，点击行末关联资源 > 挂载模型，弹出挂载模型界面。
    • 云主机详情页入口：进入目标云主机详情页，在右上方快捷操作区点击关联资源 > 挂载模型，弹出挂载模型界面。
  2. 选择模型。

    在模型列表中选择需挂载的模型。列表仅展示用户有权限访问、且与目标云主机所有者一致的自定义模型。

    列表字段说明：
    • 名称：模型名称
    • 所有者：模型所有者
    • 大小：模型文件大小
    • 类型：模型类型
    支持通过搜索模型或所有者搜索框快速定位目标模型。
  3. 设置挂载路径。

    挂载路径用于指定模型在云主机内的访问目录，默认值为/mnt/models/{模型名}/，用户可根据实际需要自定义。建议使用以下路径：/mnt/models/、/mnt/、/data/。

    挂载路径需满足以下规则：
    • 必须为以/开头的绝对路径。
    • 不能以/结尾，禁止包含..（上级目录）。
    • 路径长度不能超过512个字符。
    • 禁止使用系统目录，包括：/bin、/sbin、/usr、/etc、/lib、/lib64、/opt、/root、/boot、/dev、/proc、/sys。
    • 不建议使用用户目录/home/*。
    • 路径禁止包含空格以及;、|、&、$、`、!、*、?、<、>、"、'、\等Shell特殊字符。

    可点击检测当前路径可用性，确认此路径未被其他模型占用。

  4. 点击确认挂载，系统通过NFS协议以只读方式挂载模型，挂载操作通常在10秒内完成。
    如图1所示：


    图1 挂载模型
  5. 挂载完成后，系统显示模型挂载成功界面，表示文件连接已建立，可在云主机内直接访问。界面关键信息如下：
    • 模型名称：已挂载的模型名称
    • 云主机：挂载目标云主机
    • 挂载路径：模型在云主机内的访问路径
    • 访问权限：只读（Read-only）
    • 查询路径命令：系统生成的路径查询命令示例（例如ls -la {挂载路径}），点击复制按钮可一键复制，在云主机终端粘贴执行即可查看挂载的模型文件
    • 启动命令参考：系统基于挂载路径生成vLLM、SGLang、MindIE等主流推理框架的启动命令示例，点击复制按钮可一键复制
    如图2所示：


    图2 模型挂载成功
路径校验提示：当输入的挂载路径不符合规则时，系统将给出相应提示：
场景 提示信息
路径为系统目录 该路径为系统目录，不可使用，请更换路径
路径包含非法字符 路径包含非法字符，请检查路径格式
路径格式错误 路径格式不正确，请使用以 / 开头的绝对路径，且不包含 ..
路径以 / 结尾 路径不能以 / 结尾
路径长度超限 路径长度不能超过 512 个字符
路径已被占用 该路径已被其他模型占用
说明：
  • 平台不维护挂载状态。云主机重启后原挂载关系失效，需在ZStack AIOS重新执行挂载操作。
  • 启动命令仅供参考，请根据显存大小和业务需求调整参数。
  • 平台不提供卸载入口。如需卸载模型，请在云主机内执行umount命令自行卸载。