ZStack Logo

ZStack AIOS

管理推理模板

按 AI 模型平台功能组织的 UI 操作说明和配置入口。

在ZStack AIOS主菜单，点击AI模型平台 > 服务和应用 > 推理模板，进入推理模板界面。

管理系统模板

系统模板支持以下操作：
操作 描述
导入推理模板 导入系统推理模板。支持以下导入方式：
  • CDN 导入：从CDN选择并导入系统模板。若存在同名模板，导入后将自动覆盖。
  • 本地导入：上传本地模板文件。仅支持.tar.gz格式的模板文件。
  • URL 导入：通过URL导入模板，支持http://、https://或file:///地址。地址可指向模板文件目录或.tar.gz格式的模板文件。
说明： 若当前有推理服务实例正在使用此模板，覆盖后，这些实例下次重启时将使用新版本，运行中实例不受影响。
同步推理模板 同步系统模板的最新版本。若当前有推理服务实例正在使用此模板，同步后，这些实例下次重启时将使用新版本，运行中实例不受影响。
克隆推理模板 克隆系统推理模板。支持在系统推理模板的基础上，快速修改配置参数，生成满足特定需求的自定义模板。克隆完成的模板将展示在自定义模板列表。
绑定默认应用模型 为推理模板模板绑定默认应用模型。基于这些模型创建服务时，将默认使用该推理模板。
说明：
  • 不同模板适用的模型不同，系统模板名称中标识了该模板版适用的模型系列，请匹配使用。
  • 一个推理模板可以绑定多个模型，其中，和系统模型的默认关系由平台自动绑定，不支持手动调整。
  • 除自动绑定的系统模型外，系统推理模板还支持绑定自定义模型。
解绑默认应用模型 解除模型与该模板间的默认关系。被解绑的模型将不再使用该模板作为默认模板。
说明： 系统模型不支持解绑。

管理自定义模板

自定义模板支持以下操作：
操作 描述
添加自定义模板 添加一个新的自定义模板。
编辑推理模板 修改自定义模板配置。
克隆推理模板 克隆自定义推理模板。支持在已有模板的基础上，快速修改配置参数，生成满足特定需求的新模板。
设置共享模式 设置模板的共享模式。目前支持以下三种模式：
  • 全局共享：将模板共享给所有的项目和账户使用。
  • 指定共享：将模板共享给指定的项目和账户使用。
  • 不共享：不共享模板给其他项目和账户使用。已在使用该模板的项目和账户不受影响，直到释放该资源。
绑定默认应用模型 为推理模板模板绑定默认应用模型。基于这些模型创建服务时，将默认使用该推理模板。
说明： 仅支持绑定自定义模型。
解绑默认应用模型 解除模型与该模板间的默认关系。被解绑的模型将不再使用该模板作为默认模板。
删除模板 将自定义模板删除。
说明：
  • 删除后，将自动解除该推理模板和所有模型间的默认应用关系。
  • 删除后，将清空该模板所有相关数据，可能导致重要知识资源永久丢失、无法找回，请谨慎操作。