ZStack Logo

ZStack AIOS

添加推理模板

AIOS 用户侧功能说明，覆盖 GPU、模型仓库、推理服务和场景实践。

ZStack AIOS支持用户添加自定义推理模板。

在ZStack AIOS主菜单，点击AI模型平台 > 服务和应用 > 推理模板 > 自定义模板，进入自定义模板标签页。点击添加推理模板，弹出添加推理模板界面。

如图1所示：






图1 添加自定义推理模板
支持以下两种模板添加方式：

新建模板

  1. 准备推理代码文件包。

    用户可进入ZStack AIOS 添加推理模板界面，下载样例模板参考。

  2. 进入添加推理模板界面，参考以下示例输入相应内容：
    • 基本信息：
      • 名称：设置推理模板名称
      • 简介：可选项，填写推理模板简介
      • 创建方式：选择新建模板
      • 推理框架：标记推理模板的推理框架
      • 推理代码：上传推理代码文件包
      • 默认应用模型：可选项。选择默认应用该推理模板的模型，支持选择多个模型。后续基于这些模型创建推理服务时，将默认使用该推理模板
    • 服务基础配置
      • 实例配置：选择该模板支持的服务部署方式
        说明： 例如：
        • 勾选容器，则使用该模板创建推理服务时，支持容器部署
        • 同时勾选容器和云主机，则使用该模板创建推理服务时，支持容器部署或云主机部署
      • CPU架构：选择该模板支持的CPU架构
        说明： 例如：
        • 选择x86_64，则使用该模板创建推理服务时，支持使用x86_64架构的容器/云主机
        • 同时选择x86_64和aarch64，则使用该模板创建推理服务时，支持使用x86_64或aarch64架构的容器/云主机
      • 多实例推理：可选项。标记该模板是否可用于部署多实例推理服务
      • 支持GPU型号：选择本模板支持的GPU型号，默认支持全部厂商和型号。如选择指定厂商和型号，则使用本模板部署推理服务时，仅能使用指定厂商、指定型号的GPU设备
      • 容器镜像 (x86_64)：配置x86_64架构的容器镜像
      • 容器镜像 (aarch64)：配置aarch64架构的容器镜像
      • 云主机镜像 (x86_64)：配置x86_64架构的云主机镜像
      • 云主机镜像 (aarch64)：配置aarch64架构的云主机镜像
        说明： 以上镜像均作为使用该模板创建推理服务时的默认镜像。具体选用的默认镜像由部署方式和部署架构决定。
      • 最小CPU和内存：使用该模板部署服务时，实例的最低CPU和内存配置
      • 服务端口：设置服务网络端口
      • 环境变量：可选项，为推理模板添加环境变量。创建推理服务时，将继承模板的环境变量
        说明： 不同推理框架支持的环境变量不同，详情可参考环境变量配置
      • 启动变量：可选项，为推理模板添加启动变量。创建推理服务时，将继承模板的启动变量
        说明： 不同推理框架支持的环境变量不同，详情可参考启动变量配置
      • 启动命令：设置服务启动命令，服务启动时将自动运行该命令，完成服务初始化或其他准备工作
      • 容器启动命令：可选项。推理模板支持容器部署时，可设置容器启动命令，即容器的ENTRYPOINT
      • 容器启动参数：可选项。推理模板支持容器部署时，可设置容器启动参数，即容器的CMD参数
    • 服务高级配置
      • 存活检测路径：填写服务存活检测路径，系统将通过该路径检测服务是否存活
      • 服务状态检测路径：填写服务存活检测路径，系统将通过该路径检测服务是否就绪
      • 服务启动超时：设置服务启动超时时间，如超过该时间服务仍未成功启动，系统将判定服务启动超时。默认值：5分钟

从Hugging Face导入

  1. 获取推理模板Space ID。

    登录Hugging Face，在Hugging Face主菜单点击Spaces，进入Spaces界面。点击需导入的模板，进入其详情页。详情页最上方的标题即为Space ID，可点击复制按钮直接复制。

    如图2所示：




    图2 Hugging Face | 获取Space ID
  2. 获取Docker运行命令。
    1. 在Hugging Face 目标Space详情页，点击右上角更多图标，选择Run with Docker。
    2. 在Run with Docker界面，点击复制图标，复制Docker运行命令。如图3所示：




      图3 Hugging Face | 获取Docker运行命令
  3. 进入ZStack AIOS 添加推理模板界面。
    可参考以下示例输入相应内容：
    • 基本信息：
      • 名称：设置推理模板名称。名称可包含指定标识，后续使用中，可快速识别该模型适用的系列模型
      • 简介：可选项，可留空不填
      • 创建方式：选择从Hugging Face导入
      • 推理框架：标记推理模板的推理框架
      • Space ID：填写在Hugging Face获取的推理模板Space ID
      • Docker运行命令：填写在Hugging Face获取的推理模板Docker运行命令
      • 默认应用模型：可选项。选择默认应用该推理模板的模型，支持选择多个模型。后续基于这些模型创建服务时，将默认使用该推理模板
    • 服务基础配置：点击Docker运行命令下方解析按钮，自动获取
    • 服务高级配置
      • 存活检测路径：填写服务存活检测路径，系统将通过该路径检测服务是否存活
      • 服务状态检测路径：填写服务存活检测路径，系统将通过该路径检测服务是否就绪
      • 服务启动超时：设置服务启动超时时间，如超过该时间服务仍未成功启动，系统将判定服务启动超时。默认值：5分钟

后续操作

推理模板添加完成后，可继续进行以下操作：