ZStack Logo

ZStack AIOS

添加模型

AIOS 用户侧功能说明，覆盖 GPU、模型仓库、推理服务和场景实践。

ZStack AIOS支持用户添加自定义模型。

在ZStack AIOS主菜单，点击AI模型平台 > 模型仓库 > 自定义模型，进入自定义模型标签页。点击添加模型，弹出添加模型界面。

如图1所示：




图1 添加自定义模型
说明：
  • 添加模型任务支持断点续传。在网络异常、服务重启或资源不足等情况下，任务将自动暂停，并在条件恢复后继续执行。
  • 用户可手动暂停、恢复或取消任务。暂停超过24小时未继续，已上传数据将被自动清理，取消任务后需重新上传。
支持以下以下几种模型添加方式：

本地上传

  1. 在本地准备 .tar 或 .zip 格式的模型文件包。
  2. 进入ZStack AIOS 添加模型界面。
    可参考以下示例输入相应内容：
    • 基本信息
      • 名称：填写模型名称
      • 简介：可选项。填写模型简介
    • 基础配置
      • 来源：选择本地上传
      • 模型文件：上传 .tar 或 .zip 格式的模型文件包
      • 类型：选择模型类型
      • 默认推理模板：可选项。选择一个推理模板，基于该模型创建推理服务时，将默认使用该模板
      • Model ID：可选项。模型的唯一标识，用于在平台中区分和管理不同模型
        说明：
        • 如留空不填，平台将自动生成UUID
        • 如填写的Model ID已存在，系统将提示冲突信息，用户可选择查看已有模型或继续创建新的副本
    • 高级配置：
      • 出品方：填写模型出品方
  3. 点击确定，开始添加模型。

通过URL添加

该方式从指定URL获取模型文件。URL可以是一个外部网址，也可以是平台管理服务器上的存储路径。

  1. 确保指定的URL上已存在所需的模型文件。
  2. 进入ZStack AIOS 添加模型界面。
    可参考以下示例输入相应内容：
    • 基本信息
      • 名称：填写模型名称
      • 简介：可选项。填写模型简介
    • 基础配置：
      • 来源：选择URL
      • URL：填写模型URL
        说明：
        • 网络地址必须以 http:// 或 https:// 开头，指向一个文件目录而非文件，例如：http://172.1.1.10/
        • 存储路径必须以file:/// 开头，指向一个文件目录或.tar格式的文件包，例如：file:///root/foldname或file:///root/foldname/example.tar
      • 类型：选择模型类型
      • 默认推理模板：选择一个推理模板，基于该模型创建推理服务时，将默认使用该模板
      • Model ID：可选项。模型的唯一标识，用于在平台中区分和管理不同模型
        说明：
        • 如留空不填，平台将自动生成UUID
        • 如填写的Model ID已存在，系统将提示冲突信息，用户可选择查看已有模型或继续创建新的副本
    • 高级配置：
      • 出品方：可选项。填写模型出品方
  3. 点击确定，开始添加模型。

从Hugging Face导入

本方法从Hugging Face拉取模型。需提前获取Hugging Face Model ID、Access Token，并确保ZStack AIOS环境可访问Hugging Face。

  1. 获取模型Model ID。

    登录Hugging Face，在Hugging Face主菜单点击Models，进入Models界面。点击需导入的模型，进入其详情页。详情页最上方的标题即为Model ID，可点击复制按钮直接复制。

    如图2所示：




    图2 Hugging Face | 获取Model ID
  2. 获取Access Token。
    1. 在Hugging Face主菜单，点击右上角头像展开个人中心。在个人中心，点击Access Tokens，进入Access Tokens界面。点击Create new token，弹出Create new token界面。
      如图3所示：




      图3 Hugging Face | 进入Create new token界面
    2. 在Create new token界面，设置以下参数：
      • Token type：选择Read
      • Token name：输入Token名称

      点击Create token确认创建。

      如图4所示：


      图4 Hugging Face |创建Access Token
    3. Access Token创建完成后，界面将返回Token值。点击Copy复制Token值。
      如图5所示：


      图5 Hugging Face | 复制Token
  3. 进入ZStack AIOS 添加模型界面。
    可参考以下示例输入相应内容：
    • 基本信息
      • 名称：填写模型名称
      • 简介：可选项。填写模型简介
    • 基础配置：
      • 来源：选择Hugging Face
      • Model ID：填写在Hugging Face获取的模型Model ID
        说明： 当填写的Model ID已存在时，系统将提示冲突信息，用户可选择查看已有模型或继续创建新的副本
      • Token：填写在Hugging Face创建的Access Token
      • 类型：选择模型类型
      • 默认推理模板：可选项。选择一个推理模板，基于该模型创建推理服务时，将默认使用该模板
    • 高级配置：
      • 出品方：可选项。填写模型出品方
  4. 点击确定，开始添加模型。

从Model Scope导入

本方法从Model Scope拉取模型，需提前获取Model Scope Model ID和访问令牌。

  1. 获取模型Model ID。

    登录Model Scope，在Model Scope主菜单点击模型库，进入模型库界面。点击需导入的模型，进入其详情页。详情页标题下的灰色字样即为Model ID，可点击复制按钮直接复制。

    如图6所示：




    图6 Model Scope | 获取Model ID
  2. 获取Access Token。
    1. 在Model Scope主菜单，点击右上角头像展开个人中心。在个人中心，点击账号设置，进入账号设置界面。点击访问令牌，进入访问令牌界面。
      如图7所示：


      图7 Model Scope | 进入访问令牌界面
    2. 在访问令牌界面，点击复制按钮，复制默认SDK令牌。
      如图8所示：


      图8 Model Scope | 复制SDK令牌
  3. 进入ZStack AIOS 添加模型界面。
    可参考以下示例输入相应内容：
    • 基本信息
      • 名称：填写模型名称
      • 简介：可选项。填写模型简介
    • 基础配置：
      • 来源：选择Model Scope
      • Model ID：填写在Model Scope获取的模型Model ID
        说明： 当填写的Model ID已存在时，系统将提示冲突信息，用户可选择查看已有模型或继续创建新的副本
      • Token：填写在Model Scope获取的默认SDK令牌
      • 类型：选择模型类型
      • 默认推理模板：可选项。选择一个推理模板，基于该模型创建推理服务时，将默认使用该模板
    • 高级配置：
      • 出品方：可选项。填写模型出品方
  4. 点击确定，开始添加模型。

后续操作

模型添加完成后，可继续进行以下操作：