ZStack Logo

ZStack AIOS

管理推理服务

AIOS 用户侧功能说明，覆盖 GPU、模型仓库、推理服务和场景实践。

在ZStack AIOS主菜单，点击AI模型平台 > 服务和应用 > 推理服务，进入推理服务界面。

推理服务支持以下操作：
操作 描述
创建推理服务 基于模型部署一个新的推理服务。
编辑名称 修改推理服务的名称。
修改服务配置 修改推理服务的服务配置。
说明： 修改后，需重启服务生效。
重启服务 重启推理服务。
说明： 重启过程中服务暂不可用，建议在业务低峰期重启。
进入服务 点击推理服务名称或进入服务按钮，进入推理服务详情页，详情页支持以下操作：
  • 体验：快速使用推理服务。
  • Notebook：使用调试工具进行服务调试。
  • 服务配置：查看服务配置信息和运行该服务的实例详情。
  • 日志：查看服务日志。支持查看应用日志、启动日志和访问日志，并可按近1小时、近6小时、近24小时、近7天或自定义时间范围筛选，支持搜索和自动滚动。
  • 监控：查看服务监控数据，包括请求次数、请求时长、请求失败率、首Token延迟P95、每Token输出时间、KV Cache使用率等。请求失败率支持查看总失败率、5xx失败率、4xx失败率。支持查看近15分钟、1小时、6小时、1天的监控数据图。
  • 审计：查看服务的所有操作审计。
删除推理服务 将推理服务删除。
说明：
  • 删除后，该推理服务将被中断，其所有服务数据将被彻底清除，不可找回，请谨慎操作。
  • 删除后，运行该推理服务的实例资源将被同步释放。