ZStack Logo

ZStack AIOS

配置启动变量

按 AI 模型平台功能组织的 UI 操作说明和配置入口。

定义

启动变量是在推理服务启动时，通过命令行传递的配置选项，可用于指定推理服务的核心配置，例如模型路径、设备选择等。启动变量具有较强的灵活性，可以在每次运行时调整配置，无需修改代码或环境。

配置方法

  • 从模板继承：创建推理服务时，将自动继承推理模板中的启动变量
  • 单独配置：创建推理服务时，还可以添加额外的启动变量。可配置的启动变量和推理服务使用的推理框架相关。
    以下介绍vLLM、SGLang、llama.cpp、MindIE支持的启动变量。了解更多推理框架支持的启动变量，可登录对应官网查询。
    说明： Sentence Transformers不支持修改启动参数。
说明： Sentence Transformers不支持修改启动参数。