ZStack Logo

ZStack AIOS

配置环境变量

按 AI 模型平台功能组织的 UI 操作说明和配置入口。

定义

环境变量是操作系统中的全局变量,可以影响程序的运行行为。在深度学习推理框架中,环境变量提供了一种灵活配置模型加载、推理性能和资源分配的方式,开发者无需修改代码即可调整推理框架行为。实现内存使用优化、计算精度控制、设备指定分配、缓存策略调整等目的,使推理服务在不同的硬件环境下均能达到最佳性能和稳定性。

配置方法

  • 从模板继承:创建推理服务时,将自动继承推理模板中的环境变量
  • 单独配置:创建推理服务时,还可以添加额外的环境变量,用于配置服务的运行参数,例如:端口号、日志级别、并发请求数等。以下介绍推理服务常用的环境变量:
    参数 描述
    MAAS_SERVICE_PORT 推理服务端口
    说明:
    • 请勿设置为8888 (服务Notebook端口) 或已被占用的端口,避免与其他服务发生冲突。
    • 建议避免使用端口占用中列举的端口。
    • 如已在创建推理服务表单中设置服务端口参数,以表单中指定的为准。
    MAAS_SERVICE_TIMEOUT 推理服务超时时间
    MAAS_SERVICE_MAX_CONCURRENCY 推理服务API最大并发
    MAAS_DISTRIBUTION_MODEL_SERVICE_PORT 分布式推理用端口