定义
环境变量是操作系统中的全局变量,可以影响程序的运行行为。在深度学习推理框架中,环境变量提供了一种灵活配置模型加载、推理性能和资源分配的方式,开发者无需修改代码即可调整推理框架行为。实现内存使用优化、计算精度控制、设备指定分配、缓存策略调整等目的,使推理服务在不同的硬件环境下均能达到最佳性能和稳定性。
配置方法
- 从模板继承:创建推理服务时,将自动继承推理模板中的环境变量
- 单独配置:创建推理服务时,还可以添加额外的环境变量,用于配置服务的运行参数,例如:端口号、日志级别、并发请求数等。以下介绍推理服务常用的环境变量:
参数 描述 MAAS_SERVICE_PORT 推理服务端口 说明:- 请勿设置为8888 (服务Notebook端口) 或已被占用的端口,避免与其他服务发生冲突。
- 建议避免使用端口占用中列举的端口。
- 如已在创建推理服务表单中设置服务端口参数,以表单中指定的为准。
MAAS_SERVICE_TIMEOUT 推理服务超时时间 MAAS_SERVICE_MAX_CONCURRENCY 推理服务API最大并发 MAAS_DISTRIBUTION_MODEL_SERVICE_PORT 分布式推理用端口