ZStack AIOS功能架构特点:
- 应用层
- 支持AI应用开发、服务测评、以及门户运营。
- 支持AI应用构建,包括:Prompt工程、向量检索、知识库管理,可灵活接入本地或线上模型。
- 支持多租户场景,可对AI数据、服务和算力资源等进行配额和权限管理。
- 模型层
- 支持AI模型的管理、调优、以及推理服务。
- 支持一键部署LLM、媒体、向量、多模态等大模型。
- 支持模型精调训练、Notebook、服务监控等。
- 算力层
- 支持灵活调度GPU算力、服务器资源。
- 适配丰富的国产化服务器和GPU。
- 配备完善的存储、网络服务。
- 提供强大的运维管理能力,可实时监控GPU负载,支持故障自愈等。
