ZStack AIOS控制面组件构成:
- 模型仓库(Model Repository)
- 关联模型所使用的存储:NFS、ZDFS。
- 部署Agent,完成实际与存储关联的操作。
- 通过Async HTTP形式调用。
- AI服务代码(AI Service Code)
- 基于AI服务抽象出的概念:模型、推理模板、推理服务。
- 基于推理模板的拓展概念:
- 应用类推理模板:Dify,FastGPT等。
- 精调类推理模板:目前是LLAMA Factory。
- 模型评测类模板:主要运行评测任务。
- EndPoint类推理模板:主要作为EndPoint对外提供服务。
- 部署服务(Deployment Service)
- 支持云主机/容器两种类型的插件。
- 云主机通过Cloud-init初始化服务。
- 容器通过Dockerfile初始化服务。
- 容器服务(Container Service)
- 对接Kubernetes SDK,创建Deployment完成部署。
- 企业管理容器服务(EnterPrise Management Container Service)
- 对接Zaku API,对应映射Cloud中的项目、用户配额概念,主要作为IAM2和容器的双料插件实现。
