ZStack Logo

ZStack AIOS

软件架构

AIOS 技术优势、产品架构、核心设计和发展方向。

ZStack AIOS软件架构如图1所示:


图1 软件架构
ZStack AIOS控制面组件构成:
  • 模型仓库(Model Repository)
    • 关联模型所使用的存储:NFS、ZDFS。
    • 部署Agent,完成实际与存储关联的操作。
    • 通过Async HTTP形式调用。
  • AI服务代码(AI Service Code)
    • 基于AI服务抽象出的概念:模型、推理模板、推理服务。
    • 基于推理模板的拓展概念:
      • 应用类推理模板:Dify,FastGPT等。
      • 精调类推理模板:目前是LLAMA Factory。
      • 模型评测类模板:主要运行评测任务。
      • EndPoint类推理模板:主要作为EndPoint对外提供服务。
  • 部署服务(Deployment Service)
    • 支持云主机/容器两种类型的插件。
    • 云主机通过Cloud-init初始化服务。
    • 容器通过Dockerfile初始化服务。
  • 容器服务(Container Service)
    • 对接Kubernetes SDK,创建Deployment完成部署。
  • 企业管理容器服务(EnterPrise Management Container Service)
    • 对接Zaku API,对应映射Cloud中的项目、用户配额概念,主要作为IAM2和容器的双料插件实现。