ZStack Logo

ZStack AIOS

通过FastGPT创建定制化聊天应用

AIOS 用户侧功能说明，覆盖 GPU、模型仓库、推理服务和场景实践。

FastGPT是一个基于LLM大语言模型的知识库问答系统，支持数据处理、模型调用等能力，并提供可视化界面供用户快捷创建、编排应用。

ZStack AIOS内置FastGPT安装包，支持一键部署FastGPT平台。

本场景假定某用户希望基于FastGPT构建定制化对话应用，通过接入专属知识库，实现对特定领域问题的精准回答，确保应用的回答均基于知识库检索和生成。

本节将以上述场景为例，详细介绍在ZStack AIOS上部署FastGPT并创建对话应用的方法，主要包括以下步骤：

  1. 创建推理服务
  2. 部署FastGPT
  3. 登录FastGPT和OneAPI
  4. 接入推理服务API
  5. 创建知识库
  6. 创建应用
  1. 创建推理服务
    创建对话应用需准备三种模型：
    • 大预言模型：负责理解用户输入并生成回复
    • 文本嵌入模型：将文本转换为向量，并实现数据库检索
    • 重排序模型：对文本嵌入模型的检索结果做进一步精细排序，提升检索准确性
    1. 创建大语言推理服务
      本场景使用系统模型DeepSeek-R1-Distill-Qwen-7B。
      在ZStack AIOS主菜单，点击AI模型平台 > 模型仓库，进入模型仓库界面。找到并点击需部署的模型，在右侧详情页，点击创建推理服务。
      配置推理服务参数，点击确定，开始创建。详情可参考创建推理服务。
    2. 创建文本嵌入推理服务
      本场景使用系统模型bge-reranker-large。创建方法同上。
    3. 创建重排序推理服务
      本场景使用系统模型bge-large-zh-v1.5。创建方法同上。
  2. 部署FastGPT
    在ZStack AIOS主菜单，点击AI模型平台 > 应用开发服务 > 全部，找到FastGPT，点击部署服务，弹出部署服务界面。
    可参考以下示例输入相应内容：
    • 名称：设置应用开发服务名称
    • 简介：可选项，可留空不填
    • 部署方式：当前仅支持云主机部署
    • CPU架构：选择云主机CPU架构
    • 高级选项：可选项，指定云主机所在集群、主存储和IP地址。本场景不指定，由系统自动分配
    • 根盘容量：默认为500GB
    • CPU和内存：设置云主机CPU和内存
    配置完成后，点击确定，开始部署。
    如图1所示：


    图1 部署FastGPT
  3. 登录FastGPT和OneAPI
    等待Dify部署完成。进入应用开发服务 > 已部署，找到部署完成的FastGPT。
    1. 登录FastGPT
      找到部署完成的FastGPT，点击进入服务 > 应用工作台，使用账户名root和初始密码1234登录。
    2. 登录OneAPI
      找到部署完成的FastGPT，点击进入服务 > OneAPI，使用账户名root和初始密码123456登录。
  4. 接入推理服务API
    1. 查看推理服务API URL和服务ID
      进入推理服务界面，找到步骤1中创建的三个推理服务：
      • API URL：推理服务中的工作台地址即为该推理服务的API URL。如图2所示
      • 服务ID：点击工作台地址，进入推理服务Swagger UI，Server ID即为服务ID (不含:dev部分) 。如图3所示


      图2 API URL


      图3 服务ID
    2. 接入推理服务
      支持两种方式接入推理服务：通过OneAPI接入、通过FastGPT接入。
      • 通过OneAPI接入
        进入OneAPI，在顶部点击渠道 > 添加新的渠道，进入创建新的渠道界面，将步骤1中创建的三个推理服务依次接入。注意设置以下参数：
        • 类型：选择自定义渠道
        • Base URL：输入推理服务的API URL
        • 名称：填写推理服务的服务ID
        • 分组：本场景使用默认分组
        • 模型：如模型框内已有其他模型，先点击清除所有模型，将已有模型清除。在输入自定义模型名称中输入推理服务的服务ID，并点击填入

        设置完成后，点击提交，开始创建渠道。

        如图4所示：


        图4 新增渠道
      • 通过FastGPT接入
        进入FastGPT，在左侧点击账号 > 模型提供商 > 模型配置，进入模型配置界面，点击新增模型并选择模型类型，将步骤1中创建的三个推理服务依次接入
        说明：
        • 大语言推理服务选择语言模型
        • 文本嵌入推理服务选择索引模型
        • 重排序推理服务选择重排模型
        在弹出的模型参数编辑界面，设置以下参数：
        • 模型ID：输入推理服务的服务ID
        • 模型提供商：选择模型提供商
        • 别名：输入模型别名，可任意设置
        • 自定义请求地址：按以下格式填写：
          • 大语言推理服务：${APIURL}/v1/chat/completions
          • 文本嵌入推理服务：${APIURL}/v1/embeddings
          • 重排序推理服务：${APIURL}/v1/rerank
          说明： ${APIURL}均标识推理服务的API URL

        设置完成后，点击确定，开始添加模型。

        如图5所示：


        图5 新增模型
  5. 创建知识库
    1. 准备知识库文件
      准备用于知识库的文本文件，可以是企业内部文档、FAQ、规范信息等。可以是以下形式：
      • 本地文件：PDF、TXT、DOCX等
      • 网页链接：读取静态网页内容作为数据集
      • 自定义文本：手动输入一段文本作为数据集
      本场景选择准备一个本地PDF文件。
    2. 创建知识库
      进入FastGPU，在左侧点击知识库 > 新建 > 通用知识库，进入创建通用知识库界面，设置以下参数：
      • 名称：输入知识库名称
      • 索引模型：选择步骤4中接入的文本嵌入推理服务
      • 文本理解模型：选择步骤4中接入的大语言推理服务
      设置完成后，点击确认创建。
      如图6所示：


      图6 创建知识库
    3. 上传文本文件
      点击进入已创建的知识库，在界面顶端点击数据集 > 新建/导入 > 文本数据集 > 本地文件，设置以下参数：
      • 选择文件：选择需上传的本地文件
      • 数据处理：设置数据处理方式和处理参数
      设置完成后，点击开始上传。
      如图7所示：


      图7 上传文本文件
  6. 创建聊天应用
    1. 创建简易应用
      进入FastGPT，在左侧点击工作台 > 新建 > 简易应用，进入创建简易应用界面，设置以下参数：
      • 取个名字：输入应用名称
      • 从模板创建：本场景选择知识库+对话引导，点击使用，将创建简易应用
      如图8所示：


      图8 创建简易应用
    2. 配置应用
      应用创建完成后，将自动跳转到应用配置界面，设置以下参数：
      • AI模型：选择步骤4中接入的大语言推理服务
      • 关联知识库：
        • 选择：点击选择，选择步骤5中创建的知识库
        • 参数：选择完成后，点击参数，进行知识库搜索配置。勾选结果重排，可使用步骤4中接入的重排推理服务对搜索结果进行二次排序
      其他参数可按需设置，设置完成后，点击保存并发布，完成应用配置。
      如图9所示：


      图9 配置应用
至此，通过FastGPT创建定制化聊天应用已完成。