ZStack Logo

ZStack AIOS

通过Dify创建定制化聊天助手

AIOS 用户侧功能说明，覆盖 GPU、模型仓库、推理服务和场景实践。

Dify是一款开源的大预言模型应用开发平台，它支持数百个模型和RAG引擎、Agent框架、工作流等功能，并提供可视化界面，帮助用户便捷构建AI应用，适用于智能客服、内容生成、知识管理等场景。

ZStack AIOS内置Dify安装包，支持一键部署Dify平台。

本场景假定某用户希望基于Dify构建定制化聊天助手，通过接入专属知识库，实现对特定领域问题的精准回答，确保助手的回答均基于知识库检索和生成。

本节将以上述场景为例，详细介绍在ZStack AIOS上部署Dify并创建AI应用的方法，主要包括以下步骤：

  1. 创建推理服务
  2. 部署Dify
  3. 注册并登录Dify
  4. 接入推理服务API
  5. 创建知识库
  6. 创建聊天助手并接入知识库
  1. 创建推理服务
    创建聊天助手需准备三种模型：
    • 大预言模型：负责理解用户输入并生成回复
    • 文本嵌入模型：将文本转换为向量，并实现数据库检索
    • 重排序模型：对文本嵌入模型的检索结果做进一步精细排序，提升检索准确性
    1. 创建大语言推理服务
      本场景使用系统模型DeepSeek-R1-Distill-Qwen-7B。
      在ZStack AIOS主菜单，点击AI模型平台 > 模型仓库，进入模型仓库界面。找到并点击需部署的模型，在右侧详情页，点击创建推理服务。
      配置推理服务参数，点击确定，开始创建。详情可参考创建推理服务。
    2. 创建文本嵌入推理服务
      本场景使用系统模型bge-reranker-large。创建方法同上。
    3. 创建重排序推理服务
      本场景使用系统模型bge-large-zh-v1.5。创建方法同上。
  2. 部署Dify
    在ZStack AIOS主菜单，点击AI模型平台 > 应用开发服务 > 全部，找到Dify，点击部署服务，弹出部署服务界面。
    可参考以下示例输入相应内容：
    • 名称：设置应用开发服务名称
    • 简介：可选项，可留空不填
    • 部署方式：当前仅支持云主机部署
    • CPU架构：选择云主机CPU架构
    • 高级选项：可选项，指定云主机所在集群、主存储和IP地址。本场景不指定，由系统自动分配
    • 根盘容量：默认为500GB
    • CPU和内存：设置云主机CPU和内存
    配置完成后，点击确定，开始部署。
    如图1所示：


    图1 部署Dify
  3. 注册并登录Dify
    等待Dify部署完成。进入应用开发服务 > 已部署，找到部署完成的Dify，点击进入服务。
    在Dify登录界面，使用邮箱注册账号。注册完成后，使用该账号登录。
  4. 接入推理服务API
    1. 查看推理服务API URL和服务ID
      进入推理服务界面，找到步骤1中创建的三个推理服务：
      • API URL：推理服务中的工作台地址即为该推理服务的API URL。如图2所示
      • 服务ID：点击工作台地址，进入推理服务Swagger UI，Server ID即为服务ID (不含:dev部分) 。如图3所示


      图2 API URL


      图3 服务ID
    2. 在Dify中接入推理服务
      进入Dify服务，点击右上角头像，进入设置 > 模型供应商界面，选择OpenAI-API-compatible，将步骤1中创建的推理服务依次加入，注意以下参数的设置：
      • 模型类型：选择模型类型
        • 大语言推理服务选择LLM
        • 文本嵌入推理服务选择Text Embedding
        • 重排序推理服务选择Rerank
      • 模型名称：输入推理服务的服务ID
      • API endpoint URL：输入以下格式：${APIURL}/v1，其中${APIURL}为推理服务的API URL。例如：http://172.20.1.1:3000/v1
      如图4所示：


      图4 接入推理服务
      三个推理服务接入完成后如图5所示：


      图5 推理服务接入完成
  5. 创建知识库
    1. 准备文本文件
      准备用于知识库的文本文件，可以是企业内部文档、FAQ、规范信息等。可以是以下形式：
      • 长文本内容：TXT、Markdown、DOCX、HTML、JSON、PDF等
      • 结构化数据：CSV、Excel等
      • 在线数据源：网页爬虫、Notion等
      本场景选择准备PDF文件。
    2. 创建知识库
      在Dify服务顶部，点击知识库 > 创建知识库，进入创建知识库界面，设置以下参数：
      • 选择数据源：本场景选择导入已有文本方式，并将准备好文件上传
      • 文本分段与清洗：
        • 索引方式：选择高质量
        • Embedding模型：选择已接入的文本嵌入推理服务
        • 检索设置：设置混合检索-Rerank模型，选择已接入的重排序推理服务
      如图6所示：




      图6 创建知识库
      设置完成后，系统将处理已上传文件并完成知识库创建。
  6. 创建聊天助手并接入知识库
    1. 创建聊天助手
      在Dify服务顶部，点击工作室 > 创建应用 > 创建空白应用，进入创建空白应用界面，设置以下参数：
      • 选择应用类型：选择聊天助手
      • 应用名称&图标：输入应用名称并设置应用图标
      • 描述：可选项，可留空不填
      设置完成后，点击确定，开始创建应用
      如图7所示：


      图7 创建聊天助手
    2. 编排聊天助手
      应用创建完成后，将自动进入应用概览页，点击页面左侧编排，可设置应用提示词、变量、上下文等
      通过上下文，将上一步中创建的知识库添加到该应用，使聊天助手的对话范围局限在该知识库内
      其他参数可按需配置，设置完成后，点击发布。
      如图8所示：


      图8 编排聊天助手
至此，通过Dify创建定制化聊天助手已完成。