本地AI知识库问答开源技术实现（二）--配置模型和知识库

本地AI知识库问答开源技术实现（二）--配置模型和知识库

目录

• 一、安装和准备
• 二、配置模型和知识库
• 三、助手搭建和使用

配置大模型

• Dify 启动后，默认为空的，从 v1.0.0 开始所有模型库（包括 Ollama ）都要通过 插件 的形式安装
• 在 插件 -> 探索 Marketplace -> 模型 中找到 Ollama ，点击 安装
  
• 等待安装完成后，刷新页面，点击管理员头像，选择 配置 ，在 模型供应商 找到 Ollama 并点击 添加模型
  
• 填写模型信息，注意 Ollama 的地址
  
• 模型名称填写 Ollama 上的对应的 NAME ，可通过 ollama ls 查看已下载的模型，名称中的 :latest 标识不需要填写

  NAME                                     ID              SIZE      MODIFIED
  gemma3:27b                               30ddded7fba6    17 GB     11 days ago
  qwq:latest                               38ee5094e51e    19 GB     2 weeks ago
  qwen2.5:32b                              9f13ba1299af    19 GB     4 weeks ago
  deepseek-r1:70b                          0c1615a8ca32    42 GB     4 weeks ago
  qwen2.5:14b                              7cdf5a0187d5    9.0 GB    4 weeks ago
  qwen2.5:latest                           845dbda0ea48    4.7 GB    4 weeks ago
  deepseek-r1:32b                          38056bbcbb2d    19 GB     4 weeks ago
  nomic-embed-text:latest                  0a109f422b47    274 MB    4 weeks ago
  bge-m3:latest                            790764642607    1.2 GB    4 weeks ago
  deepseek-r1:1.5b                         a42b25d8c10a    1.1 GB    5 weeks ago
  deepseek-r1:7b                           0a8c26691023    4.7 GB    5 weeks ago
  

• 依次添加以下模型
  • qwq
  • bge-m3
    • 模型类型选择 Text Embedding
  • qwen:14b
• 添加完成后如下显示
  
• 确认基础模型都添加完成后，刷新页面，再回到系统配置的 模型供应商 页面；
• 在 系统模型设置 中配置系统默认模型
  
• 至此基础模型准备工作完成。

配置知识库

• 大模型准备完成后，就可以开始准备知识库了
• 知识库可以有很多种类型，可以是技术文档，公司制度等；Dify 目前支持多种格式的文件做为知识库来源，下面以 Word 文件为例；
• 打开 Dify 的 知识库 版块，点击 创建知识库 ，选择 导入已有文本
  
• 选择已准备好的文件，点击 下一步 进入 文本分段与清洗
• 分段设置 有两种类型
  • 通用 ：默认的分段类型，适用于大多数场景
  • 父子分段 ：适用于结构分明的文档，像制度文件等
• 索引方式 一般选择 高质量
• Embedding 模型 选择之前配置好的 bge-m3 ，如果此处没有可选择的模型，说明之前模型配置有误，需重新配置；
• 检索设置 一般选择 混合检索
• 设置完成后，点击 保存并处理 ，系统开始将文档进行分段和向量化；
• 知识库内的文档准备完成后，可对文档进行 召回测试 ，测试将显示文本（问题）召回的文档
  
• 可以根据召回效果来对设置进行微调，找到一个适合的值；

接下篇--三、助手搭建和使用