Windows 10 本地部署本地知识库 RAGFlow + Qwen3 1.7B

参考

环境

软件/系统 版本 说明
Windows windows 10 专业版 22H2 64 位操作系统, 基于 x64 的处理器
Ollama 客户端 25/11/7 下载
Qwen3 1.7B
bge-large-zh bge-large-zh-v1.5:latest
RAGFlow 0.21.1 下载
硬件 型号/容量 说明
CPU AND Ryzen 5 3600 6 Core
显卡 1060S 6G
内存 32G DDR4 3200Mhz
硬盘 512G SSD

正文

RAGFlow 可以做知识库、创建智能体、文件搜索等等很多很强大的功能,不仅仅是字面上理解的知识库。

安装基础环境

  1. Windows 10 安装 Ollama 客户端与运行 Qwen3 模型 https://www.cnblogs.com/xiaqiuchu/p/19199168
  2. 允许 Ollama 局域网访问,新增 OLLAMA_HOST 环境变量,值为 0.0.0.0:11434,配置完毕后重启 Ollama (如果是在命令行运行的 ollama serve ,则关闭命令行并打开一个新的命令行输入 ollama serve 即可生效;启动后会弹出网络监听的确认框,确认即可)
    image
  3. 下载与解压 RAGFlow v0.21.1
  4. 进入 ragflow-0.21.1/docker ,执行启动命令
    1. 需要启动 Docker 并能访问 hub.docker.com ,否则镜像会拉取失败。镜像比较大,需要耐心等待
    2. 由于容器启动存在依赖关系,会出现登录后台时点击注册没反应或 502 Bad Gateway,可以手动重启 ragflow-server 容器或删除所有相关容器,重新执行 docker compose -f docker-compose.yml up -d ,可以多试几次( ragflow-server 启动需要时间,请等待或执行 docker logs -f ragflow-server 查询相关日志)
    # 使用显卡模式 docker compose -f docker-compose-gpu.yml up -d
    docker compose -f docker-compose.yml up -d
    

知识库对接本地模型

  1. 访问 http://127.0.0.1/login 登录 RAGFlow 后台,注册账号
    image

  2. 登录
    image

  3. 进入控制台后,右上角可以切换语言
    image

  4. 点击右上角头像->点击 Model Providers->点击待添加模型内的 Ollama 添加模型
    image
    image
    image

  5. 添加 Chat 模型
    image

    • 模型类型:Chat
    • 模型名称(这是需要引用模型的完整名字,也是 Ollama run 模型的对应名字):qwen3:1.7b
    • 基础 URL (RAGFlow 部署在了 Docker ,Ollama 服务部署在主机,所以通过本 URL 实现 Docker 访问主机端口): http://host.docker.internal:11434
    • API-Key(本地部署可以忽略)
    • 最大 Token 数(这个根据需要调整) :1024
  6. 点击确认后添加模型完毕
    image

  7. 在命令行使用 Ollama 下载 bge-large-zh-v1.5

    ollama pull quentinz/bge-large-zh-v1.5
    
  8. 添加 bge-large-zh-v1.5 模型到知识库(与聊天模型添加步骤一致)
    image

  9. 点击 设置系统默认模型Img2txt模型Speech2txt模型Rerank模型TTS模型等模型留空即可,根据名称去分析对应模型支持其他扩展功能)
    image

    • 聊天模型: qwen3:1.7b
    • 嵌入模型: quentinz/bge-large-zh-v1.5:latest

知识库内容添加

  1. 点击知识库->创建知识库,其中 内置 选项为解析文档的格式,具体请搜索
    image
  2. 上传文档;如果未选中创建时解析需要手动点击解析开始按钮(建议选中上传时解析
    image
    image
  3. 点击 检索测试 可以进行测试
    image

对话

  1. 点击 聊天 -> 新建聊天 -> 输入 聊天标题 进行创建聊天助理
    image

  2. 点击创建的聊天助理->+按钮创建聊天(当前还不可以正常交流);其中最左侧为聊天助理、中间为聊天窗口、右侧为助理属性配置;
    image

  3. 在右侧 聊天设置

    1. 指定知识库为已添加的知识库 夏秋初手机知识库
      image
    2. 指定聊天模型为 qwen3:1.7b
      image
    3. 点击保存(其他内容均为自动生成)
  4. 开始聊天即可
    image

posted @ 2025-11-07 17:03  夏秋初  阅读(1)  评论(0)    收藏  举报