DeepSeek R1 + ollama + ragflow 使用 docker 部署(Windows)

DeepSeek-R1本地部署配置要求

Github地址:https://github.com/deepseek-ai/DeepSeek-R1?tab=readme-ov-file

模型规模最低 GPU 显存推荐 GPU 型号纯 CPU 内存需求适用场景
1.5B 4GB RTX 3050 8GB 个人学习
7B、8B 16GB RTX 4090 32GB 小型项目
14B 24GB A5000 x2 64GB 专业应用
32B 48GB A100 40GB x2 128GB 企业级服务
70B 80GB A100 80GB x4 256GB 高性能计算
671B 640GB+ H100 集群 不可行 超算/云计算

扩展:

上面代表的是什么含义,首先我们知道671B的模型才是基础模型,其余的1.5B、7B、8B等都是蒸馏模型,因此Qwen代表是通义千问模型蒸馏的,Llama是通过Llama模型蒸馏的

 

DeepSeek-R1 + ollama + open-webui本地部署

1.本次使用的操作系统,以及环境配置

操作系统:windows11

CPU:  i7-11800H

内存:16GB

GPU:RTX3050ti  4G显存

2.安装ollama

ollama是一个支持在windows、linux和macos上本地运行的大模型工具

官方网址:Release v0.5.7 · ollama/ollama · GitHub

配置环境变量

 测试是否安装成功,cmd命令行输入ollama

3.通过ollama 安装 DeepSeek-R1 8B模型

下载模型网址:deepseek-r1

在命令行输入:ollama run deepseek-r1:8b,即可下载相应模型,速度会慢一点

在命令行输入:ollama list,即可查看已经下载好的模型

 在命令行输入:ollama run deepseek-r1:8b,运行下载好的模型

4.安装docker

Docker 官网:Docker: Accelerated Container Application Development

Docker 安装参考链接:一篇就够!Windows上Docker Desktop安装 + 汉化完整指南(包含解决wsl更新失败方案)_docker汉化-CSDN博客

cmd 验证是否安装成功

配置docker镜像源

{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "registry-mirrors": [
    "https://docker.m.daocloud.io",
    "https://docker.imgdb.de",
    "https://docker-0.unsee.tech",
    "https://docker.hlmirror.com",
    "https://docker.1ms.run",
    "https://func.ink",
    "https://lispy.org",
    "https://docker.xiaogenban1993.com"
  ]
}

注意:如果windows docker 启动失败,一直 docker destop stopped,可以尝试升级wsl , cmd 输入 wsl --update

5.安装Ragflow

Ragflow 网址:GitHub - infiniflow/ragflow: RAGFlow is an open-source RAG (Retrieval-Augmented Generation) engine based on deep document understanding.

下载之后,要修改ragflow-main/docker/env配置文件,这里主要是将下载轻量版ragflow:v0.17.1-slim改为完整版ragflow:v0.17.1,完整版包含Embedding模型

# The RAGFlow Docker image to download.
# Defaults to the v0.17.1-slim edition, which is the RAGFlow Docker image without embedding models.
# RAGFLOW_IMAGE=infiniflow/ragflow:v0.17.1-slim
#
# To download the RAGFlow Docker image with embedding models, uncomment the following line instead:
RAGFLOW_IMAGE=infiniflow/ragflow:v0.17.1

cmd 进入 ragflow-main目录,执行 docker compose -f docker/docker-compose.yml up -d命令

安装完成

在浏览器输入 http://localhost:80即可完成启动

 

6.在Ragflow中配置ollama

添加ollama的deepseek-r1:1.5b模型

1.如果都是本地部署的ollama和ragflow,基础url可以为http:本机ip:11434

2.如果本地部署的ollama,docker部署的ragflow,推荐使用http://host.docker.internal:11434,因为ragflow是基于docker运行,但是ollama是直接安装在宿主机的(但是经过测试,都没有问题)

3.这里需要注意,API-Key一定要填写,哪怕为1,否则后续系统模型设置会无法调用

在系统模型设置中,配置deepseek-r1:1.5b 

 7.在Ragflow中配置知识库

 上传文件,进行解析

 

 

 

 

 

posted @ 2025-03-13 11:28  马铃薯1  阅读(3000)  评论(0)    收藏  举报