Deepseek R1 + ollama + AnythingLLM 本地搭建大模型知识库

DeepSeek-R1本地部署配置要求

Github地址：https://github.com/deepseek-ai/DeepSeek-R1?tab=readme-ov-file

模型规模	最低 GPU 显存	推荐 GPU 型号	纯 CPU 内存需求	适用场景
1.5B	4GB	RTX 3050	8GB	个人学习
7B、8B	16GB	RTX 4090	32GB	小型项目
14B	24GB	A5000 x2	64GB	专业应用
32B	48GB	A100 40GB x2	128GB	企业级服务
70B	80GB	A100 80GB x4	256GB	高性能计算
671B	640GB+	H100 集群	不可行	超算/云计算

扩展：

上面代表的是什么含义，首先我们知道671B的模型才是基础模型，其余的1.5B、7B、8B等都是蒸馏模型，因此Qwen代表是通义千问模型蒸馏的，Llama是通过Llama模型蒸馏的

 

DeepSeek-R1 + ollama + AnythingLLM本地搭建大模型知识库

1.本次使用的操作系统，以及环境配置

操作系统：windows11

CPU:  i7-11800H

内存：16GB

GPU：RTX3050ti  4G显存

2.安装ollama

ollama是一个支持在windows、linux和macos上本地运行的大模型工具

官方网址：Release v0.5.7 · ollama/ollama · GitHub

配置环境变量

 测试是否安装成功，cmd命令行输入ollama

3.通过ollama 安装 DeepSeek-R1 8B模型

下载模型网址：deepseek-r1

在命令行输入：ollama run deepseek-r1:8b，即可下载相应模型，速度会慢一点

在命令行输入：ollama list，即可查看已经下载好的模型

 在命令行输入：ollama run deepseek-r1:8b，运行下载好的模型

3. 安装 AnythingLLM

官方网址：Download AnythingLLM for Desktop

 

4. 创建知识库

点击工作区旁边的上传按钮，可以将文件上传到工作区中，这里我上次的是三篇论文，要注意上传之后，最好勾选旁边的置顶

 

 

 5. 使用配置好知识库的Deepseek R1 模型，这里需要在聊天设置中配置相关的聊天提示，模型才能够更好的理解你的任务