本地部署DeepSeek极简教程

本文针对DeepSeek R1，使用Ollama运行，平台是Windows。

1. 下载GPU的AI支持包

比如使用Nvidia的显卡做功，那么需要下载和安装cuda，网址：https://developer.nvidia.com/cuda-toolkit-archive

其它厂商的就下载官方的支持包，CPU一般不需要额外下载支持包。

2. 下载Ollama

下载地址：https://ollama.com/download

下载后直接安装即可，本步骤以下内容可跳过。

Note:

Ollama是是Meta公司推出的一个轻量级的、可扩展的框架，用于在本地机器上构建和运行语言模型，支持Windows / Linux / MacOS。

Ollama商用免费（https://github.com/ollama/ollama 的协议是MIT，协议不变，一般商用免费政策不变，注意官方策略动态）。

Ollama默认模型下载路径是C盘，我们可以在Windows环境变量中创建一个名字叫做"OLLAMA_MODELS"变量，变量的value填写我们希望下载的位置即可(生效需重启ollama)。

3. 下载DeepSeek

先根据自己的需求和计算机配置，选择合适的模型，可参考下表：

模型版本	参数量(B)	模型尺寸	VRAM要求(GB)	参考GPU配置
DeepSeek-R1	671 B	404 GB	~1342 GB	NVIDIA A100 80GB x16
DeepSeek-R1-Distill-Llama-70B	70 B	43 GB	~32.7 GB	NVIDIA RTX 4090 24GB x2
DeepSeek-R1-Distill-Llama-32B	32 B	20 GB	~14.9 GB	NVIDIA RTX 4090 24GB
DeepSeek-R1-Distill-Llama-14B	14 B	9 GB	~6.5 GB	NVIDIA RTX 3080 10GB
DeepSeek-R1-Distill-Llama-8B	8 B	4.9 GB	~3.7 GB	NVIDIA RTX 3070 8GB
DeepSeek-R1-Distill-Llama-7B	7 B	4.7 GB	~3.3 GB	NVIDIA RTX 3060 6GB
DeepSeek-R1-Distill-Llama-1.5B	1.5 B	1.1 GB	~0.7 GB	GPU / NPU / CPU

打开一个 Powershell 或 cmd 终端，执行：

ollama run deepseek-r1:8b

首次运行，会自动下载指定版本的deepseek，后续本地运行使用时也是运行这条命令。

加载成功后，就可以在命令行中进行中文或者英文交流了（如果担心个人数据隐私风险，如学术成果，可以禁止Ollama联网）。

到这一步，就可以正常使用了，后续步骤只是锦上添花，可以不看。

如果想换其它版本，或者不想用当前版本，可以通过如下命令删除：

ollama rm deepseek-r1:8b

4. 第三方UI

4.1 使用Page Assist

这是一个浏览器插件，像Chrome、MS Edge、Firefox等都支持，可以直接在浏览器应用商店安装，也可以下载代码编译安装。

代码库：[https://github.com/n4ze3m/page-assist].

使用方法：

在浏览器中安装成功后，打开一个浏览器空白页，点击插件，会出现UI交互界面，在UI上方选择需要交互的本地模型，就可以正常使用了，同时下方输入框有联网按钮，可以选择是否联网。

4.2 使用Open WebUI

这里提供两种方式，第1种是使用docker加载open webui，第2种是使用python安装open webui库。

4.2.1 docker版

首先正确安装docker后，运行如下命令：

$ docker pull ghcr.io/open-webui/open-webui:main

然后，将Open WebUI容器运行在后台，并将容器的8080端口映射到主机的3000端口：

$ docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

接下来，请看第3步。

4.2.2 python版

首先正确安装python应用或conda、miniforge等python容器，这里以python应用为例，首先创建并激活虚拟环境：

$ python --version
3.12.9

$ python -m venv ai-webui
# 1. Windows Powershell
$ ai-webui\Scripts\Activate.ps1
# 2. Linux
$ ai-webui/Scripts/activate

安装open webui的python库:

$ pip install open-webui

启动open webui:

$ open-webui serve