通过Ollama如何本地部署DeepSeek R1
Ollama 是一个开源的本地化工具,旨在帮助用户轻松在个人计算机上运行、管理和微调大型语言模型(LLMs),例如 Meta 的 Llama、Llama 2、Mistral、Gemma 等,当然也包括DeepSeek
1、首先我们到Ollama官网去下载安装包,此处我们下载的是Windows版本的安装包 OllamaSetup.exe(约1G),
2、安装Ollama 双击安装会默认安装到C盘,不推荐这个
可以用命令行安装,自定义安装目录;
以管理员身份运行CMD,并定位到OllamaSetup.exe所在的目录(假设OllamaSetup.exe在D:\Temp目录下),然后执行如下命令:
OllamaSetup.exe /DIR="D:\Ollama"
在图形界面点击install
注意: 安装完成后,Ollama默认为打开状态,此时我们先退出Ollama(鼠标右键点击任务栏的Ollama图标然后选择退出即可)。
3、验证Ollama
上述步骤完成后,我们可以打开CMD,输入ollama -v命令,如果出现如下图所示的内容就代表Ollama安装成功了
4、修改大模型存储位置
打开环境变量,然后在用户变量中点击新建按钮,变量名为OLLAMA_MODELS,变量值为F:\Net_Program\Net_Ollama\Models,其中的变量值就是大模型下载存储的目录位置,最后点击确定即可
5、下载DeepSeek
同样我们打开Ollama官网,点击顶部的Models链接,找到deepseek-r1
点击deepseek-r1链接进去,此时我们会看到下拉框中有各个版本的大模型,越往后对电脑硬件的要求越高,此处为了演示效果,我们选择1.5b进行下载(具体可根据自己的电脑和需求有选择性的下载)
随后我们复制下拉框后面的命令ollama run deepseek-r1:1.5b,粘贴到_新打开的CMD窗口_中回车执行(耐心等待下载完成)
注意: 上述下载命令需要在新打开的CMD窗口中执行(因为我们在【修改大模型存储位置】中修改了大模型存储的位置),否则下载的文件存储在C:\Users\用户\.ollama\models位置,就不是我们修改的F:\Net_Program\Net_Ollama\Models这个位置了。
ollama run deepseek-r1:1.5b
CMD窗口中显示success,以及输入提示符>>> ,说明下载完成
6、验证DeepSeek
可以在CMD中输入内容进行对话了
假设我们安装了多个DeepSeek模型,我们可以通过ollama list命令查看已安装了的模型
如果我们想运行某个模型,我们可以通过ollama run 模型名称命令运行即可,
例如 ollama run deepseek-r1:1.5b
到此deepseek 本地化部署告一段落了。
补充:deepseek有 1.5b 7b 8b 14b 32b 70b 671b
看网上有人试过无独立显卡可安装7b、8b模型,需要近5G硬盘
还有人说自己的虚拟机里也能部署32b版本(约20G)
671b硬盘空间404G,
参考:https://zhuanlan.zhihu.com/p/25195865563
https://www.cnblogs.com/Seamless/p/18782307
https://zhuanlan.zhihu.com/p/23556061282
https://zhuanlan.zhihu.com/p/27974652532
https://zhuanlan.zhihu.com/p/26262060088
浙公网安备 33010602011771号