Loading

Deepseek本地化部署

如何联系本人?

 

 

 

 

 

 

 

 

 

 

 

 

 

一、下载CUDA显卡驱动

https://developer.nvidia.com/cuda-downloads
 

二、Ollama 下载与安装

2.1 Ollama 的下载

Ollama 是一个开源的本地模型运行工具,可以方便地下载和运行各种开源模型,如 Llama、Qwen、DeepSeek 等。Ollama 提供高效、灵活的大模型部署和管理解决方案,可以简化模型的部署流程。支持macOS、Linux、Windows 操作系统。
 
官网地址:https://ollama.com/
下载地址:https://ollama.com/download
 
本教程选择 Ollama Windows 版本 下载。

2.2 Ollama 的安装

下载完成后直接点击 OllamaSetup.exe 进行安装。
安装完成后,cmd 打开命令行窗口,输入 “ollama -v” 测试,显示 ollama 的版本为 “0.5.7”,表明安装成功。
ollama list查看下载的模型

2.3 Ollama 的运行

Ollama 没有用户界面,在后台运行。
打开浏览器,输入 “http://localhost:11434/”,显示 “Ollama is running”。

2.3 Ollama 安装 deepseek-r1 模型

(1)从 ollama 官网 查找 deepseek-r1 模型。
(2)点击进入 deepseek-r1 模型,可以选择不同版本的模型(1.5b/7b/14b/32b/70b/671b)。
deepseek-r1 提供多个版本,参数量越大,模型的性能越强大,但也需要更多的存储和计算资源。1.5b 模型参数为15亿/1.1GB,7b 模型参数约为 70亿/4.7GB,14b 模型参数约为 140亿/9GB。
 
ollama run deepseek-r1:14b
默认地址是 “C:\Users%username%.ollama\models”。如果要修改模型的保存地址,可以新建一个文件夹如 “C:\Model”,然后在系统环境变量添加系统变量:“变量名:OLLAMA_MODELS,变量值:C:\Model”。

2.4 Ollama 查看GPU/CPU使用比例

 
 
 
简单理解,就是我们虽然本地部署了DeepSeek R1,
但是使用起来并不方便(需要在命令行里面进行对话互动),
这样一来就加大了我们使用时的门槛,
于是,我们就需要用到类似于Open-WebUI、ChatBox等可视化界面工具,
所以,不管是浏览器插件也好、客户端程序也罢,都只是为了方便我们更好地使用DeepSeek而已。
之前的文章里,我们已经介绍过了Open-WebUI可视化界面的方式,
这篇文章,教大家如何在Chatbox客户端里面使用DeekSeek推理模型。
posted @ 2025-02-10 12:03  梦想PHOTO  阅读(272)  评论(0)    收藏  举报