本地部署deep seek

 

 1.安装ollama

 到官网下载后安装即可

默认是安装到C盘，如果想要更改安装盘符，可用下面的方法实现：详见：自定义Ollama安装路径 - 不愿透露姓名的菜鸟 - 博客园

1.1 安装大模型

 获取：deepseek

DeepSeek · Ollama Search

选择具体模型后，复制命令：如：ollama run deepseek-r1:7b

 打开cmd，粘贴复制的命令，回车，安装成功后，会出现以下窗口

使用

 

 

2.安装Chatbox并完成配置

 

选择模型

 

 

 

 

3.离线部署

 经常会受到网络因素等方面的原因，在线安装大模型会失败，以下离线部署大模型

先是获取gguf模型文件：可在改地址下载：https://modelscope.cn/models

根据需求选择模型文件下载

 

创建Modelfile文件

下载好gguf文件后，再自己创建一个Modelfile文件，文件内容写一句话即可，主要为表示gguf模型文件的路径，路径根据自己的实际情况写。

FROM ./your-model-path.gguf

成功后会有对应的大模型

在当前目录下，cmd进入命令行

录入：ollama create model-name -f Modelfile   

 model-name为模型名称，可以任意取名