在win10中通过ollama离线部署deepseek方案

 当前方案: ollama + chatbox

1、外网电脑下载好 ollama安装包。 chatbox安装包。,【OllamaMaster-Win.exe, 仅用于改系统变量】

外网电脑安装到 D盘,并设置【模型路径】。否则撑爆系统盘。 且,方便复制到其他电脑免安装使用。

ollama安装到D盘方法? CMD后

OllamaSetup.exe /DIR=D:\Ollama_Green\Ollama_Files

安装前注意自己C盘剩余空间: 25.9GB 可用

安装完毕,检查目标路径,是否已经有exe文件。

然后使用【OllamaMaster-Win.exe】修改环境变量-用户变量(或者手工改动也可以)。OLLAMA_MODELS = D:\Ollama_Green\model_path

然后重启电脑

2、下载模型 and 打包模型(实现要先本地安装好,在打包,run pull 效果一样,但是run是安装好后会立即启动一个对话窗口)

ollama run deepseek-r1:1.5b
ollama pull deepseek-r1:7b
ollama pull qwen2.5:7b


每下载一个模型后,要到【模型存放路径 D:\Ollama_Green\model_path\blobs】路径下找最大一个文件,复制到一个新的空文件夹下,

 

重命名文件为 下载的模型名称,并加缀改如 【deepseek-r11.5b.gguf】

在本路径下,输出cmd调出终端,执行如下命令后,# 返回文字保存名称为<Modelfile>的文件
ollama show deepseek-r1:1.5b --modelfile

 

 

 

3、将 D:\Ollama_Green\下所有文件复制到 内网电脑。假设路径一样,内网电脑中:

添加环境变量 OLLAMA_MODELS = D:\Ollama_Green\model_path
添加程序启动路径 D:\Ollama_Green\Ollama_Files

 


启动ollama服务命令, 在 PowerShell 中
#(可跳过)设定端口 默认是http://localhost:11434
$env:OLLAMA_HOST = "0.0.0.0:11435"
# 启动命令
ollama serve

4、 载入模型

先修改文件中的路径<Modelfile> 为文件所在路径。
在模型文件夹下执行:
ollama create deepseek-r1:1.5b -f Modelfile

5、此时只要  PowerShell 窗口不关。就可以正常使用在ollama中安装好的大模型了。

 

 

 

--------以下是一些命令----------------

ollama pull deepseek-r1:7b
# 返回文字保存为<Modelfile>
ollama show deepseek-r1:7b --modelfile
ollama run qwen2.5:7b

ollama show qwen2.5:7b --modelfile

 

--------------------------------------------

 

探索过的方法:

方法一: (没成功)

1、win10 上装wsl   ->   wsl中 安装ubuntu   ->  ubuntu中装 ollama   ->  ollama中装deepseek. (也可以docker中装ollama)

2、wsl 中打包 ubuntu。复制到 内网中。

失败原因: 外网电脑是 wsl2  。内网电脑win10版本太低带的 wsl1

 

posted on 2025-03-07 18:39  andy_1  阅读(497)  评论(0)    收藏  举报

导航