如何在Windows上部署deepseek Distill模型和可视化对话工具Open-Webui

如何在Windows上部署deepseek Distill模型和可视化对话工具Open-Webui

加载DeepSeek-R1-Distill模型

1、安装ollama，ollama支持windows的exe安装，非常省心省力，网址https://ollama.com/download。

2、打开命令窗，键盘win+r输入cmd或者菜单里搜cmd，在命令窗输入ollama -v，如果有显示内容说明安装成功进入下一步。

3、下载对应的deepseek蒸馏模型，本文以DeepSeek-R1-Distill-Qwen-7B-GGUF为例，下载GGUF版本模型文件网址https://www.modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF，GGUF相比于safetensors少一步转化步骤，下载如下图文件中下划线文件，Q几代表压缩量化，文件越小压缩量化比例越高，精度越低，电脑配置高，可选择半精度F16版本。

4、在模型文件下创建一个Modelfile文件，注意不要有后缀格式名称，用记事本打开Modellife,输入FROM ./+文件名称

FROM ./DeepSeek-R1-Distill-Qwen-7B-Q2_K.gguf

然后打开命令窗口，右键文件夹在终端中打开。

5、输入ollama create test -f ./Modelfile，test是载入模型名称，可随意更改，当出现如下图内容和success说明载入成功。

6、输入ollama run test运行模型，进入对话，如下图：

7、完成模型加载，此状态可以在命令行窗口进行对话使用。

部署Open-webui可视化工具

1、打开命令窗cmd，输入pip install open-webui，安装open-webui。

2、open-webui serve，运行服务。

3、打开网页，输入http://localhost:8080/，出现如下图登陆界面，第一次输入的账号密码会自动注册为管理员账号。

4、在左上角选择在ollama注册好的模型版本。

5、现在可以愉快的开始你的对话啦