win11环境deepseek本地部署

1.安装 lm studio

lm studio 功能比 ollama 更强一些,而且有UI界面可以直接使用。

官网:https://lmstudio.ai

首先进入官网下载相应操作系统的 lm studio。

 下载完成后开始安装,修改路径后,点击下一步直至安装完成。

 

记录好安装位置,后续配置国内镜像需要使用。

2.配置 lm studio 国内镜像源配置

此时搜索模型会提示获取失败,由于LM Studio会到huggingface.co下载相关模型,但其无法访问,所以需要把LM Studio中所有出现的huggingface.co改为hf-mirror.com

关闭 lm studio, 在安装路径下,使用 vscode 打开相应 index.js 和 main_window.js 文件

 以 vscode 为例(可使用其他工具),使用 ctrl+shift+h 组合键批量替换,搜索 huggingface.co 替换 hf-mirror.com 

 替换后重启 lm studio 

3.下载deepseek模型

以1.5GB模型为例,点击左侧放大镜搜索,输入deepseek,选择需要的版本,点击 download 即可。

点击后左侧弹框开始下载,等待完成即可。

 出现超时报错时,点击刷新即可继续下载。

 下载完成后,点击信息图标,点击加号新建窗口

 选择已下载的模型

 初始化配置后,点击执行。

 最后发送问题测试即可

 1.5GB蒸馏模型较小,如果电脑有更好的显存条件,安装更大的模型。

 

posted on 2025-02-25 13:45  新意  阅读(760)  评论(0)    收藏  举报

导航