健康一贴灵,专注医药行业管理信息化

尝试本地部署|DeepSeek

微博上看到DeepSeek的报告,尝试想本地部署

百度,bing 后,深感英文太差,找个翻译帮助;

1、找到网址  how-to-run-locally 

https://github.com/deepseek-ai/DeepSeek-V3?tab=readme-ov-file#6-how-to-run-locally 

2、按步骤Clone 

git clone https://github.com/deepseek-ai/DeepSeek-V3.git
cd DeepSeek-V3/inference
pip install -r requirements.txtr 

报错,

 然后,再百度,原因为triton 只支持linux,要支持Windows ,只能再下

pip install cmake
pip install triton-2.0.0-cp310-cp310-win_amd64.whl

继续报错

 各种百度,貌似和python版本有关,找到有一个虽然有报警,但仍能进行的版本;

pip install https://huggingface.co/madbuda/triton-windows-builds/resolve/main/triton-2.1.0-cp311-cp311-win_amd64.whl

阿弥陀佛,一边装 ,一边写备忘.....

 好像是超时,come again

 又是出错的乱七八糟,估计和下载的python3.11 版本有关,辗转找到如下网址

https://hf-mirror.com/madbuda/triton-windows-builds

开始下另一个版本的whl,

https://hf-mirror.com/madbuda/triton-windows-builds/resolve/main/triton-2.1.0-cp311-cp311-win_amd64.whl

这货居然有500多M,继续折腾吧,将下载的.whl文件复制到python的安装目录下,安装 居然成了

 此时,离安装DeepSeek已经绕了几里了,再回头安装 DeepSeek;

再装,仍然出错,其实系统早已提示要triton3.0的版本,我一直下的是2.X的版本,继续下载

https://hf-mirror.com/madbuda/triton-windows-builds/resolve/main/triton-3.0.0-cp311-cp311-win_amd64.whl

然后复制到python安装目录 ,执行安装命令:

     pip install triton-3.0.0-cp311-cp311-win_amd64.whl

终于成功安装 triton 3.0在windows 上;

再开一章,不然有点乱了;

第二章;

pip install -r requirements.txt

这次安装再没报triton 错误,正写着blog,报错又来了

 九九八十一难,少一个取不到真经,继续扯;

 pip uninstall pyee 

pip install pyee=9.0.0

接着是torch 版本报错,继续 pip uninstall ....pip insall ..

 

posted @ 2025-01-23 10:21  一贴灵  阅读(7419)  评论(0)    收藏  举报
学以致用,效率第一