DeepSeek-R1华为卡300i Duo环境搭建&推理测试

引子

前文已经写了不少DeepSeek相关的文章，感兴趣的童鞋可以移步（https://blog.csdn.net/zzq1989_/article/details/145400876?spm=1001.2014.3001.5502，https://blog.csdn.net/zzq1989_/article/details/145674557?spm=1001.2014.3001.5502）。在N卡上的操作，应该已经展示的比较全面了。今年过年期间，华为很快就宣布适配DeepSeek-R1，刚好，手上有几张华为300i Duo卡，有资源部署。OK，让我们开始吧。

一、模型介绍

呃，DeepSeek就不用介绍了吧，哈哈哈

二、模型部署

1、修改模型里的config.json比如模型路径为：/home/aicc/modelscope/deepseek/distill-32b

里面的文件如下：修改torch_dtype(由bfloat16改成float16):

2、启动docker

docker run -it -d --net=host --name mindie_rc3_zzq --privileged=true --device=/dev/davinci_manager --device=/dev/hisi_hdc --device=/dev/devmm_svm --device=/dev/davinci4 --device=/dev/davinci5 -v /usr/local/Ascend/driver:/usr/local/Ascend/driver -v /usr/local/sbin:/usr/local/sbin -v /home/aicc/:/home/aicc bf6b7812c595 bash

进到下面路径：

docker exec -it -u 0 mindie_rc3_zzq bashcd /usr/local/Ascend/mindie/latest/mindie-service/conf

3、修改ip和端口号，检查httpsEnabled是否是false

vi config.json