QCS8550运行ModelFarm上的DeepSeek-R1-Distill-Qwen-7B模型

1.点击链接https://aiot.aidlux.com/zh/models 打开模型广场，找到对应的模型

2.下载对应模型，将文件包push到板卡上

可直接拖拽到aidlux的文件浏览器或者通过adb push的方式上传

3.生成式模型需找到开发指南下的AidGen推理框架进行使用AidGen | APLUX Doc Center

4.根据操作解压模型资源

cp -r /usr/local/share/aidgen/examples/genie ./
cd genie/data #此路径下进行解压

5.修改解压后模型资源中后缀为htp.json的配置文件中的路径

6.根据data路径下aidgen_chat_template.txt模板修改/genie/cpp路径下的test_prompt_serial.cpp文件中的提示词模板部分

注意提示模板的提示词修改，给 prompt_template 添加占位符“{}”，例如:

if(prompt_template_type == "qwen2"){
    prompt_template = "<｜begin▁of▁sentence｜>You are Deepseek-R1, an AI assistant created exclusively by the Chinese Company DeepSeek. You'll provide helpful, harmless, and detailed responses to all user inquiries in Chinese.<｜User｜>{}<｜Assistant｜>";
}

7.保存修改后，在当前路径下按照操作进行编译：

mkdir build && cd build
cmake .. && make
#编译成功后运行 test_prompt_serial
./test_prompt_serial /home/aidlux/genie/data/DeepSeek-R1-Distill-Qwen-7B-htp.json

若提示fatal error: fmt/format.h: No such file or directory，未找到 fmt/format.h 库，先安装相关库：

sudo apt update
sudo apt install libfmt-dev

运行结果：