解锁 TL182X 算力卡：20TOPS 算力 RK1828 大模型部署全实操（三）

4.5.2运行Qwen2.5-7B模型

请将“软件资料RK182X-AI-AcceleratorectmodelllmQwen2.5-7B”目录下的所有文件拷贝至评估板文件系统。

备注：请确保用于拷贝Qwen2.5-7B模型的文件系统目录具备充足的剩余存储空间。

Target# cd /userdata/model/llm/Qwen2.5-7B/

 

图 51

 

执行如下命令，运行Qwen2.5-7B模型测试程序，该程序在测试过程中，会以随机生成的token序列作为测试样本，重复进行3次提问，最终统计并输出测试的性能。

Target# rknn3_session_test_eval_perf Qwen2.5-7B.rknn Qwen2.5-7B.weight Qwen2.5-7B.tokenizer.gguf Qwen2.5-7B.embed.bin 1024 128 128 0xff

 

图 52

 

程序统计性能：

 

图 53

 

由打印信息可得：

 

 

查看CPU使用率和NPU使用率：

 

图 54

 

图 55

 

由上图可以看到，CPU使用率最高46%，NPU使用率最高94%。

 

4.5.3运行Qwen3-4B模型

请将“软件资料RK182X-AI-AcceleratorectmodelllmQwen3-4B”目录下的所有文件拷贝至评估板文件系统。

备注：请确保用于拷贝Qwen3-4B模型的文件系统目录具备充足的剩余存储空间。

Target# cd /userdata/model/llm/Qwen3-4B/

 

图 56

 

执行如下命令，运行Qwen3-4B模型测试程序，该程序在测试过程中，会以随机生成的token序列作为测试样本，重复进行3次提问，最终统计并输出测试的性能。

Target# rknn3_session_test_eval_perf Qwen3-4B.rknn Qwen3-4B.weight Qwen3-4B.tokenizer.gguf Qwen3-4B.embed.bin 1024 128 128 0xff

 

图 57

 

程序统计性能：

 

图 58

 

由打印信息可得：

 

 

图 59

 

图 60

 

由上图可以看到，CPU使用率最高46%，NPU使用率最高92%。

 

4.5.4运行Qwen3-8B模型

请将“软件资料RK182X-AI-AcceleratorectmodelllmQwen3-8B”目录下的所有文件拷贝至评估板文件系统。

备注：请确保用于拷贝Qwen3-8B模型的文件系统目录具备充足的剩余存储空间。

Target# cd /userdata/model/llm/Qwen3-8B/

 

图 61

 

执行如下命令，运行Qwen3-8B模型测试程序，该程序在测试过程中，会以随机生成的token序列作为测试样本，重复进行3次提问，最终统计并输出测试的性能。

Target# rknn3_session_test_eval_perf Qwen3-8B.rknn Qwen3-8B.weight.ldtmp Qwen3-8B.tokenizer.gguf Qwen3-8B.embed.bin 1024 128 128 0xff

 

图 62

 

程序统计性能：

 

图 63

 

由打印信息可得：

 

 

查看CPU使用率和NPU使用率：

 

图 64

 

图 65

 

由上图可以看到，CPU使用率最高26%，NPU使用率最高95%。

 

五、案例编译

进行案例编译前，请先参考TL3588-EVM产品资料的《Ubuntu系统使用手册》完成应用交叉编译工具链配置。

5.1编译rknn3_model_test_demo

执行如下命令，进入rknn3_model_test_demo案例目录。

Host# cd /home/tronlong/RK3588/rk182x_sdk/rknn/rknn3-runtime/examples/rknn3_model_test_demo

Host# ls

 

图 66

 

执行如下命令，配置交叉编译环境，并运行构建脚本build-linux.sh，编译应用程序。

Host# export GCC_COMPILER=/home/tronlong/RK3588/rk3588_linux_release/ubuntu/sysroots/x86_64-linux/bin/gcc-linaro-10.2.1-2021.01-x86_64_aarch64-linux-gnu/bin/aarch64-linux-gnu

Host# ./build-linux.sh -t rk3588 -a aarch64 -b Release

 

图 67

 

编译完成后，将在"install/rknn3_model_test_Linux/"目录下生成可执行文件。

 

图 68

 

5.2编译rknn3_llm_test

执行如下命令，进入rknn3_llm_test案例目录。

Host# cd /home/tronlong/RK3588/rk182x_sdk/rknn/rknn3-model-zoo/tools/rknn3_llm_test

Host# ls

 

图 69

 

执行如下命令，配置交叉编译环境，并运行构建脚本build-linux.sh，编译应用程序。

Host# export GCC_COMPILER=/home/tronlong/RK3588/rk3588_linux_release/ubuntu/sysroots/x86_64-linux/bin/gcc-linaro-10.2.1-2021.01-x86_64_aarch64-linux-gnu/bin/aarch64-linux-gnu

Host# ./build-linux.sh -t rk3588 -a aarch64 -b Release

 

图 70

 

若使用Ubuntu22.04版本资料（基于rk3588_linux6.1_release_v1.4.0）的开发环境，则执行如下命令配置交叉编译环境，再运行构建脚本，编译应用程序。

Host# export GCC_COMPILER=/usr/bin/aarch64-linux-gnu

Host# ./build-linux.sh -t rk3588 -a aarch64 -b Release

 

图 71

 

编译完成后，将在"install/rknn3_llm_test_RK3588_Linux/"目录下生成可执行文件。

 

图 72