04.RK3588部署Qwen3-VL - 环境搭建

1.工作环境

编译主机 ubuntu 20.04

2.主要工具

整个过程会涉及到两个工具：

• rknn-toolkit2：用于构建rknn格式模型的工具
• rknn-llm：专门用于将大语言模型优化并部署到NPU上进行加速推理的工具

3.虚拟环境

这两个工具有些依赖是互斥的，所以需要用到虚拟环境来隔离，虚拟环境的实现有很多方式，这里使用conda。

总共用到3个虚拟环境

4.设置pip国内源

后续涉及非常多的pip安装，先设置全局的pip国内源，加速下载过程

pip config set global.index-url https://mirrors.ustc.edu.cn/pypi/simple/

5.创建rknn-toolkit2环境

conda创建rknn-toolkit2虚拟环境

conda create -n rknn-toolkit2 python=3.8 -y

激活虚拟环境

conda activate rknn-toolkit2

安装rknn-toolkit2

pip install rknn-toolkit2

rknn-toolkit2是可以通过pip直接安装的，安装最新版即可（我这里使用的rknn-toolkit2是2.3.2版本）。

6.创建rknn-llm环境

knn-llm不能直接通过pip安装，直接克隆源代码：

git clone https://github.com/airockchip/rknn-llm.git

克隆成功后，进入该项目根目录：

cd rknn-llm

创建虚拟环境

conda create -n rknn-llm python=3.10 -y

rknn-llm支持python3.9～3.12，这里选择的是python3.10。

激活虚拟环境

conda activate rknn-llm

安装依赖：

pip install -r ./rkllm-toolkit/packages/requirements.txt

安装onnx：

pip install onnx==1.17.0

依赖文件中指定了transformers == 4.55.2，但该版本并不支持Qwen3VL，因此需要升级，升级版本为 4.57.3

pip install transformers==4.57.3 --force-reinstall

安装rkllm_toolkit

根据虚拟环境中的python版本安装对应的包，如我这里是python3.10，则执行：

pip install rkllm-toolkit/packages/rkllm_toolkit-1.2.3-cp310-cp310-linux_x86_64.whl

7.创建rknn-llm-export环境

rknn-llm-export 和rknn-llm环境类似，只不过rknn-llm需要transformers版本为4.57.3，rknn-llm-export 需要transformers版本为4.55.2

进入rknn-llm项目根目录：

cd rknn-llm

创建虚拟环境

conda create -n rknn-llm-export python=3.10 -y

激活虚拟环境

conda activate rknn-llm-export

安装依赖：

pip install -r ./rkllm-toolkit/packages/requirements.txt

安装onnx：

pip install onnx==1.17.0

依赖文件中指定了transformers == 4.55.2，此时已经是该版本。

安装rkllm_toolkit：

pip install rkllm-toolkit/packages/rkllm_toolkit-1.2.3-cp310-cp310-linux_x86_64.whl