2025年11月7日
RK3588 升级/降级 RKNN Runtime（以从 2.3.2 降级至 2.2.0 为例）
摘要： 本教程记录了如何在 RK3588 平台上升级/降级 RKNN Runtime 库 注：本文开发版系统为 Ubuntu 24.04，若有任何操作上的不同，请以自身开发版系统版本为准 拉取 rknn-toolkit-2.2.0 代码： git clone https://github.com/airoc 阅读全文
posted @ 2025-11-07 15:39 Sivon 阅读(86) 评论(0) 推荐(0)
RK3588 上的 LLM（三）：板端部署 RKLLM 并进行大模型推理（以 RK3588 为例）
摘要： 本教程记录了如何在 RK3588 开发版上部署 RKLLM 并使用其进行大模型推理的过程，包含基于命令行的运行和服务端部署（本文以 Gradio 前后端为例） 注：运行 RKLLM 需要 RKNPU 驱动版本至少为 0.9.8，升级方法可以参考合集中升级 RKNPU 驱动版本的文章 0、安装 RKL 阅读全文
posted @ 2025-11-07 14:37 Sivon 阅读(276) 评论(0) 推荐(0)
RK3588 上的 LLM（二）：更新 RK3588 开发板端的 NPU 驱动至 0.9.8（板端编译，基于 ubuntu-rockchip 项目）
摘要： 本教程记录了在板端本地带 0.9.8 RKNPU 的编译内核并安装的过程 注：开发板端的系统是基于 ubuntu-rockchip 项目构建的 Ubuntu 24.04，构建的目标内核也是用于ubuntu-rockchip 的 Ubuntu 24.04，如果你使用的系统不是ubuntu-rockch 阅读全文
posted @ 2025-11-07 10:54 Sivon 阅读(211) 评论(0) 推荐(0)
RK3588 上的 LLM（一）：使用rknn-llm转换huggingface模型为rkllm格式的教程（基于rknn-llm-1.2.2）
摘要： 本教程记录了在 PC上使用rknn-llm-1.2.2将Qwen/Qwen3-4B-Instruct-2507模型转换为 rkllm 格式的流程，并成功在基于 rk3588 的 Orangepi5Plus 开发板上部署了转换后的模型。 注：本教程使用的 PC 运行的系统为 Ubuntu22.04，p 阅读全文
posted @ 2025-11-07 09:49 Sivon 阅读(102) 评论(0) 推荐(0)