香橙派rk3588的实时关键点检测多线程推理的资源占用率测试

一、演示视频相关场景与功能

https://www.bilibili.com/video/BV1pKN2zYEMS

1. 常见场景
   输入拉流 RTSP → 推理 → 输出 RTSP 流服务

 

2. 具体功能模块

 

• 拉流 RTSP：使用 FFmpeg 实现，解封装 H264，配置 RTSP over TCP 保证传输稳定。
• 解码：通过 MPP 解码实现，将 H264 解码为 NV12 图像。
• 预处理：

• 目标：减少 CPU 占用、提高帧率，优先使用 RGA 而非 OpenCV。
• 核心操作：放缩、NV12 转 RGB，采用 Letterbox 方式（宽高等比放缩、黑边填充、图像居中，需位移填充和坐标处理）。
• 注意事项：RGA 使用需参考官方文档（如限定 RGA3 核、使用专用内存分配器，避免 4G 内存报错、图像抖动等问题）。
  • 推理：
• 多线程策略：为每个 NPU 核分配独立线程，轮流输入图像推理。
• 模型：官方例程 Yolov8n-pose，未做修改以对比部署性能。
  • 后处理：
• 功能：NMS 过滤、画框画点线（CPU 实现，直接在 NV12 图像上操作，减少格式转换耗时），暂未实现标签打标。
• 优化点：理论上可尝试 RGA 画框，但因像素处理量小，CPU 画框通常更快（目标过多时需实测验证）。
  • 编码：通过 MPP 编码实现，将 NV12 图像编码为 H264。
  • RTSP 流服务：使用开源项目rtsp_demo，封装 H264 为 RTSP 流供外部拉流。

 

二、测试环境与配置

• 测试视频：

• 分辨率：1080×1920，帧率：30fps，码率：2793kbps。
• 来源：B 站视频（UP 主：麻辣纪子），PC 推流至 RK3588。
  • 播放工具：PC 端使用 VLC 拉流 RTSP。

 

三、资源占用率数据

资源类型	详细指标
CPU	- 应用程序：91.9%（满载 800%） - 总系统：11.5%+22.7%+7.6%+11.1%+19.6%+8.6%+4.1%+10.2%=95.4%
内存（Mem）	- 应用程序：1.7%（134MB） - 总系统：4.02GB/7.75GB
NPU	- core0：18% - core1：19% - core2：20%
RGA	- rga3_core0：9% - rga3_core1：0% - rga2：0%
温度	50℃