摘要:
多模型多实例推理:单块 RK3588 NPU 如何同时跑人员入侵、烟火检测、垃圾分类 上一篇我们分享了零拷贝跨进程通信,让边缘服务和推理引擎之间的图像传输延迟降到 1ms 以内。这一篇我们深入到推理引擎——推理引擎拿到图像帧之后,怎么高效地跑多个模型?RK3588 的 NPU 有 6TOPS 算力, 阅读全文
posted @ 2026-08-28 15:13
越微智能yuewell
阅读(67)
评论(0)
推荐(0)
摘要:
RK3588架构 零拷贝跨进程通信:边缘服务和算法服务之间如何做到近零 CPU 负载的图像传输 上一篇我们分享了同源多任务调度,让一路视频流同时支撑多个算法任务。这一篇我们深入到进程间通信——三进程架构下,边缘核心服务和推理引擎是两个独立进程,解码和预处理后的图像帧怎么传给推理引擎做推理?如果用传统 阅读全文
posted @ 2026-08-28 08:15
越微智能yuewell
阅读(35)
评论(0)
推荐(0)
浙公网安备 33010602011771号