YOLOv5最新6.1在OpenCV DNN、OpenVINO、ONNXRUNTIME上推理对比

https://mp.weixin.qq.com/s/uRsYixCpIwY_7bKAIvnZOg

微信公众号:OpenCV学堂

关注获取更多计算机视觉与深度学习知识

引言

我把YOLOv5最新版本的模型分别用OpenCV DNN(Python、C++)部署、OpenVINO(Python、C++)部署、ONNXRUNTIME-GPU(Python、C++)部署,然后还测试了CPU/GPU不同平台上的运行速度比较。

软件版本与硬件规格

测试用的硬件与软件信息:

GPU 1050TiCPU i7八代OS:Win10 64位OpenVINO2021.4ONNXRUNTIME:1.4OpenCV4.5.4Python3.6.5YOLOv5 6.1

使用的YOLOv5模型中的yolov5s.pt模型,转换为ONNX模型之后输入格式为:

NCHW = 1x3x640x640

最终输出层名称:output,格式:

NHW = 1x25200x85

YOLOv5推理速度比较

基于同一段视频文件,Python/C++代码测试结果比较如下:

图片

说明:OpenCV DNN与OpenVINO是基于CPU测试的,ONNXRUNTIME是基于GPU版本测试的,ONNXRUNTIME的CPU版本我没有测试过。
贴几张运行时候的截图:

图片

图片

图片

图片

图片

图片

图片

代码实现与说明

ONNX代码实现部分主要是参考了YOLOv5官方给出几个链接:

https://github.com/microsoft/onnxruntime/issues/10323https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.htmlhttps://github.com/microsoft/onnxruntime-inference-examples/blob/main/c_cxx/imagenet/main.cc

有一个特别坑的地方需要特别的注意:

ONNX C++的环境必须是全局变量,声明如下:

Ort::Env env = Ort::Env(ORT_LOGGING_LEVEL_ERROR, "YOLOv5");

只有所有的推理图象执行完成才可以调用release进行释放,否则就会一直卡死,程序崩溃!ONNX其它的部分的代码实现基本实现了跟DNN/OpenVINO推理后处理代码的完全复用!相关代码建议参考之前的两篇推文:

OpenCV4.5.x DNN + YOLOv5 C++推理

OpenCV4.5.4 直接支持YOLOv5 6.1版本模型推理

 

特别说明:怎么没有TensorRT/?主要是因为我电脑安装了CUDA10.1版本+TensorRT7.0的不兼容,我又不想再折腾重新安装CUDA10.0,所以暂无!等我新笔记本到货立刻补上这一缺失!

posted @ 2022-03-11 16:07  水木清扬  阅读(751)  评论(1编辑  收藏  举报