2022年4月6日
利用 onnxruntime 库同时推理多个模型的效率研究
摘要： 1. 背景 需求：针对视频形式的数据输入，对每一帧图像，有多个神经网络模型需要进行推理并获得预测结果。如何让整个推理过程更加高效，尝试了几种不同的方案。 硬件：单显卡主机。 2. 方案 由于存在多个模型需要推理，但模型之间没有相互依赖关系，因此很容易想到通过并行的方式来提高运行效率。 对比了如下几种 阅读全文
posted @ 2022-04-06 15:07 LyleChen 阅读(3406) 评论(0) 推荐(0) 编辑