摘要: 当前原始bert模型的推理时间是100ms左右,缩短推理时间的方法有3种: 1、模型蒸馏 2、onnxruntime推理加速 3、查看系统的使用情况,CPU及内存是否全都用上,如果没有使用全部,可以指定部分数据或者模型使用指定的CPU来运行,达到多线程、分布式运行程序。 阅读全文
posted @ 2021-07-14 11:29 justDoIT& 阅读(439) 评论(0) 推荐(0) 编辑