2021年7月14日
[深度学习]模型部署之优化
摘要： 当前原始bert模型的推理时间是100ms左右，缩短推理时间的方法有3种： 1、模型蒸馏 2、onnxruntime推理加速 3、查看系统的使用情况，CPU及内存是否全都用上，如果没有使用全部，可以指定部分数据或者模型使用指定的CPU来运行，达到多线程、分布式运行程序。 阅读全文
posted @ 2021-07-14 11:29 justDoIT& 阅读(439) 评论(0) 推荐(0) 编辑