[深度学习]pytorch部署之onnx

最近尝试使用onnx来部署torch模型,发现还是有一些坑的:

1、尽量使用经典模型结构,模型的输入不要增加内容(比如bert的输入增加一个label_ids),这会导致onnx模型的输入无法识别label_ids

解决方法:如果模型魔改又需要部署,那只能自己写导出为onnx的代码了

2、使用别的包的时候(如torchcrf包中的crf函数),onnx的推理结构可能无法识别这个函数,然后我们就无法调用该函数

posted @ 2021-07-13 15:36  justDoIT&  阅读(774)  评论(0编辑  收藏  举报