模型部署:
训练好的模型在特定软硬件平台下推理。
针对硬件(cpu、gpu、dsp)优化和加速的推理代码
有了模型前向计算过程,加上模型的前处理与后处理,就可以封装为一个推理的软件开发包(sdk),可以调用它。然后基于此开发app
pytorch模型部署流程:
训练框架(pytorch) -【转化】> 中间表示(onnx) -【运行】> 推理框架(引擎)
onnx (open neural network exchange)
一种针对机器学习所设计的开放式的文件格式,用于储存训练好的模型。
不同的训练框架可采用相同的存储模型并交互。
例子(具体在案例中讲解):


