paddlepaddle推理部署模型转onnx模型与onnx推理
1. ONNX （Open Neural Network Exchange）
ONNX是一个开放的神经网络交换格式，它旨在提供一个统一的框架，使深度学习模型能够在不同的深度学习框架之间进行交换和共享。主要目标是解决深度学习框架之间的互操作性问题。在深度学习领域，有许多不同的框架，如 TensorFlow、PyTorch、Caffe、MXNet 等，每个框架都有自己独特的模型表示形式和运行时环境。这种多样性使得模型在不同框架之间转换和共享变得困难。ONNX 的出现就是为了解决这个问题。
具体来说，ONNX 提供了一个中间表示（IR）格式，用于表示深度学习模型的结构和参数。这个中间表示是一个通用的、可移植的格式，可以跨越不同框架之间进行共享和交换。通过将模型转换为 ONNX 格式，可以实现从一个框架到另一个框架的无缝转换，从而允许用户在不同的框架中使用和执行相同的模型。
2. paddle2onnx安装
paddle2onnx 是一个用于将 PaddlePaddle 模型转换为 ONNX 格式的工具。它允许用户将 PaddlePaddle 中训练好的模型转换为 ONNX 格式，以便在其他框架或平台中使用。
使用清华镜像源安装: pip install paddle2onnx -i https://pypi.tuna.tsinghua.edu.cn/simple
3. paddlepaddle推理部署模型转onnx
一般利用paddlepaddle提供的程序转换为推理部署模型后，包括四个文件，其后缀分别为.yaml、pdiparams、.pdiparams.info、.pdmodel，可以直接部署，可以不用转onnx，这里不介绍如何将训练好的模型转推理部署模型。如下:
在cmd命令中执行如下操作将推理部署的模型(deploy.yaml、pdiparams、pdmodel)转换为onnx.
paddle2onnx --model_dir 推理模型所在目录路径 --model_filename 后缀为.pdmodel的文件 --params_filename 后缀为.pdiparams的文件 --opset_version 指定了要使用的 ONNX 运算集的版本 --save_file xxx.onnx
假设你的推理部署的模型文件（deploy.yaml、model.pdiparams、model.pdiparams.info、model.pdmodel）在E:/model目录下，那么在cmd中命令可以如下:
paddle2onnx --model_dir E:/model --model_filename model.pdmodel --params_filename model.pdiparams --opset_version 11 --save_file E:/model/model.onnx
则在 E:/model目录下model.onnx就是我们需要的文件
4. 检查 ONNX 模型的有效性
如果想要验证导出的 ONNX 模型是否合理，包括检查模型的版本、图的结构、节点及其输入和输出。如果下面代码输出为 None 则表示模型转换正确。
# 导入 ONNX 库 import onnx # 载入 ONNX 模型 onnx_model = onnx.load("model.onnx") # 使用 ONNX 库检查 ONNX 模型是否合理 check = onnx.checker.check_model(onnx_model) # 打印检查结果 print('check: ', check)#如果输出为None，表明转换得到的onnx模型没有问题
5. 确定自己模型的输入名称
import onnxruntime # 加载 ONNX 模型生成推理用 sess sess = onnxruntime.InferenceSession("model.onnx") input_name = sess.get_inputs()[0].name print("input_name=",input_name)#我的是input_name= x
或者
# 加载模型 model = onnx.load("model.onnx") # 获取模型的输入和输出信息 input_names = [input.name for input in model.graph.input] output_names = [output.name for output in model.graph.output] print("Input names:", input_names) print("Output names:", output_names)
至此，我们得到了模型的输入名称，我的是x。
6. onnxruntime-gpu安装
当使用 onnxruntime-gpu 时，系统会优先选择 GPU 作为硬件加速器，以提高推理性能。如果系统中存在可用的 GPU，onnxruntime-gpu 将默认选择 GPU 执行推理任务。
安装: pip install onnxruntime-gpu -i https://pypi.tuna.tsinghua.edu.cn/simple
7. onnx模型使用gpu推理通用代码
import onnxruntime onnx_path=r'E:/model/model.onnx' sess=onnxruntime.InferenceSession(onnx_path,providers=['CUDAExecutionProvider']) #假设我们的数据为一个图片 image_path=r'E:/img.png' data=data_handle(image_path)#data_handle为我们自己对数据的预处理，根据自己需要实现 input_name = sess.get_inputs()[0].name result,=sess.run(None,{input_name :data})#result就是自己模型推理的结果，根据你模型返回的元组数据个数，假设只有一个返回值，就是result,
8. 使用gpu加速推理代码示例代码
import onnxruntime onnx_path=r'E:/model/model.onnx' sess=onnxruntime.InferenceSession(onnx_path,providers=['CUDAExecutionProvider'])#providers=['CUDAExecutionProvider'] 加上，否则使用cpu，至少我的是使用了cpu，如果cuda不可用，则退化到cpu推理。 #providers=['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider']则会按顺序加速，如果Tensorrt，CUDA都无法推理，则使用CPU。 #数据处理 img_float = img.astype(np.float32)#数据处理，根据个人实际需要 img_float_batch=np.expand_dims(img_float,axis=0)#数据处理,根据个人实际需要 img_float_batch_nchw = np.transpose(img_float_batch, (0, 3, 1, 2))##数据处理,根据个人实际需要 result,=sess.run(None,{"x":img_float_batch_nchw})#result就是模型推理的结果
注意:result,=sess.run(None,{"x":img_float_batch_nchw})中"x"表示模型的输入名称，这个需要根据自己的模型确定，img_float_batch_nchw为我们输入模型的data，我这里表示是一个float类型的NCHW顺序的数组类型，这个也是根据自己的模型确定的。
小结:本文对paddlepaddle的推理部署模型转onnx模型与onnx在gpu上推理进行了说明，未对推理模型的生成及其内容进行介绍，后面再补充。另外经过测试，发现onnx的推理速度比推理部署模型的速度快了一点（自己测试的）。
若存在不足之处，欢迎评论与指正。
参考链接:
https://aistudio.baidu.com/projectdetail/1461212
https://blog.csdn.net/weixin_43917589/article/details/122580267 (paddle2onnx命令的详细参数可以参考这篇)
