摘要： pytorch 部署 torchscript from torchvision.models import resnet34 import torch.nn.functional as F import torch.nn as nn import torch import cv2 #读取一张图片，并 阅读全文

摘要： ONNX 简介 开放神经网络交换，Open Neural Network Exchange，是一套表示 网络模型 的开放格式，由微软和FaceBook在2017年推出； 通过几年的快速发展，大有一统整个 AI 模型（ml、dl）的交换标准； ONNX 定义了一组与 环境和平台 无关的标准格式，使得 阅读全文

摘要： TensorRT 简介 TensorRT 是 英伟达公司 根据自己的 硬件设备 面向 AI工作者 推出的 一种 模型部署方案； 同时 可以对网络进行 压缩、优化，它通过 combines layers、kernel 优化选择，以及根据指定精度执行归一化和转换成最优的 matrix math 方法，改 阅读全文

摘要： 深度学习整个 使用流程 深度学习不仅包括 模型训练过程； 对训练好 的模型，通常需要进行一些 优化和加速，如 网络层合并、量化、剪枝 等，得到 精简的 推理引擎，然后部署上线； 通常我们把 模型优化和推理框架 合称为 推理引擎； 模型部署平台 大致可分为两种： 云端：大模型，精度要求高，可接受一定延 阅读全文