【案例】TensorRT
摘要:
阅读全文
【案例】onnx runtime
摘要:
阅读全文
【案例】转换onnx
摘要:ResNet 先调用API resnet18传入的参数分别是:模型配置文件(.py),权重文件(.pt),设备标识(cuda) 调用eval函数,使其处于evaluation模式(要把dropout去掉,固定参数) 然后,随机(rand)生成一个torch的tensor(张量x),shape与模型输
阅读全文
模型部署基本概念
摘要:模型部署: 训练好的模型在特定软硬件平台下推理。 针对硬件(cpu、gpu、dsp)优化和加速的推理代码 有了模型前向计算过程,加上模型的前处理与后处理,就可以封装为一个推理的软件开发包(sdk),可以调用它。然后基于此开发app pytorch模型部署流程: 训练框架(pytorch) -【转化】
阅读全文