摘要：问题描述：git上的一个官方项目，图像预处理操作，使用torch进行处理，包含Resize,ToTensor,Nomalize,处理后的结果输入到trt-fp16精度的模型中，可以正常输出。我对图像预处理进行了修改，使用opencv进行resize，numpy进行totensor，nomalize操 阅读全文

摘要：cmake .. -DTRT_LIB_DIR=/opt/TensorRT-6.0.1.5/lib -DTRT_BIN_DIR=/opt/TensorRT/build/out -DCUDA_VERSION=10.0 -DCUDNN_VERSION=7.6 -DPROTOBUF_VERSION=3.8. 阅读全文

摘要：首先单位是字节，比如 builder.max_workspace_size = 1<< 30 就是 2^30 bytes 即 1 GB。 它的作用是给出模型中任一层能使用的内存上限。运行时，每一层需要多少内存系统分配多少，并不是每次都分 1 GB，但不会超过 1 GB。 One particular 阅读全文

摘要：tensorRT踩坑日常之engine推理 再进行tensorRT进行推理之前，需要将训练好的模型转onnx再进行序列化生成engine，然后反序列化context推理 此文章是进行序列化生成engine和推理的，不知道如何生成engine和onnx的小伙伴可以参考另一篇博客 https://blo 阅读全文

摘要：最近，多人反映在torch框架的模型加速后耗时相差不大甚至不如加速前。首先，可以肯定的是，这种结果存在误判，torch的模型加速以后肯定是有加速效果。那么问题出在耗时方法的统计不正确。正确的耗时统计应该是这样：（1）先测试一个batch的数据，使用加速和不加速模型测试推理时间，注意推理时间一定不能够 阅读全文