摘要:
使用python接口, 另外一种方式就是使用tf-trt,优化后的模型还是pb。优化的过程主要是一些层的合并啊之类的,加速结果不是特别明显,测了两个网络, 加速了10%的样子。优化后仍是pb,因此可以继续用tfserving。 keras/tf model -> pb model ->(trt优化m 阅读全文
posted @ 2019-11-27 19:16
牧马人夏峥
阅读(2538)
评论(0)
推荐(0)
摘要:
1、首先将pb转为uff格式的模型 python /usr/lib/python3.5/dist-packages/uff/bin/convert_to_uff.py --input_file models/lenet5.pb 2、使用trt engine加速 这个加速还是挺明显的,但转换后的模型无 阅读全文
posted @ 2019-11-27 18:56
牧马人夏峥
阅读(1394)
评论(0)
推荐(0)