TensorRT原理图示

NVIDIA的核心^® TensorRT™是有助于在NVIDIA图形处理单元（GPU）的高性能推理一个C ++库。它旨在与TensorFlow，Caffe，PyTorch，MXNet等训练框架以互补的方式工作。它专门致力于在GPU上快速有效地运行已经受过训练的网络，以生成结果（过程称为评分，检测，回归或推断）。

一些训练框架（例如TensorFlow）已经集成了TensorRT，因此可以将其用于加速框架内的推理。另外， TensorRT可以用作用户应用程序中的库。它包括用于从Caffe，ONNX或TensorFlow导入现有模型的解析器，以及用于以编程方式构建模型的C ++和Python API。

TensorRT是用于生产部署的高性能神经网络推理优化器和运行时引擎。