NVIDIA's Triton/TensorRT的Transformer语言模型性能评测与优化指南

工程实际上线部署，综合考虑并发和延迟，这块做了一个调研，希望能有所帮助。

地址：https://blog.einstein.ai/benchmarking-tensorrt-inference-server/