摘要：
TensorRT的使用，尝试对LLM进行加速。本文为采坑记录 环境：ubuntu20.04, cuda 12.2, pytorch 2.0.1, tensorrt 8.6.1, torch_tensorrt 1.4.0, transformer 0.6.0 设备有限，仅打算尝试[opt-1.3b]( 阅读全文
posted @ 2023-07-18 20:25 Antel 阅读(2711) 评论(5) 推荐(1)
|
摘要：
TensorRT的使用，尝试对LLM进行加速。本文为采坑记录 环境：ubuntu20.04, cuda 12.2, pytorch 2.0.1, tensorrt 8.6.1, torch_tensorrt 1.4.0, transformer 0.6.0 设备有限，仅打算尝试[opt-1.3b]( 阅读全文
posted @ 2023-07-18 20:25 Antel 阅读(2711) 评论(5) 推荐(1) |
||
浙公网安备 33010602011771号