PyTorch 2.0性能优化实战：4种常见代码错误严重拖慢模型

PyTorch 2.0+引入的
torch.compile
功能通过图捕获和优化技术显著提升模型执行性能。该功能将模型转换为计算图形式，并对其进行深度优化。

PyTorch采用eager execution作为默认执行模式，即每个操作在Python中逐行立即执行。这种模式提供了出色的灵活性和调试便利性，但在性能表现上存在优化空间。

PyTorch 2.0引入的
torch.compile
实现了即时编译（Just-In-Time, JIT）的图捕获和优化机制。该系统的底层架构采用TorchDynamo进行模型跟踪，生成FX图表示，随后将图传递给AOTAutograd和Inductor等后端系统执行内核融合和代码生成优化。

本文将深入分析TorchDynamo的工作机制，而非全面探讨所有后端实现。我们将从，模式的下一层次入手，详细阐述TorchDynamo的功能特性。同时我们将深入探讨图中断（graph breaks）和多图问题对性能的负面影响，并分析PyTorch模型开发中应当避免的常见错误模式。

https://avoid.overfit.cn/post/a2941e71c1cc494c9bc9aaa3328c4989