摘要： 在 PyTorch 中，grad_fn 属性记录了创建当前张量的函数。这个属性对于理解张量的来源和计算图的结构非常有用。 在 PyTorch 中，grad_fn 属性用来记录变量是怎么来的，方便计算梯度。当你对一个张量执行操作时，PyTorch 会创建一个新的张量，并将其 grad_fn 属性设置为 阅读全文

摘要： 在模型训练过程中，确实主要是对叶子张量（Leaf Tensors）求梯度。叶子张量通常指的是模型的参数（例如权重和偏置），这些是模型训练过程中需要优化的变量。非叶子张量（Non-Leaf Tensors）是那些通过计算得到的中间变量，它们是由叶子张量经过一系列操作（例如加法、乘法等）派生出来的。 为 阅读全文