pytorch中的广播机制

在PyTorch中，广播机制允许在不同形状的张量之间进行数学运算。这种机制在内部自动扩展张量的尺寸，使其能够匹配，从而可以执行元素级的运算而不需要复制数据。

广播机制的基本原则：

  1.至少一个维度：参与广播的每个张量至少应该有一个维度。

  2.维度匹配：从尾部维度开始（从右往左），对应的每个维度都必须匹配。两个维度匹配的条件是： 它们相等、其中一个维度是1、 其中一个维度不存在。

  比如：一个形状为（4,3,2,1）的张量和一个形状为（3,2,1）的张量可以广播，因为从尾部维度开始，它们要么相等，要么其中一个维度是1，要么其中一个维度不存在。加法运算得到：torch.Size([5, 3, 4, 1])

广播机制的应用

　　当进行张量运算时，如果张量的形状不匹配，PyTorch会尝试使用广播机制来扩展维度较小的张量。这样，两个张量就可以进行元素级的加、减、乘、除等运算。例如：

　　　　

import torch # 创建两个形状不同的张量 
x = torch.ones(5, 3, 4, 1) 
y = torch.ones(3, 1, 1) # 使用广播机制进行加法运算
result = x + y 
print(result.size()) # 输出: torch.Size([5, 3, 4, 1]) 

　　在这个例子中，y张量在运算前被自动扩展为(5, 3, 4, 1)，以匹配x张量的形状。

广播机制的限制

　　虽然广播机制非常强大，但它也有一些限制。如果两个张量的尺寸无法通过广播规则匹配，那么运算将无法进行。此外，原地操作（in-place operations），如add_()，不允许改变张量的形状，因此不能使用广播机制。