Day24_【深度学习—广播机制】 - 详解

广播机制用于判断两个不同形状的张量是否可以进行逐元素运算（如 +, -, * 等）。它的规则是从最后一个维度开始，从右往左逐一比较两个张量的维度大小。

只要每一个维度都满足以下三条规则中的任意一条，广播就可以成功。

解释：两个张量在当前比较的这个维度上，它们的“长度”或“大小”是一样的。

例子：

a = torch.tensor([[1, 2, 3],    # 形状: (2, 3)
[4, 5, 6]])
b = torch.tensor([[7, 8, 9],    # 形状: (2, 3)
[10,11,12]])

我们从右往左比较：

✅ 所有维度都相等 → 可以直接运算，无需广播。

解释：在当前比较的维度上，只要有一个张量的大小是 1，它就可以被“复制”多次，扩展到和另一个张量一样长。

例子：

a = torch.tensor([[1, 2, 3],    # 形状: (2, 3)
[4, 5, 6]])
b = torch.tensor([1, 1, 1])     # 形状: (3,)

从右往左比较：

第1维（列）：a 是 3，b 是 3 → ✅ 相等，兼容
第0维（行）：a 是 2，b 是？
注意：b 只有一个维度，所以它没有第0维（见规则3），但我们先看这个维度的大小。
实际上，在广播中，b 被视为形状 (1, 3)（前面补一个1），所以：
- a 第0维：2
- b 第0维：1 → ✅ 有一个是 1，兼容

✅ 所有维度都兼容 → 可以广播！

广播过程： b = [1, 1, 1] 被自动扩展成：

[[1, 1, 1],
[1, 1, 1]]

然后与 a 逐元素相加。

c = a + b
# 结果：
# [[2, 3, 4],
#  [5, 6, 7]]

解释：两个张量的总维度数不同，比如一个是 2D 矩阵，一个是 1D 向量。那么在比较时，维度数少的那个张量，前面缺失的维度被视为大小为 1。

这是广播中最容易混淆的一条，我们重点解释。

例子：

a = torch.tensor([[[1, 2],      # 形状: (2, 2, 2)
[3, 4]],
[[5, 6],
[7, 8]]])
b = torch.tensor([10, 20])      # 形状: (2,)

从右往左比较：

维度位置	a 的大小	b 的大小	是否兼容	说明
第2维（最右）	2	2	✅ 相等	规则1
第1维	2	?	?	`b` 没有第1维 → 视为 1 ✅
第0维	2	?	?	`b` 没有第0维 → 视为 1 ✅

所以 b 在广播中被视为形状 (1, 1, 2)。

然后它被扩展为 (2, 2, 2)：

[[[10, 20],
[10, 20]],
[[10, 20],
[10, 20]]]

然后与 a 相加。

广播总是从最后一个维度开始比较，而不是从第一个。

例子：

a = torch.randn(3, 1)   # 形状: (3, 1)
b = torch.randn(   2)   # 形状: (2,)

比较：

✅ 可广播！结果形状 (3, 2)

但如果：

a = torch.randn(1, 3)   # (1, 3)
b = torch.randn(2,   )   # (2,)

posted on 2025-09-21 22:28 ljbguanli 阅读(38) 评论(0) 收藏举报