深度学习进阶（十七）高效通道注意力 ECA

上一篇我们介绍了 CBAM，它在 SE 的基础上加入了空间注意力，形成了"通道 + 空间"的混合注意力机制。
我们发现，无论是 SE 还是 CBAM，它们的通道注意力子模块都采用了一个 bottleneck 结构的 MLP，即先将通道维度从 \(C\) 压缩到 \(C/r\)，再升维回 \(C\)。
这种设计合理且常见：降维可以控制参数量，同时低维空间迫使网络保留最重要的信息。

但 20 年的论文 ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks 却打破常规，对此提出了质疑：

降维操作虽然减少了参数量，但也破坏了通道与其权重之间的直接对应关系，造成了不必要的信息损失。通道注意力完全可以通过一种更简单、更高效的方式来实现。

由此，论文提出了 ECA 模块，其设计在更加轻量化的同时，在 ImageNet 分类和 COCO 目标检测任务上均优于 SE 和 CBAM 。

1. ECA 的提出动机

这部分我们先回到 SE 的 Excitation 步骤，重新审视这里的 bottleneck 结构：

\[\mathbf{s} = \sigma\left( \mathbf{W}_2 \cdot \delta(\mathbf{W}_1 \mathbf{z}) \right) \]

其中 \(\mathbf{W}_1 \in \mathbb{R}^{\frac{C}{r} \times C}\)，\(\mathbf{W}_2 \in \mathbb{R}^{C \times \frac{C}{r}}\)。

这里我们展开一下变换逻辑：\(\mathbf{W}_1\) 和 \(\mathbf{W}_2\) 是两个全连接矩阵，这意味着降维后的低维空间中，每个元素都是所有 \(C\) 个通道的线性组合。随后升维时，每个通道的权重又是所有低维元素的线性组合。
换句话说，这是一种全通道混合建模。

按常理来说，在减少参数的同时仍然实现了全通道建模，这应该是一种优秀的设计。
但 ECA 的作者提出了一个不同的观点：

通道注意力不需要全局的通道交互。每个通道只需要与它的"邻居通道"进行局部交互就足够了。

而这种想法也有其合理之处：

因为图像数据的局部性和梯度传播的逻辑，在卷积网络中，相邻的通道往往编码了相关的特征模式（例如同一层中不同方向的边缘检测器），而相距较远的通道之间的直接关联性则弱得多。

为了验证这个想法，作者做了一个简单的对照实验：去掉 bottleneck 中的降维，直接用一层全连接矩阵 \(\mathbf{W} \in \mathbb{R}^{C \times C}\) 来生成通道权重。结果发现，没有降维的版本反而效果更差。

这似乎矛盾了，如果降维有害，为什么去掉它效果反而不好？

作者的答案是：

当 \(\mathbf{W}\) 是一个稠密全连接矩阵时，每个通道试图同时和所有通道交互，这导致严重的过拟合，尤其在 \(C\) 较大时。

也就是说，问题不在于"不需要降维"，而在于"全连接本身用力过猛了"。真正需要的是一种轻量级的局部通道交互机制。

这便是 ECA 的提出动机，下面就来展开其具体改进。

2. ECA 的具体改进

继续上节分析，ECA 提出了一个极其简洁的改进方案：

在 GAP 之后，直接用一个一维卷积来捕获局部通道交互，取代 MLP bottleneck。

具体来说，ECA 的结构如下：

1. GAP：与 SE 完全相同，将 \(H \times W \times C\) 的特征图压缩为 \(1 \times 1 \times C\) 的通道描述向量。
2. 1D 卷积：在通道维度上施加一个 kernel size 为 \(k\) 的一维卷积，每个通道只与它相邻的 \(k\) 个通道交互。
3. Sigmoid + Scale：与 SE 相同，将卷积输出通过 Sigmoid 得到权重，再逐通道乘回原始特征图。

用公式表达，ECA 的通道权重 \(\mathbf{s}\) 计算过程为：

\[\mathbf{s} = \sigma\big( \text{Conv1D}_k(\mathbf{z}) \big) \]

其中 \(\mathbf{z} \in \mathbb{R}^{C}\) 是 GAP 后的通道描述向量，\(\text{Conv1D}_k\) 表示 kernel size 为 \(k\) 的一维卷积。

对比 SE 的参数量 \(2C^2 / r\)，ECA 的参数量仅常数级的 \(k\)，当 \(C\) 较大时，ECA 的轻量优势极为明显。

但这又引出了一个新的问题：\(k\) 取多少？

3. 自适应核函数

继续刚刚问题：\(k\) 决定了局部跨通道交互的范围：太小会让感受野局限，无法捕获足够的通道间信息；太大又会退化为近似全连接，失去局部性的优势。
直觉上，通道数越多，需要的交互范围也应该越大。因为更大的 \(C\) 意味着更多的特征模式，通道间的潜在依赖关系也更多，需要更大的 \(k\) 来覆盖。

因此，论文同时提出了一种自适应确定 \(k\) 的方法：

将 \(k\) 设计为通道数 \(C\) 的函数。

具体形式如下：

\[k = \psi(C) = \left| \frac{\log_2(C)}{\gamma} + \frac{b}{\gamma} \right|_{\text{odd}} \]

其中 \(|\cdot|_{\text{odd}}\) 表示取最近的奇数，\(\gamma\) 和 \(b\) 是超参数，论文中设定 \(\gamma = 2\)，\(b = 1\)。
代入后得到实际使用的公式：

\[k = \psi(C) = \left| \frac{\log_2(C)}{2} + \frac{1}{2} \right|_{\text{odd}} \]

例如，当 \(C = 256\) 时：

\[k = \left| \frac{8}{2} + 0.5 \right|_{\text{odd}} = |4.5|_{\text{odd}} = 5 \]

而且，当 \(C = 1024\) 时：

\[k = \left| \frac{10}{2} + 0.5 \right|_{\text{odd}} = |5.5|_{\text{odd}} = 5 \]

你会发现，\(k\) 随 \(C\) 的增长是非常缓慢的，这种刻意设计是因为通道间的有效交互并不需要很大的感受野。

由此，我们就完成 ECA 的完整逻辑，它去掉了 SE 中的全连接层和降维操作，用局部一维卷积直接建模通道间的依赖关系，用更少的参数实现了更好的性能。

这一发现不仅简化了模型设计，也对后续注意力机制的研究方向产生了重要影响，它证明了好效果不一定需要复杂的设计，有时简单到极致的方案反而更优。