4.6 练习

\((7)\)
解答：

开发一种新的噪声注入技术以替代暂退法，可从以下方向探索：

1. 高斯噪声注入（Gaussian Noise Injection）

• 方法：在每一层的激活值后加入零均值的高斯噪声 $ \epsilon \sim \mathcal{N}(0, \sigma^2) $，噪声强度 $ \sigma $ 可固定或自适应调整。例如：
  \[h_{\text{noisy}} = h + \epsilon, \quad \epsilon \sim \mathcal{N}(0, \sigma^2) \]

• 优化点：相比于暂退法的二值噪声，高斯噪声提供更平滑的扰动，可能增强模型对输入变化的鲁棒性。可结合层归一化（LayerNorm）稳定训练。

2. 自适应噪声强度（Adaptive Noise Scaling）

• 方法：根据层的激活值动态调整噪声强度。例如，通过一个小型神经网络生成每层的噪声方差 $ \sigma^2 $，使其与当前激活值的统计量（如均值、方差）相关：
  \[\sigma^2 = f(h; \theta), \quad \text{其中 } f \text{ 为可学习函数} \]

• 优点：自适应性能更好平衡正则化与模型容量。

3. 通道级噪声注入（Channel-wise Noise）

• 方法：在卷积层中，对每个通道独立注入噪声。例如，对第 $ i $ 个通道的激活图 $ h_i $ 添加噪声：
  \[h_{i,\text{noisy}} = h_i \cdot (1 + \epsilon_i), \quad \epsilon_i \sim \mathcal{N}(0, \sigma_i^2) \]

• 意义：通道级噪声能更细粒度地控制特征图的扰动，可能提升对空间不变性的学习。

4. 梯度噪声与激活噪声联合（Gradient-Activation Noise）

• 方法：在前向传播时对激活值加噪，同时在反向传播时对梯度加噪。例如：
  \[h_{\text{noisy}} = h + \epsilon_{\text{forward}}, \quad \epsilon_{\text{forward}} \sim \mathcal{N}(0, \sigma_f^2) \]
  \[g_{\text{noisy}} = g + \epsilon_{\text{backward}}, \quad \epsilon_{\text{backward}} \sim \mathcal{N}(0, \sigma_b^2) \]

• 优势：双重噪声可能提供更全面的正则化，但需谨慎平衡噪声强度。

---

关于“保持无偏性同时减少方差”的探讨

• 无偏性：若噪声均值为零（如高斯噪声），则期望输出不变，满足无偏性。
• 减少方差：可通过降低噪声强度 $ \sigma $ 或使用归一化手段（如 LayerNorm）实现。例如：
  \[h_{\text{noisy}} = \text{LayerNorm}(h + \epsilon), \quad \epsilon \sim \mathcal{N}(0, \sigma^2) \]
  此时，归一化会约束输出的方差，减少噪声对后续层的影响。
• 权衡：方差过小可能导致正则化不足，需实验调整 $ \sigma $ 或结合其他正则化（如权重衰减）。

---

实验验证建议

1. 基准对比：在相同架构下，对比暂退法（Dropout）与高斯噪声、自适应噪声等方法在Fashion-MNIST上的验证准确率。
2. 参数调优：通过网格搜索确定最优噪声强度 $ \sigma $，或设计自适应机制（如基于激活值的动态调整）。
3. 统计检验：使用多次随机种子实验，计算均值与标准差，验证性能提升的显著性。

---

总结：高斯噪声注入和自适应噪声是潜力较大的方向。通过控制噪声分布（零均值）保持无偏性，结合归一化或动态调整减少方差，可在正则化与训练稳定性间取得平衡。最终性能需通过实验验证，但理论上有望超越暂退法。
性间取得平衡。最终性能需通过实验验证，但理论上有望超越暂退法。