Perforated Backpropagation：神经网络优化的创新技术及PyTorch使用指南

近年来，深度学习在从大型语言模型(LLM)到机器人技术再到医疗人工智能的众多领域展现出了显著成效。随着研究资源的持续投入，这一领域通过架构创新、更大规模的数据集和先进硬件而不断发展。然而，深度学习的基础构建模块——人工神经元，自1943年首次数学表述以来几乎保持不变。同样，其基础算法——基于梯度下降的反向传播，自20世纪80年代首次应用于神经网络以来，仅在优化技术方面有所改进。当前，深度学习领域正迎来对基础组件及训练方法的一次重要革新。

尽管神经网络能够执行复杂任务，但传统人工神经元的工作原理相对简单。网络中的每个神经元本质上是线性分类器，它计算输入的加权和，并通过非线性函数转换得到输出值。通过反向传播，这些神经元学习识别特定的输入模式，成为特征检测器。然而作为线性分类器，它们不可避免地会产生假阳性和假阴性结果。

一个关键的思考是：如果每个神经元能够识别其分类错误的模式，整个神经网络的智能水平是否会有质的提升？如果有一个来自网络外部的节点提供额外的可学习权重，使神经元能够识别其失效情况，会带来怎样的改进？

这正是穿孔反向传播(Perforated Backpropagation)技术所解决的问题，该技术的灵感来源于近八十年来神经科学领域对真实生物神经元的研究发现。

 

https://avoid.overfit.cn/post/bf9607216a264d90aea41d7f3fe6cee7