VFF-Net：一种取代反向传播的AI训练新算法

VFF-Net算法为AI训练提供有前景的反向传播替代方案

深度神经网络是现代人工智能模型的核心，这是一种机器学习系统，能从图像、音频或文本等各种数据中学习隐藏模式，以进行预测或分类。深度神经网络凭借其卓越的预测准确性改变了许多领域。训练深度神经网络通常依赖于反向传播。

尽管反向传播已成为深度神经网络成功不可或缺的一部分，但它也存在一些局限性，例如收敛速度慢、过拟合、计算需求高以及其“黑箱”性质。

最近，前向-前向网络作为一种有前景的替代方案出现，其中每个层被单独训练，绕过了反向传播。然而，将前向-前向网络应用于广泛用于图像分析的卷积神经网络已被证明是困难的。

为了应对这一挑战，某机构电气与信息工程系的研究团队开发了一种名为视觉前向-前向网络的新训练算法。他们的研究发表在《神经网络》期刊上。

在解释将前向-前向网络用于训练卷积神经网络的挑战时，主要研究人员表示：“直接将前向-前向网络用于训练卷积神经网络会导致输入图像的信息丢失，从而降低准确性。此外，对于具有大量卷积层的通用卷积神经网络，单独训练每个层可能会导致性能问题。VFF-Net有效地解决了这些问题。”

VFF-Net引入了三种新方法：标签式噪声标记、基于余弦相似性的对比损失和层分组。

在标签式噪声标记中，网络使用三种类型的数据进行训练：没有任何噪声的原始图像、带有正确标签的正样本图像以及带有错误标签的负样本图像。这有助于消除输入图像中像素信息的丢失。

基于余弦相似性的对比损失修改了传统的基于“优良度”的贪心算法，应用了一种基于特征图之间余弦相似性的对比损失函数。本质上，它根据数据模式的方向比较两个特征表示之间的相似性。这有助于保留图像分类所需的有意义的空间信息。

最后，层分组通过将具有相同输出特征的层分组并添加辅助层，解决了单个层训练的问题，显著提高了性能。

得益于这些创新，与传统的前向-前向网络相比，VFF-Net显著提高了图像分类性能。对于一个具有四个卷积层的卷积神经网络模型，在CIFAR-10和CIFAR-100数据集上的测试误差分别降低了8.31%和3.80%。此外，基于全连接层的VFF-Net在MNIST数据集上仅实现了1.70%的测试误差。

该研究团队负责人表示：“通过摆脱反向传播，VFF-Net为更轻量、更类似大脑、不需要大量计算资源的训练方法铺平了道路。这意味着强大的人工智能模型可以直接在个人设备、医疗设备和家用电器上运行，减少对高能耗数据中心的依赖，使人工智能更具可持续性。”

总体而言，VFF-Net将使人工智能变得更快、更便宜，同时允许更自然、类似大脑的学习，从而促进更值得信赖的人工智能系统。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）

公众号二维码

公众号二维码