【神经网络】应对过拟合:权重衰减与均等范数约束条件

应对过拟合:权重衰减与均等范数约束条件

Outline

在神经网络中,常常出现过拟合问题。本文介绍了权重衰减以及其背后的原理(优化GBR上界),并在最后对其他应对过拟合的方式进行了讨论。

Introduction

在深度学习中,常常出现过拟合问题,导致模型的效能下降。

为了解决这个问题,这里提出了几种可能的方法,可以在不同场景中使用。

降低过拟合可以增加模型在测试集上的精确程度,提高模型准确率。

Methods

权重衰减(WD)

原理:

(1)从模型的复杂度上解释:更小的权值w,从某种意义上说,表示网络的复杂度更低,对数据的拟合更好(这个法则也叫做奥卡姆剃刀),而在实际应用中,也验证了这一点,L2正则化的效果往往好于未经正则化的效果。

(2)从数学方面的解释:过拟合的时候,拟合函数的系数往往非常大,为什么?如下图所示,过拟合,就是拟合函数需要顾忌每一个点,最终形成的拟合函数波动很大。在某些很小的区间里,函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值(绝对值)非常大,由于自变量值可大可小,所以只有系数足够大,才能保证导数值很大。而正则化是通过约束参数的范数使其不要太大,所以可以在一定程度上减少过拟合情况。

均等范数约束条件(ENC)

参考文献[1]证明了WD是GBR(泛化界正则项)在单层线性模型中的特殊情况。

Results

WD

设维度 𝑝=200;训练数据集的样本数设为20

未使用WD测试高维线性回归模型

使用WD测试高维线性回归模型

ENC

Discussion

有一些其他方法也可以用于应对过拟合,如CutMix。

相对于使用数学方法优化GBR上界,类似CutMix这样“直接拓充数据集”的优化方法在高训练轮数上更有优势。 

参考文献

[1].ENC

 

posted @ 2022-08-25 14:35  byxiaobai  阅读(147)  评论(0)    收藏  举报