2.5 泛化与正则化

泛化与正则化

欠拟合：模型不能很好地拟合训练数据，在训练集的错误率比较高。欠拟合一般是由于模型能力不足造成的

过拟合：训练集上错误率为零，过每一个训练集，但是在未知数据上错误率很高。过拟合往往是由于训练数据少和噪声等原因造成的

conclusion:机器学习！=优化

机器学习更关注在测试集上的表现，看重期望

泛化误差

期望风险与经验风险之间的差

如何减少泛化误差？

优化：经验风险最小

正则化：降低模型复杂度

正则化 (Regularization)

所有损害优化的方法都是正则化

• 增加优化约束：L1/L2约束、数据增强
• 干扰优化过程：权重衰退、随机梯度下降、提前停止

提前停止

我们使用一个验证集合（Validation Dataset）来测试每一次迭代的参数在验证集上是否最优

如果在验证集上的错误率不再下降，就停止迭代