第3节 深度学习避坑指南：从过拟合到玄学优化 - 指南

神经网络的"理想与现实"

理论上神经网络足够大就能解除所有难题？别天真！理想很丰满，现实中"过拟合"会让模型变成"考试机器"——训练数据上完美，新材料直接拉胯！就像右边那组看似误差更小的拟合曲线，其实把噪声都学进去了，泛化能力还不如左边的简单模型。

现在假设我们用训练材料成功训练了一个神经网络，还有可能出现哪些困难呢？

过拟合：在训练素材上表现的很完美，不过在没见过的数据上表现的很糟糕的现象

所谓过拟合，就是模型太麻烦了，在学习数据时把噪声和随机波动也学会了，这样对新资料的预测能力甚至不如轻松的线性模型。而在没见过的信息上的表现能力，就是泛化能力。

对抗过拟合三板斧