欠拟合和过拟合

欠拟合和过拟合

• • 定义
  • 原因以及解决办法

定义

• 过拟合：训练集的误差小，但测试集的误差大

一个假设在训练数据上能够获得比其他假设更好的拟合， 但是在测试数据集上却不能很好地拟合数据，此时认为这个假设出现了过拟合的现象。(模型过于复杂)

• 欠拟合：模型很简单的时候，两个误差都比较差

一个假设在训练数据上不能获得更好的拟合，并且在测试数据集上也不能很好地拟合数据，此时认为这个假设出现了欠拟合的现象。(模型过于简单)

原因以及解决办法

• 欠拟合
  • 原因：模型过于简单。学习到数据的特征过少
  • 解决办法：使模型复杂一些，增加数据的特征信息
• 过拟合
  • 原因：模型过于复杂。原始特征过多，存在一些嘈杂特征， 模型过于复杂是因为模型尝试去兼顾各个测试数据点。
  • 解决办法
    1. 重新清洗数据，不要学习到了无关数据。导致过拟合的一个原因也有可能是数据不纯导致的，如果出现了过拟合就需要我们重新清洗数据。
    2. 增加数据的训练量，更好的学习规律。还有一个原因就是我们用于训练的数据量太小导致的，训练数据占总数据的比例过小。
    3. 正则化。限制模型复杂度。
    4. 减少特征维度，防止维灾难。