过拟合问题

过拟合:如果我们有非常多的特征,我们通过学习得到的假设可能能够非常好地适应训练集(代价函数可能几乎为0),但是可能会不能推广到新的数据。不能很好的预测新数据。

出现过拟合问题时的处理办法:

  1. 丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征,或者使用一些模型选择的算法来帮忙(例如PCA)

  2. 正则化。 保留所有的特征,但是减少参数的大小(magnitude)。

 

posted @ 2022-07-20 15:44  Guser  阅读(37)  评论(0编辑  收藏  举报