Machine Learning - Overfitting 原理

训练模型是需要数据足够的，我们把训练数据看作是能量。那对于一个10次多项式的模型来说，在训练的过程中可以看做其中有10个数据的能量是用来搭建模型 的，然后剩余的数据能量是用来调整这个模型使之优良，也就是使之对训练样例全体的误差合最小。然而如果你所拥有的能量小于十个独立点的能量，也就是没有达 到建立模型的那个临界。那么你训练出来的根本就不是一个模型，用这个东西进行预测得出的结果也许就是随机数。

众 所周知，要猜一个二次多项式，需要至少三个点。要猜一个十次多项式，需要至少十一个点。我认为对于训练过程来说，每一种模型都需要一个初始的能量来确定模 型，然后剩余的能量才真是用来训练的。剩余数据越多，训练的效果越好。如果你所投入的能量不能达到这个所谓初始能量的这个临界，那么就是过拟合。

光电效应是需要溢出功的。

模 型太复杂，容易过拟合，即使可以达到过拟合临界，那么数据不足也会使得偏执比较高，但是如果数据足够的话，足够把偏执降下来的话，大模型精度是很高的，他 的方差小。如果你数据不足，就不得不使用简单模型，而简单的模型确实不容易过拟合，但他的准确度(精度)就是硬伤，偏执再底，方差他的硬伤。

所以说嘛，有没有数据，一下子就变得很重要了。