第二章 模型评估与选择

2.1经验误差与过拟合
错误率：分类错误的样本数占样本总数的比例。即如果在m个样本中有α个样本分类错误,则错误率E=a/m。
精度：1- a/m，即“精度=1-错误率”。
误差学习器的实际预测输出与样本的真实输出之间的差异。
训练误差/经验误差：学习器在训练集上的误差。
泛化误差：新样本上的误差。
过拟合：当学习器把训练样本学得“太好”了的时候,很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质,这样就会导致泛化性能下降。过拟合是机器学习面临的关键障碍同时是无法彻底避免的，只能缓解或者说减小风险。
欠拟合：指对训练样本的一般性质尚未学好。
模型选择：理想的解决方案当然是对候选模型的泛化误差进行评估,然后选择泛化误差最小的那个模型。