方差与偏差

泛化误差可以理解为偏差、方差与噪声之和。

偏差度量了学习算法的期望预测与样本真实值之间的偏离程度，也就是说刻画了算法本身的拟合能力。

方差度量了同样大小的训练集的变动所导致学习性能的变化，级刻画了数据扰动所造成的影响。

噪声表达了在当前任务下任何学习算法泛化误差所能达到的下界，刻画了学习任务本身的难度。