泛化能力(generalization ability)是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据对背后的规律,对具有同一规律的学习集以外的数据,经过训练的网络也能给出合适的输出,该能力称为泛化能力。
1.什么是泛化能力?
在机器学习方法中,泛化能力通俗来讲就是指学习到的模型对未知数据的预测能力。在实际情况中,我们通常通过测试误差来评价学习方法的泛化能力。
2.泛化误差的定义
![]()
大家马上应该发现,这个不是损失函数的期望吗?? 没错,泛化误差就是所学习到的模型的损失函数期望(期望误差)
3.泛化误差上界