摘要： 
在之前的博客中我们提到过，设l为在标签Y上定义的0-1多分类弃权损失的代理损失，则我们可以在此基础上进一步定义弃权代理损失L。在这篇博客中，让我们把注意力转移一个新的方向——代理损失函数的泛化误差界（generalization error gap）。差值R_L(hat{h}) - widehat{R}_L(hat{h})被称为泛化差距（generalization gap），刻画了学习算法输出假设的泛化能力。证明学习算法的泛化界（generalization bound）即为证明其泛化差距被某个大致形如epsilon = O(C(H)/m)的项给界定，其中C(H)为假设空间H的模型复杂度，m为样本个数。按照经典统计学习理论，一般假设空间H的模型复杂度越低，样本个数m越多，学习算法的泛化性能越好。证明泛化界的问题可以转化为证明经验过程有界。 阅读全文
在之前的博客中我们提到过，设l为在标签Y上定义的0-1多分类弃权损失的代理损失，则我们可以在此基础上进一步定义弃权代理损失L。在这篇博客中，让我们把注意力转移一个新的方向——代理损失函数的泛化误差界（generalization error gap）。差值R_L(hat{h}) - widehat{R}_L(hat{h})被称为泛化差距（generalization gap），刻画了学习算法输出假设的泛化能力。证明学习算法的泛化界（generalization bound）即为证明其泛化差距被某个大致形如epsilon = O(C(H)/m)的项给界定，其中C(H)为假设空间H的模型复杂度，m为样本个数。按照经典统计学习理论，一般假设空间H的模型复杂度越低，样本个数m越多，学习算法的泛化性能越好。证明泛化界的问题可以转化为证明经验过程有界。 阅读全文
posted @ 2025-08-04 17:36
orion-orion
阅读(213)
评论(0)
推荐(1)
浙公网安备 33010602011771号