Orion's Blog

摘要： 这学期参加了同研究科的田中研的读书会，所选的是近年出的较新的书《Learning Theory from First Principles》。作者Francis Bach是COLT2025的keynote speaker。我主动承担了4.1-4.4部分（这周做了分享），该部分和我目前的科研方向比较相关。下面是我结合自己的科研的一些心得和笔记。然而，以二分类问题为例，预测函数h是个布尔函数，在其假设空间中的经验风险最小化是难以处理的（intractable）组合优化问题。此外，分析这种布尔函数假设空间的复杂度可能需要进一步引入诸如VC维的工具。然而，可以通过凸代理损失的框架来学习一个实值函数f以将该问题凸化从而克服之。此时，我们就可以使用拉德马赫复杂度来对经验风险最小化的渐进收敛进行分析。理想的代理损失函数Phi应该满足代理风险一致性(Surrogate risk consistency)：在总体层面上对Phi-风险的优化能够确保优化对0-1风险的优化。 阅读全文