最大间隔损失函数（合页损失函数）

合页损失函数（Hinge Loss），也称铰链损失或最大间隔损失（Max-Margin Loss），是一种主要用于最大间隔分类（如支持向量机 SVM）的损失函数。 

1. 核心思想

合页损失函数的设计目标是不仅要将数据点正确分类，还要确保分类的置信度足够高，即样本点要与决策边界保持足够的“间隔”（Margin）。

• 惩罚不足：它不仅惩罚分类错误的样本，对于那些虽然分类正确但离决策边界太近（置信度不高，在间隔内）的样本，也会施加一定的损失。
• 零损失条件：只有当一个样本被正确分类并且与决策边界的函数间隔（functional margin）大于或等于 1 时，损失才为零。
  

2. 数学表达式

对于二分类问题，通常将真实标签y定义为 +1 或 -1，模型的预测输出（决策函数值，通常是原始得分而不是最终类别标签）为𝑓(𝑥)。单个样本的合页损失函数定义为： 

𝐿( 𝑦 , 𝑓(𝑥) ) = max( 0, 1 − 𝑦 * 𝑓(𝑥) )

其中：

• y是真实标签 (+1 或 -1)。
• 𝑓(𝑥)是模型的预测得分（可以是任意实数值）。
  

3. 特点分析

• 最大间隔：合页损失鼓励模型找到一个最大的间隔来分隔不同类别的样本点。
• 非负性：损失值始终大于等于 0。
• 非平滑性：在1−𝑦⋅𝑓(𝑥)=0 处，即函数间隔等于 1 的点，损失函数不可导。这给优化过程带来了一定的挑战（通常使用次梯度下降法 Subgradient Descent 或其他优化技巧）。
• 对异常值不敏感：与均方误差等损失函数相比，合页损失只关注靠近决策边界的点（支持向量），对远离边界的异常值（outliers）相对不敏感。
• 凸函数：合页损失是一个凸函数，这保证了在使用优化算法时可以找到全局最优解。
  

应用场景

合页损失函数最著名的应用是作为**支持向量机（SVM）**的目标函数。它也是结构化预测问题和一些多类别分类任务中常用的损失函数。 

 参考资料：

 1. 机器学习之支持向量机SVM