10.14

机器学习6

1、支持向量到超平面的距离之和称之为间隔

2、支持向量机的核心思想是最大化间隔。

3、满足Mercer定理的函数可以作为核函数。

4. (简答题) 支持向量机算法中，为什么要求原问题的对偶问题？

1、简化计算：在SVM中，原始问题是一个带有正则化项的凸二次规划问题。直接求解这个原始问题可能比较复杂。通过对偶问题，可以将原始问题转化为一个关于拉格朗日乘子的优化问题，这通常比直接求解原始问题更简单。 

2、 稀疏性：在对偶问题中，大多数拉格朗日乘子会等于零，这意味着只有少数样本（即支持向量）对决策函数有贡献。这种稀疏性不仅减少了计算量，还使得SVM能够有效地处理大规模数据集。 

3、 核技巧：通过将对偶问题与核方法结合，SVM可以在非线性特征空间中寻找最优超平面，而无需显式地计算这些特征。这使得SVM能够处理那些在原始输入空间中线性不可分的问题。 

4、 KKT条件：对偶问题满足Karush-Kuhn-Tucker（KKT）条件，这些条件是描述最优化问题中最优解性质的重要工具。通过检查KKT条件，可以更容易地验证和解释SVM模型的解。 

5、 避免过拟合：在SVM中，通过引入软间隔和惩罚参数C，可以在对偶问题中实现对误分类的惩罚。这种方法有助于平衡模型复杂度和泛化能力，从而避免过拟合。 

6、 理论保证：在凸函数条件下，原问题与对偶问题的解具有强对偶性，这意味着它们可以找到相同的最优解。这种理论上的保证为使用对偶问题提供了坚实的基础。 

7、 直观解释：对偶问题中的拉格朗日乘子可以被解释为每个样本的重要性或权重，这为理解SVM模型的决策过程提供了直观的视角。