摘要： 
上一章我们所定义的“线性可分支持向量机”要求训练数据是线性可分的。然而在实际中，训练数据往往包括异常值(outlier)，故而常是线性不可分的。这就要求我们要对上一章的算法做出一定的修改，即放宽条件，将原始的硬间隔最大化转换为软间隔最大化。该问题最终可以写成无约束优化的形式，目标函数由合页损失函数和正则项构成。合页损失函数处处连续，此时可以采用基于梯度的数值优化算法求解（梯度下降法、牛顿法等）不过，此时的目标函数非凸，不一定保证收敛到最优解。 阅读全文
上一章我们所定义的“线性可分支持向量机”要求训练数据是线性可分的。然而在实际中，训练数据往往包括异常值(outlier)，故而常是线性不可分的。这就要求我们要对上一章的算法做出一定的修改，即放宽条件，将原始的硬间隔最大化转换为软间隔最大化。该问题最终可以写成无约束优化的形式，目标函数由合页损失函数和正则项构成。合页损失函数处处连续，此时可以采用基于梯度的数值优化算法求解（梯度下降法、牛顿法等）不过，此时的目标函数非凸，不一定保证收敛到最优解。 阅读全文