模型的学习

有结构的SVM[1]

w∗=argminw∈Rn[λ2||w||2+R(w)]

其中损失函数R(w)为：

R(w)=1m∑i=1mmaxs∈S(L(si,s)+<w,Ψ(Ii,s)>)−1m∑i=1m<w,Ψ(Ii,si)>

其中：m表示样本的数量，si是第i个样本的真实landmarks的位置。Ii表示第i幅图像（样本）。

支持向量机

广义支持向量机[3]：

argminwL(w)=12||w||2+C∑imaxj∈Ni(0,lij−wTxij)

其中i表示第i个样本，其用Ni个向量{xij}和Ni个标量{lij}来描述，其中j∈(1,2,...,Ni)

一般形式的二分类SVM(无约束）：

minw12wTw+C∑i=1lmax(1−yiwTxi,0)

其中C是惩罚因子，∑li=1max(1−yiwTxi,0)是损失函数。
令ξi=max(1−yiwTxi,0)，则可推断出下面的两个约束：
1. ξ≥0
2. ξi=max(1−yiwTxi,0)≥1−yiwTxi
则转化为有约束的形式：

minw,ξi≥012wTw+C∑i=1lξi

s.t.ξ≥1−yiwTxi

二次规划形式（有约束）：

argminβ,ξn≥012β⋅β+C∑nξn(7)

s.t.∀n∈posβ⋅Φ(In,zn)≥1−ξn

∀n∈neg,∀zβ⋅Φ(In,zn)≤−1+ξn

∀k∈K,βk≤0

其中12β⋅β是正则项，∑nξn是损失函数，C称为惩罚因子，对于正负样本进行可区分性的训练时，可以设置不同的惩罚因子（例如正样本是负样本的2倍）。zn=(Ln,mn)表示基准点位置和视角(mixture)，In表示图像。K表示模型参数约束为负的下标集合，其对应的模型参数为负的。

无约束的支持向量机的最优化：
1、束方法。
2、随机梯度下降法

有约束的支持向量机的最优化：
1、对偶坐标下降法
2、投影随机梯度下降法。

参考文献：
1、detector of facial landmarks learned by the structured output svm
2、Face Detection, Pose Estimation, and Landmark Localization in the Wild
3、Dual coordinate solvers for large-scale structural SVMs
4、Bundle Methods for Regularized Risk Minimization
5、A Dual Coordinate Descent Method for Large-scale Linear SVM