svm(support vector machine)之svr(support vector regression)学习笔记(?)

1.SVR和SVC的区分：
　　SVR：构建函数拟合数据；SVC：二向数据点的划分(分类)
　　注：SVR的是输入时给出的实际值 \(y_{i}\)，SVC的 \(y_{i}\)是输入时给出的类别，即+1，-1。
2.SVR的目的：
　　找到一个函数\(f(x)\)，使之与训练数据给出的实际目标\(y_{i}\) 的偏差几乎不超过\(ε\)，同时尽可能平坦。

　　如图，形成了\(ε－\)不敏感区间。
3.间隔：
　　分为软间隔和硬间隔。
　　对于SVR来说，硬间隔是点全部落在\(ε－\)不敏感区间；软间隔是允许少量点落在区间外，编号为\(i\)的点的误差\(\xi _{i}\) 定义式为：
　　\(\xi _{i}＝ \left\{ \begin{aligned} %\nonumber &0&&y_{i} \in[f(x_{i})-\varepsilon ,f(x_{i})+\varepsilon],&\\ &f(x_{i})-\varepsilon-y_{i}&&y_{i} \in(-\infty ,f(x_{i})-\varepsilon),&\\ &y_{i}-f(x_{i})-\varepsilon&&y_{i} \in(f(x_{i})+\varepsilon ,+\infty).&\\ \end{aligned} \right.\)
　　即点落在区间外面误差才有值。
　　为了统一定义，咱们设两个误差变量\(\xi _{i}^{+}\) 和 \(\xi _{i}^{-}\) ,
　　将定义改为：
\(\xi _{i}^{+}＝\left\{ \begin{aligned} &0&&y_{i} \in(-\infty ,f(x_{i})+\varepsilon],&\\ &y_{i}-f(x_{i})-\varepsilon&&y_{i} \in(f(x_{i})+\varepsilon ,+\infty).&\\ \end{aligned} \right.\\\)

\(\xi _{i}^{-}＝ \left\{ \begin{aligned} &f(x_{i})-\varepsilon-y_{i}&&y_{i} \in(-\infty ,f(x_{i})-\varepsilon),&\\ &0&&y_{i} \in[f(x_{i})-\varepsilon ,+\infty).&\\ \end{aligned} \right.\)

4.逼近函数的表示方法：
　　高维：
　　

　　用核函数在低维空间表示内积：
　　

　　注：<,>是求内积的符号；超平面的一般方程为：\(\overrightarrow{w^{T}} \overrightarrow{x_{i}} +b=0\),其中\(\overrightarrow{w^{T}}\)和\(\overrightarrow{x_{i}}\)都为向量，\(\overrightarrow{x_{i}}\)为输入的一个数据\(i\)的ｎ个特征汇总成的ｎ维特征向量。(后面的向量符号可能省略，但还是指同样的东西)
５.损失函数：\(ε－\)不敏感损失函数
　　
　　将我们定义的\(\xi _{i}^{+}\) 和 \(\xi _{i}^{-}\)代入，发现：
　　\(L(y _{i})=\xi_{i}^{+} /\xi_{i}^{-}\)
　　将其引申，我们可以得出正则化风险的式子：
６.正则化风险最小化公式：
　　
　　注：这里的\(\xi_{i}\)和\(\widehat{\xi_{i}}\)对应的是\(\xi _{i}^{-}\) 和 \(\xi _{i}^{+}\)。
　　第一项为结构风险(正则化风险)，第二项为经验风险。
　　数据点满足“落在包含误差的区间”。
　　注：“|| ||”为向量的模
　　理解：\(ε\)是纵坐标的宽度，即超平面上方\(ε\)的点到同一横坐标的点的距离，
　　实际的垂直宽度\(d=\frac{|\overrightarrow{w^{T}} \overrightarrow{x} +b|}{\left \|\overrightarrow{w} \right \|}=\frac{\varepsilon }{\left \|\overrightarrow{w} \right \|}\);
　　SVR要在最大化宽度的同时最小化风险，故要最小化$\left |\overrightarrow{w} \right |^{2} $。
　　 \(\xi _{i}^{+}\) 和 \(\xi _{i}^{-}\)是超出不敏感区域的大小，惩罚系数为C
7.核技巧：通过将低维线性不可分数据转换到高维空间，使之线性可分。
　　
　　
　　
8.核函数的作用：
　　在希尔伯特空间中，核表示类似于内积，因此可以用低维的核函数表示高维空间的内积，
　　即
9.RBF/径向基函数/高斯核函数：
　　
　　需要注意的是：按我的理解，对于每个\(x_{i}\)都会与其他所有的\(x\)进行核函数的内积操作，使得第ｉ个数据从　ｎ个ｍ维向量　变为　\(n\times n\)个值
10.KKT/拉格朗日函数的构建：
　　具体的条件和证明就不复述，之前写过KKT的学习笔记。
　　引入拉格朗日乘子：\(\mu _{i}\)和\(\alpha _{i}\)，将不等式约束条件转化相加，得到：
　　
　　注：这里的\(\xi_{i}\)和\(\widehat{\xi_{i}}\)对应的是\(\xi _{i}^{-}\) 和 \(\xi _{i}^{+}\)。
　　于是任务就变为：寻找合适的\(\overrightarrow{w}\)和\(b\)，使得式子的值最小。
　　
　　P.　max怎么插入的？：
　　Q.　\(+\mu _{i}g(x)\)中\(\mu _{i}\ge 0,g(x)\le 0\),故　原式=max ［原式\(+\mu _{i}g(x)\)］。
　　注：\(g(x)\)指不等式约束条件。
　　然后，这里引入对偶的概念：
　　对偶分为强对偶性和弱对偶性。
　　弱对偶性是指：所有这样的式子都有的，对所有这样的式子的生效的，凤尾恒大于鸡头的性质。
　　即：\(min max \ge max min\)
　　而强对偶性是指：部分式子拥有的性质，即两边取等于号，可互相转换。
　　此处式子有强对偶性。（具体为什么有去看别人的证明吧……）
　　
　　\(\sum_{i=1}^{n} \alpha _{i}=\sum_{i=1}^{n} \widehat{\alpha _{i}}\)
　　$C=\mu _{i}+\alpha _{i}=\widehat{\mu _{i}} +\widehat{\alpha _{i}} $
　　

　　其中第一个，第二个，第四个都为互补松弛性条件。
　　第三个是分情况讨论得来的(后面有证)。
　　至于约束条件就是约束的不等式，站点条件就是求偏导等于０，
　　还需要满足对偶可行性条件：
　　即：\(\widehat{\alpha _{i}} \ge 0,\alpha _{i} \ge 0,\widehat{\mu _{i}} \ge 0,\mu _{i}\ge 0\)
　　
　　
　　最后将求得的等式反代回去：
　　
　　这个问题需要SMO来解，可能会在SMO的学习笔记再写。
11.关于支持向量的判别：
　　由于：
　　
　　故\(\widehat{\alpha _{i}} －\alpha _{i}\ne ０\)的对\(w\)有贡献，为支持向量。
　　分类讨论：(不妨假设点一直在偏下方)
　　(1)点在不敏感区域内：
　　　此时\(\xi_{i}=0,f(x)-y_{i}-\varepsilon -\xi_{i}=0\),
　　　故\(\alpha _{i}=0\)。
　　　同理：\(\widehat{\alpha _{i}}=0\)。
　　　\(\widehat{\alpha _{i}} －\alpha _{i}=0\)。
(2)点在不敏感区域边界上：
　　　此时\(\xi_{i}=0,f(x)-y_{i}-\varepsilon -\xi_{i}=0,\alpha _{i}\ne0\)。
　　　\(\widehat{\xi_{i}}=0,y_{i}-f(x)-\varepsilon -\widehat{\xi_{i}}<0,\widehat{\alpha _{i}}=0\)。
　　　\(\widehat{\alpha _{i}} －\alpha _{i}\ne 0\)。
　　　同时：\(\xi_{i}=0,\mu_{i}>0,0<\alpha_{i}=C-\mu_{i}<C\)。
(3)点在不敏感区域外：
　　　此时\(\xi_{i}\ne0,f(x)-y_{i}-\varepsilon -\xi_{i}=0,\alpha _{i}\ne0\)。
　　　\(\widehat{\xi_{i}}=0,y_{i}-f(x)-\varepsilon -\widehat{\xi_{i}}<0,\widehat{\alpha _{i}}=0\)。
　　　\(\widehat{\alpha _{i}} －\alpha _{i}\ne 0\)。
　　　同时：\(\xi_{i}\ne0,\mu_{i}=0,\alpha_{i}=C-\mu_{i}=C\)。
　　注：可以看出\(\alpha _{i}\widehat{\alpha _{i}}=0,\xi _{i}\widehat{\xi _{i}}=0\)。
　　这体现了：问题的复杂性独立于输入空间的维度，而仅取决于支持向量的数量。
12.\(\alpha _{i}\)的取值：
　　一般用SMO算法确定(SMO中说)。
13.\(b\)的取值：
　　可以用：

　　也可以：

　　其中\(y_{r}\)和\(y_{s}\)是支持向量\(x\)，选择求取平均值。
　　后者更具鲁棒性。
14.训练SVR模型时需要的三个参数：
　　损失函数参数ε、惩罚项C和高斯核参数γ。
　　C被称为正则化常数，它决定了经验风险和正则化项之间的权衡，增加C的值将导致经验风险的相对重要性增加。
　　参数γ表示高斯核的方差，控制核函数的敏感性。可以理解为：γ越大，核函数值就越分立，差距越大，就会越倾向于凹凸不平，弯弯曲曲的分界线，对错误的容忍度更低；γ越小，核函数值就越接近，差距越小，就会越倾向于平坦，笔直的分界线，对错误的容忍度更高，甚至会出现分类错误的情况。
　　只要误差小于损失函数参数ε，就不关心误差，但任何大于此的偏差都不会被接受。