2 监督学习

目录

• 2.1 由实例学习类
• 2.2 VC维
• 2.3 概率逼近正确学习
• 2.5 学习多类
• 2.6 回归
• 2.8 监督机器学习算法学习的维

2.1 由实例学习类

假设我们要学习“家用汽车”类C，先使用一些实例进行标记，家用汽车为正，其他为负。
类学习就是寻找一个涵盖所有的正例而不包含负例的描述。
这样我们就能：
给一辆没见过的车，检查学习得到的描述，对汽车进行判断是否为家用汽车。

\[\begin{aligned} x=[x_1,x_2]^T \\ r=\begin{cases} 1 & \text{如果为正} \\ 0 & \text{如果为负} \end{cases} \\ \chi = \{x^t,r^t\}_{t=1}^N \end{aligned} \]

专家分析，家用汽车价格和发动机功率应当在一个范围内

\[\begin{aligned} (p_1 \le \text{价格} \le p_2) and (e_1 \le \text{功率} \le e_2) \end{aligned} \]

这样有了一个假设\(h \in H\)，尽可能的逼近类C

\[h(x)=\begin{cases} 1 & \text{如果h预测x为正} \\ 0 & \text{如果h预测x为负} \end{cases} \]

那么就有了误差，假设误差为：

\[E(h|\chi)= \overset{N}{\underset{t=1}{\sum}} 1(h(x^t \neq r^t)) \]

2.2 VC维

假设一个二分类问题，有N个样本，那么对于这N个样本有\(2^N\)个分类方法，可以定义\(2^N\)个学习方法。
那么对于任意一个问题我们都能找到一个假设\(h\in H\)分类，那么我们就称H散列N个点。
H的散列的点的最大数量成为H的VC维，记为VC(H),用来度量假设类H的学习能力。

2.3 概率逼近正确学习

概率逼近正确学习中，给定类C和未知但具有确定分布\(p(x)\)中取样，置信率\(\delta \le 1/2\)，误差\(\epsilon > 0\)

\[P\{C\Delta h \le \epsilon \} \ge 1-\delta \]

假设h误差至多为\(\epsilon\)的概率为\(1- \delta\),其中\(C\Delta h\)是C与h不同的区域。
矩形有4个小条子，那么正例不落在某个小条子的概率为：\(1-\epsilon /4\)，那么对于N个实例不在小条子的概率为\(4(1-\epsilon /4)^N\)(落在小条子里面为判断错误)我们希望最大值为\(\delta\).
因为有公式：\((1-x) \le exp[-x]\)
代入到公式有：\(4exp[-\epsilon N/4] \le \delta\)
整理后得到:\(N \ge (4/\epsilon)log(4/\delta)\)
由此得到为了保证 置信率\(\delta ,\epsilon\)至少需要:\(N \ge (4/\epsilon)log(4/\delta)\)个样本。

2.5 学习多类

假设有K个类，标记为\(C_i,i=1,……,K\)
假设数据集，\(\chi = \{x^t,r^t\}_{t=1}^N\)
r是K维的，有：

\[r_i^t=\begin{cases} 1 & \text{如果} x_t \in C_i \\ 0 & \text{如果} x_t \in C_j, j \neq i \end{cases} \]

对于预测有：

\[h_i(x^t)=\begin{cases} 1 & \text{如果} x_t \in C_i \\ 0 & \text{如果} x_t \in C_j, j \neq i \end{cases} \]

则误差有：

\[E(\{h_i\}_{i=1}^K|\chi)=\underset{t=1}{\overset{N}{\sum}}\underset{i=1}{\overset{K}{\sum}}1(h_i(x^t) \neq r_i^t) \]

2.6 回归

假设数据集，\(\chi = \{x^t,r^t\}_{t=1}^N\)
我们希望找出一个函数\(r^t=\operatorname{f}(x^t)\)
若加上噪声\(r^t=\operatorname{f}(x^t)+\varepsilon\)
对于噪声的解释就是，存在我们无法观测的额外隐藏变量\(r^t=\operatorname{f}(x^t,z^t)\)，\(z^t\)就是隐藏变量。
有误差函数：

\[E(g|\chi)= \frac 1 N \overset{N}{\underset{t=1}{\sum}} [ r^t - g(x^t)]^2 \]

假设x是线性的，我们有：

\[g(x)=\overset{N}{\underset{t=1}{\sum}}w_jx_j+w_0 \]

假设只有一个参数：

\[\begin{aligned} g(x) &=w_1x+w_0 \\ E(g|\chi)&= \frac 1 N \overset{N}{\underset{t=1}{\sum}} [ r^t - (w_1x^t+w_0)]^2 \end{aligned} \]

求\(w_0,w_1\)偏导为0，先求\(w_0\)在代入到对\(w_1\)求偏导的公式中得到:

\[\begin{aligned} w_0&=\bar r-w_1\bar x \\ w_1&=\frac{\underset{t}{\sum}x^tr^t - N\bar{x}\bar{r}} {\underset{t}{\sum}(x^t)^2 - N(\bar{x})^2} \end{aligned} \]

如果线性模型太简单也可以修改为二次函数：\(g(x)=w_2x^2+w_1x+w_0\)

2.8 监督机器学习算法学习的维

假设数据集，\(\chi = \{x^t,r^t\}_{t=1}^N\)
1.定义一个学习用的模型 \(g(x|\theta)\)，其中\(\theta\)是参数
2.定义一个损失函数\(\operatorname{L}()\),那么逼近误差或者损失是各个实例误差的和

\[E(\theta|\chi)=\underset{t}{\sum}L(r^t,g(x|\theta)) \]

3.最优化过程，求解参数\(\theta^*\)使得误差最小

\[\theta^*=arg \underset{\theta}{min} E(\theta|\chi) \]