监督学习、贝叶斯分类器
监督学习
目标:从特征空间中进行预测(标签空间)。
数据有统计规律性,训练数据 \(D=\{(x_1,y_1),\cdots ,(x_n,y_n)\}\in \mathbb{R}^d\times C\)。
标签空间 \(C\):有连续性(回归任务);离散型(二/多分类任务)
特征空间 \(R^d\):特征向量 \(x_i\in \mathbb{R}^d\),表示第 \(i\) 个样本的 \(d\) 个特征。
假设是联合概率分布,训练数据和测试数据的 \(X,Y\) 遵循同样的 \(P(x,y)\),独立同分布产生。
一个模型就是学习 \(x\rightarrow y\),假设空间 \(h\),即模型的集合。
一个损失函数可以评估一次预测中 \(h\) 的好坏,有 0-1 损失函数,平方损失函数,绝对损失函数,对数损失函数 \(L(Y,h(X))=-\sum_{k=1}^K 1[Y=k]\log p_k\)。
期望损失是基于 \(P(x,y)\) 上的,没有办法算出来,如果能算出来 \(P(x,y)\) 就已知了,不用学习,所以用经验损失函数
因此我们要经验风险最小化:
为了防止模型过拟合,可以加入正则函数:
一种方式是 Early Stopping,当训练误差仍下降但验证误差不再改善时停止,并保留验证集表现最好的模型。
学习过程分为:训练集、验证集、测试集,分别用于训练模型、模型选择、最终评估。对于验证集,可以有交叉验证:
-
简单交叉验证。
-
\(K\) 折交叉验证。分成 \(k\) 个分区,在 \(k-1\) 训练,\(1\) 个验证。重复 \(k\) 次,取评平均。
-
留一交叉验证。\(k=n\)。
对于二分类,有 \(TP,FN,FP,TN\),True/False+Positive/Negative。那么有
为精确率、召回率。Accuracy 为
贝叶斯分类器
有贝叶斯公式
给定训练数据 \(D=\{(x_1,y_1),\cdots,(x_n,y_n)\}\),如果已知 \(P(Y|X)\),如何预测?定义风险函数
最优分类器为
如果对于 \(X\) 的 \(d\) 维都做考虑,那么参数太多了,所以假设特征 \(X^1\perp X^2\perp \cdots \perp X^d|Y\),那么
因此需要估计先验 \(P(Y=c_k)=\pi_k\) 和类条件似然 \(P(X|Y=c_k)\)。
类先验的似然估计
令 \(m_k=\sum_{i=1}^N 1[y_i=c_k]\),多项式分布的似然为
极大似然估计要求
构造拉格朗日函数
令 \(\frac{\partial L}{\partial \pi_k}=0\),得到 \(\pi_k=\frac{m_k}{\lambda}\),用约束得到 \(\lambda=\sum_{k}m_k=N\),所以
因此,先验概率等于经验概率。对每个特征单独建模。
有伯努利分布(0/1)和高斯连续特征。
参考资料
- 监督学习,贝叶斯分类器与感知机——秦悦

浙公网安备 33010602011771号