监督学习、贝叶斯分类器

监督学习

目标:从特征空间中进行预测(标签空间)。

数据有统计规律性,训练数据 \(D=\{(x_1,y_1),\cdots ,(x_n,y_n)\}\in \mathbb{R}^d\times C\)。

标签空间 \(C\):有连续性(回归任务);离散型(二/多分类任务)

特征空间 \(R^d\):特征向量 \(x_i\in \mathbb{R}^d\),表示第 \(i\) 个样本的 \(d\) 个特征。

假设是联合概率分布,训练数据和测试数据的 \(X,Y\) 遵循同样的 \(P(x,y)\),独立同分布产生。

一个模型就是学习 \(x\rightarrow y\),假设空间 \(h\),即模型的集合。

一个损失函数可以评估一次预测中 \(h\) 的好坏,有 0-1 损失函数,平方损失函数,绝对损失函数,对数损失函数 \(L(Y,h(X))=-\sum_{k=1}^K 1[Y=k]\log p_k\)。

期望损失是基于 \(P(x,y)\) 上的,没有办法算出来,如果能算出来 \(P(x,y)\) 就已知了,不用学习,所以用经验损失函数

\[R(h)=\frac{1}{N}\sum_{i=1}^N L(y_i,h(x_i)) \]

因此我们要经验风险最小化:

\[\min_w\frac{1}{N}\sum_{i=1}^N L(h_w(x_i),y_i) \]

为了防止模型过拟合,可以加入正则函数:

\[\min_w\frac{1}{N}\sum_{i=1}^N L(h_w(x_i),y_i)+\lambda r(w) \]

一种方式是 Early Stopping,当训练误差仍下降但验证误差不再改善时停止,并保留验证集表现最好的模型。

学习过程分为:训练集、验证集、测试集,分别用于训练模型、模型选择、最终评估。对于验证集,可以有交叉验证:

  • 简单交叉验证。

  • \(K\) 折交叉验证。分成 \(k\) 个分区,在 \(k-1\) 训练,\(1\) 个验证。重复 \(k\) 次,取评平均。

  • 留一交叉验证。\(k=n\)。

对于二分类,有 \(TP,FN,FP,TN\),True/False+Positive/Negative。那么有

\[P=\frac{TP}{TP+FP}\\ \space \\ R=\frac{TP}{TP+FN} \]

为精确率、召回率。Accuracy 为

\[\frac{TP+TN}{TP+TN+FP+FN} \]

贝叶斯分类器

有贝叶斯公式

\[P(A|B)=\frac{P(B|A)P(A)}{P(B)} \]

给定训练数据 \(D=\{(x_1,y_1),\cdots,(x_n,y_n)\}\),如果已知 \(P(Y|X)\),如何预测?定义风险函数

\[R_D(h)=E_D(1[h(x\neq y)])\\ \space \\ \min R_D(h)=\max P_D(h(x)=y|x) \]

最优分类器为

\[\begin{aligned} \hat{h}(x)&=\text{argmax}_{c_k}P(Y=c_k|X=x)\\ &=\text{argmax}_{c_k}\frac{P(X=x|Y=c_k)P(Y=c_k)} {P(X)}\end{aligned} \]

如果对于 \(X\) 的 \(d\) 维都做考虑,那么参数太多了,所以假设特征 \(X^1\perp X^2\perp \cdots \perp X^d|Y\),那么

\[P(X=x|Y=c_k)=\prod_{i=1}^d P(X_i=x_i|Y=c_k) \]

因此需要估计先验 \(P(Y=c_k)=\pi_k\) 和类条件似然 \(P(X|Y=c_k)\)。

类先验的似然估计

令 \(m_k=\sum_{i=1}^N 1[y_i=c_k]\),多项式分布的似然为

\[L(\pi)=\prod_{k=1}^N \pi_k^{m_k},\space \sum_{k=1}^K \pi_k=1 \]

极大似然估计要求

\[\hat{pi}=\text{argmax}_{\sum \pi=1} L(\pi)=\text{argmax}_{\sum\pi=1} \log(L(\pi)) \]

构造拉格朗日函数

\[L=\sum_{k=1}^K m_k\log \pi_k+\lambda(1-\sum_{k=1}^K pi_K) \]

令 \(\frac{\partial L}{\partial \pi_k}=0\),得到 \(\pi_k=\frac{m_k}{\lambda}\),用约束得到 \(\lambda=\sum_{k}m_k=N\),所以

\[\boxed{\hat{\pi_k}=\frac{m_k}{N}} \]

因此,先验概率等于经验概率。对每个特征单独建模。

有伯努利分布(0/1)和高斯连续特征。

参考资料

  • 监督学习,贝叶斯分类器与感知机——秦悦
posted @ 2026-08-22 19:58  _Iroha  阅读(18)  评论(0)    收藏  举报