贝叶斯算法

机器学习算法完整版见fenghaootong-github

贝叶斯（Bayesian Techniques）

• 朴素贝叶斯
• 高斯贝叶斯分类器
• 多项式贝叶斯分类器
• 伯努利贝叶斯分类器

贝叶斯定理：

P(Bi|A)=P(A|Bi)P(B)∑nj=1P(A|Bi)P(Bj)$P(B_i|A)=\frac{P(A|B_i)P(B)}{\sum _{j=1}^{n}P(A|B_i)P(B_j)}$

朴素贝叶斯方法

原理：

• 先验概率分布：P(Y=ck),k=1,2,...,K.$P(Y=c_k),k=1,2,...,K.$
• 条件概率分布：P(X=x⃗ |Y=ck)=P(X1=x1,X2=x2,...,Xn=xn|Y=ck)=Πnj=1P(Xi=xi|Y=ck),k=1,2,...,K$P(X=\overrightarrow{x}|Y=c_k)=P(X^1=x^1,X^2=x^2,...,X^n=x^n|Y=c_k)={\mathrm{\Pi }}_{j=1}^{n}P(X^i=x^i|Y=c_k),k=1,2,...,K$

根据贝叶斯定理：

P(Y=ck|X=x⃗ )=P(X=x⃗ |Y=ck)P(Y=ck)∑Kj=1P(X=x⃗ |Y=cj)P(Y=cj)$P(Y=c_k|X=\overrightarrow{x})=\frac{P(X=\overrightarrow{x}|Y=c_k)P(Y=c_k)}{\sum _{j=1}^{K}P(X=\overrightarrow{x}|Y=c_j)P(Y=c_j)}$

考虑分类特征的条件独立性假设有：

P(Y=ck|X=x⃗ )=P(Y=ck)Πnj=1P(Xi=xi|Y=ck)∑Kj=1P(X=x⃗ |Y=cj)P(Y=cj),k=1,2,...,K$P(Y=c_k|X=\overrightarrow{x})=\frac{P(Y=c_k){\mathrm{\Pi }}_{j=1}^{n}P(X^i=x^i|Y=c_k)}{\sum _{j=1}^{K}P(X=\overrightarrow{x}|Y=c_j)P(Y=c_j)},k=1,2,...,K$

于是朴素贝叶斯分类器表示为：

y=f(x⃗ )=argmaxckP(Y=ck)Πnj=1P(Xi=xi|Y=ck)∑Kj=1P(X=x⃗ |Y=cj)P(Y=cj)$y=f(\overrightarrow{x})=arg\underset{c_k}{max}\frac{P(Y=c_k){\mathrm{\Pi }}_{j=1}^{n}P(X^i=x^i|Y=c_k)}{\sum _{j=1}^{K}P(X=\overrightarrow{x}|Y=c_j)P(Y=c_j)}$

对于所有的ck$c_k$，上面的分母一样，所以：

y=f(x⃗ )=argmaxckP(Y=ck)Πnj=1P(Xi=xi|Y=ck)$y=f(\overrightarrow{x})=arg\underset{c_k}{max}P(Y=c_k){\mathrm{\Pi }}_{j=1}^{n}P(X^i=x^i|Y=c_k)$

朴素贝叶斯算法

输入：

• 训练集T=(x1→,y1),(x2→,y2),...,(xN→,yN),xi→=(x(1)i,x(2)i,...,x(n)i)T,x(j)i$(\overrightarrow{x_1},y_1),(\overrightarrow{x_2},y_2),...,(\overrightarrow{x_N},y_N),\overrightarrow{x_i}=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)}{)}^T,x_i^{(j)}$为第i个样本的第j个特征，其中x(j)i∈aj1,aj2,...,ajsj,ajl$x_i^{(j)}\in a_{j1},a_{j2},...,a_{j{s}_j},a_{jl}$为第j个特征可能取到的第l个值

算法步骤

• 计算先验概率的估计值以及条件概率的估计值

P(Y=ck)=∑Ni=1I(yi=ck)N,k=1,2,...,K$P(Y=c_k)=\frac{\sum _{i=1}^{N}I(y_i=c_k)}{N},k=1,2,...,K$
P(X(j)=ajl|Y=ck)=∑Ni=1I(x(j)i=ajl,yi=ck)∑Ni=1I(yi=ck)$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum _{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum _{i=1}^{N}I(y_i=c_k)}$
j=1,2,...,n;l=1,2,...,sj;k=1,2,...,K$j=1,2,...,n;l=1,2,...,s_j;k=1,2,...,K$

• 对于给定的实例x⃗ =(x(1),x(2),...,x(n))T$\overrightarrow{x}=(x^{(1)},x^{(2)},...,x^{(n)}{)}^T$,计算

P(Y=ck)Πnj=1P(Xi=xi|Y=ck),k=1,2,...,K$P(Y=c_k){\mathrm{\Pi }}_{j=1}^{n}P(X^i=x^i|Y=c_k),k=1,2,...,K$

• 计算给并返回实例x⃗ $\overrightarrow{x}$的分类y：

y=f(x⃗ )=argmaxckP(Y=ck)Πnj=1P(Xi=xi|Y=ck)$y=f(\overrightarrow{x})=arg\underset{c_k}{max}P(Y=c_k){\mathrm{\Pi }}_{j=1}^{n}P(X^i=x^i|Y=c_k)$

贝叶斯估计

条件概率P(X(j)=ajl|Y=ck)$P(X^{(j)}=a_{jl}|Y=c_k)$的极大似然估计：

P(X(j)=ajl|Y=ck)=∑Ni=1I(x(j)i=ajl,yi=ck)∑Ni=1I(yi=ck)$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum _{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum _{i=1}^{N}I(y_i=c_k)}$
j=1,2,...,n;$j=1,2,...,n;$
l=1,2,...,sj;$l=1,2,...,s_j;$
k=1,2,...,K$k=1,2,...,K$

用极大似然估计可能会出现分母为零的情况，此时可以采用贝叶斯估计：

P(X(j)=ajl|Y=ck)=∑Ni=1I(x(j)i=ajl,yi=ck)+λ∑Ni=1I(yi=ck)+sjλ$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum _{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{\sum _{i=1}^{N}I(y_i=c_k)+s_j\lambda }$
j=1,2,...,n;$j=1,2,...,n;$
l=1,2,...,sj;$l=1,2,...,s_j;$
k=1,2,...,K$k=1,2,...,K$

它满足概率分布函数的条件：

Pλ(X(j)=ajl|Y=ck)>0,l=1,2,...,sj;k=1,2,...,K$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)>0,l=1,2,...,s_j;k=1,2,...,K$
∑sjl=1Pλ(X(j)=ajl|Y=ck)=1$\sum _{l=1}^{s_j}{P}_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=1$

此时P(Y=ck)$P(Y=c_k)$的贝叶斯估计调整为：

Pλ(Y=ck)=∑Ni=1I(yi=ck)+λN+Kλ$P_{\lambda }(Y=c_k)=\frac{\sum _{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$

当λ=0$\lambda =0$时，为极大似然估计
当λ=1$\lambda =1$时，为拉普拉斯平滑

高斯贝叶斯分类器

它假设特征的条件概率分布满足高斯分布：

P(X(j)|y=ck)=12πσ2k√exp(−(X(j)−μk)22σ2k)$P(X^{(j)}|y=c_k)=\frac{1}{\sqrt{2\pi {\sigma }_k^2}}exp(-\frac{(X^{(j)}-{\mu }_k{)}^2}{2{\sigma }_k^2})$

多项式贝叶斯分类器

它假设特征的条件概率分布满足多项式分布：

P(X(j)|y=ck)=Nkj+αNk+αn$P(X^{(j)}|y=c_k)=\frac{N_{kj}+\alpha }{N_k+\alpha n}$

伯努利贝叶斯分类器

它假设特征的条件概率分布满足伯努利分布：

P(X(j)|y=ck)=pX(j)+(1−p)(1−X(j))$P(X^{(j)}|y=c_k)=p{X}^{(j)}+(1-p)(1-X^{(j)})$

Bayes应用实例

Bayes应用实例
垃圾邮件处理