1、条件概率

P(A|B)=P(AB)P(B)<script type="math/tex" id="MathJax-Element-85">P(A|B)=\frac{P(AB)}{P(B)}</script>

即：在事件B发生的条件下事件A发生的频率。等于事件A、B同一时候发生的频率除以事件B发生的频率，能够通过文氏图来理解条件概率。

由条件概率能够得到乘法公式：

P(AB)=P(A|B)P(B)<script type="math/tex" id="MathJax-Element-86">P(AB)=P(A|B)P(B)</script>，同理：P(AB)=P(B|A)P(A)<script type="math/tex" id="MathJax-Element-87">P(AB)=P(B|A)P(A)</script>

2、全概率公式

设B1,B2,...,Bn<script type="math/tex" id="MathJax-Element-88">B_{1},B_{2},...,B_{n}</script>为一完备事件组，即相互之间交集为空，且总的并集为1。则对事件A有：

P(A)=∑ni=1P(A|Bi)P(Bi)<script type="math/tex" id="MathJax-Element-89">P(A)=\sum_{i=1}^{n}P(A|B_{i})P(B_{i})</script>。当中i=1,2,…,n

3、贝叶斯公式

设B1,B2,...,Bn<script type="math/tex" id="MathJax-Element-90">B_{1},B_{2},...,B_{n}</script>为一完备事件组。即相互之间交集为空，且总的并集为1，则有：

P(Bj|A)=P(A|Bj)P(Bj)∑ni=1P(A|Bi)P(Bi)<script type="math/tex" id="MathJax-Element-91">P(B_{j}|A)=\frac{P(A|B_{j})P(B_{j})}{\sum_{i=1}^{n}P(A|B_{i})P(B_{i})}</script>，当中i、j=1,2,…,n

4、贝叶斯分类

如果有n个类别，分别为 C1,C2,...,Cn<script type="math/tex" id="MathJax-Element-92">C_{1},C_{2},...,C_{n}</script>

各个类别的概率，即 P(C1),P(C2),...,P(Cn)<script type="math/tex" id="MathJax-Element-93">P(C_{1}),P(C_{2}),...,P(C_{n})</script>，是好求的。称为先验概率

有k个特征，分别为t1,t2,...,tk<script type="math/tex" id="MathJax-Element-94">t_{1},t_{2},...,t_{k}</script>。贝叶斯分类如果各个特征之间是相互独立的

各个类别中每一个特征的概率也能够求出来，即求

P(t1|C1),P(t2|C1),...,P(tk|C1)<script type="math/tex" id="MathJax-Element-95">P(t_{1}|C_{1}), P(t_{2}|C_{1}), ..., P(t_{k}|C_{1})</script>
P(t1|C2),P(t2|C2),...,P(tk|C2)<script type="math/tex" id="MathJax-Element-96">P(t_{1}|C_{2}), P(t_{2}|C_{2}), ..., P(t_{k}|C_{2})</script>
….
P(t1|Cn),P(t2|Cn),...,P(tk|Cn)<script type="math/tex" id="MathJax-Element-97">P(t_{1}|C_{n}),P(t_{2}|C_{n}),...,P(t_{k}|C_{n})</script>

如果有一特征向量为t′1,t′2,...,t′k<script type="math/tex" id="MathJax-Element-98">t_{1}^{'},t_{2}^{'},...,t_{k}^{'}</script>，如今要对其分类，即在特征为t′1,t′2,...,t′k<script type="math/tex" id="MathJax-Element-99">t_{1}^{'},t_{2}^{'},...,t_{k}^{'}</script>的情况下。看看那个类别的概率最大，最大的那个类别的概率即为贝叶斯分类的结果，求：

P(C1|(t′1,t′2,...,t′k)),...,P(Cn|(t′1,t′2,...,t′k))<script type="math/tex" id="MathJax-Element-100">P(C_{1}|(t_{1}^{'},t_{2}^{'},...,t_{k}^{'})),...,P(C_{n}|(t_{1}^{'},t_{2}^{'},...,t_{k}^{'}))</script>

以求P(C1|(t′1,t′2,...,t′k))<script type="math/tex" id="MathJax-Element-101">P(C_{1}|(t_{1}^{'},t_{2}^{'},...,t_{k}^{'}))</script>为例：

P(C1|(t′1,t′2,...,t′k))=P((t′1,t′2,...,t′k)C1)P(t′1,t′2,...,t′k)=P((t′1,t′2,...,t′k)|C1)P(C1)P(t′1,t′2,...,t′k)<script type="math/tex" id="MathJax-Element-102">P(C_{1}|(t_{1}^{'},t_{2}^{'},...,t_{k}^{'}))=\frac{P((t_{1}^{'},t_{2}^{'},...,t_{k}^{'}) C_{1})}{P(t_{1}^{'},t_{2}^{'},...,t_{k}^{'})}=\frac{P((t_{1}^{'},t_{2}^{'},...,t_{k}^{'})|C_{1})P(C_{1})}{P(t_{1}^{'},t_{2}^{'},...,t_{k}^{'})}</script>

由于分母P(t′1,t′2,...,t′k)<script type="math/tex" id="MathJax-Element-103">P(t_{1}^{'},t_{2}^{'},...,t_{k}^{'})</script>对每一个类别是一样的，所以能够忽略不求，所以仅仅须要求上式中分子的最大值。如今求P((t′1,t′2,...,t′k)|C1)P(C1)<script type="math/tex" id="MathJax-Element-104">P((t_{1}^{'},t_{2}^{'},...,t_{k}^{'})|C_{1})P(C_{1})</script>，由于各个特征之间相互独立。所以P((t′1,t′2,...,t′k)|C1)=P(t1|C1)P(t2|C1)...P(tk|C1)<script type="math/tex" id="MathJax-Element-105">P((t_{1}^{'},t_{2}^{'},...,t_{k}^{'})|C_{1})=P(t_{1}|C_{1})P(t_{2}|C_{1})...P(t_{k}|C_{1})</script>，由于每一个分类中各个特征的概率我们已经求出来了。所以如今就好计算了。

完，
參考链接：
（阮一峰）http://www.ruanyifeng.com/blog/2011/08/bayesian_inference_part_one.html
（比較具体，没看）http://www.cnblogs.com/leoo2sk/archive/2010/09/17/1829190.html

<script type="text/javascript"> $(function () { $('pre.prettyprint code').each(function () { var lines = $(this).text().split('\n').length; var $numbering = $('
    ').addClass('pre-numbering').hide(); $(this).addClass('has-numbering').parent().append($numbering); for (i = 1; i <= lines; i++) { $numbering.append($('
  • ').text(i)); }; $numbering.fadeIn(1700); }); }); </script>
---

⭐ 优质资源

以下资源可以帮助你进一步提升：