Phenomenon•uncertainty•Process and Outcome•Random与Stochastic•Probability概率•条件概率•条件独立与相互独立

Phenomenon现象
uncertainty不确定性
Process过程 and Outcome结果
Random随机，包含多种多样的Distribution;
Stochastic常指满足Random Distribution随机分布的的一种；
Random Phenomenon随机现象
Reproducible Random Phenomenon: 可重现随机现象
Experiments of Random Phenomenon: 随机试验
Probability概率
Conditional Probability条件概率
Conditional Independence条件独立
Mutual Independence相互独立

Random Phenomenon随机现象：在一定的条件下，并不总是出现相同结果的现象。
1. 结果不止一个，而且是确定的集合(有限个或可列个)
2. 哪一个结果出现，事先并不知道；

Reproducible Random Phenomenon and Experiments of Random Phenomenon:
Reproducible Random Phenomenon:
在相同条件下，可以重复的Random Phenomenon随机现象;
Experiments of Random Phenomenon:
observations, records, experiments of random phenomenon.

Sample Space样本空间: 随机现象一切可能的基本结果(元素)组成的集合。 样本空间
记为Omega ={omega},其中omega表示基本结果(元素)，又称为样本点。
研究随机现象，首先要列出它的样本空间，其样本点(基本结果) 是今后抽样的最基本单元。

Random Event: 随机现象的某些样本点 组成的集合 称为随机事件，简称事件
随机事件X，其实是以Omega样本空间全集为条件的；
所有的随机事件都可以看做“Conditional Probability”条件概率。

---

GENERAL ADDITION RULE
If A and B are any two events, disjoint or not,
then the probability that at least one of them will occur is:
P(A or B) = P(A) +P(B) −P(A and B)
where P(A and B) is the probability that both events occur.

GENERAL MULTIPLICATION RULE
If A and B represent two outcomes or events, then:
P(A and B) = P(A|B) ×P(B)
It is useful to think of A as the outcome of interest and B as the condition.

---

条件事件：A|B
假设:
前驱事件B与后继事件A, 是同一随机现象P0上的两个事件：
初始 样本空间Omega 也称为 无条件样本空间Omega。
事件A也可记为A|Omega, 其概率可记为P(A)或P(A|Omega)
事件B也可记为B|Omega, 其概率可记为P(B)或P(B|Omega)

条件事件 A|B 可看做是新随机现象P1(样本空间变为B)上的AB两事件同时发生。
“万事皆条件事件”: 将无条件事件X看做条件为样本空间Omega的条件事件X|Omega。
初始 样本空间 称为 无条件样本空间，平时所述事件的概率是 无条件概率。
条件概率：前驱事件X发生作为条件，则其后继事件是Y|X(而不是Y)：

• **Y|X 的样本空间不是原来的无条件样本空间Omega, 而是新的条件样本空间 集合X **；
• Y|X 这个条件事件(集合)包含的样本点(元素)，是XY交集事件包含的样本点(元素)。
  用Venn Diagram理解Conditional Probability条件概率：
  
  借助集合考虑P(A|B)和P(AB)的话，
  其实两者本质上描述的都是图中的A与B的交集C，只不过相对于的样本空间不同。
  P(AB)是全集作为样本空间，描述C(A与B的交集)在全集的比重；
  P(A|B)是子集B作为样本空间，描述C(A与B的交集)在子集B的比重。

条件概率公式：
P(A|B) = P(AB)/P(B), P(B|A) = P(AB)/P(A)
P(B)P(A|B) = P(A)P(B|A) = P(AB)
如果 P(A) > P(B), 则 P(A|B) > P(B|A)
事件A与事件B 是同一个随机现象的样本空间(集合)上的两个子集。

实例：设随机现象为“投骰子计点数”, 则样本空间O={1, 2, 3, 4, 5, 6}
设事件A={点数是1或2}={1,2}， 事件B={点数小于5}={1,2,3,4}
则:
事件AB={1,2}, Omega=O
条件事件 A|B=“样本空间是B, 且点数是1或2”={1,2}, Omega=B
条件事件 B|A=“样本空间是A, 且点数小于5”={1,2}, Omega=A
P(A)=2/6=0.33…, P(B)=4/6=0.66…, P(AB)=2/6=0.33…
P(A|B)=P(AB)/P(B)=(2/6)/(4/6)=0.5
P(B|A)=P(AB)/P(A)=(2/6)/(2/6)=1

两个事件的条件独立性与相互独立性：
P(A|B) = P(A): 事件A的发生独立于事件B的发生，事件B对事件A无影响；
P(B|A) = P(B): 事件B的发生独立于事件A的发生，事件A对事件B无影响；
P(AB) = P(A)•P(B), 事件A与事件B，相互独立，互不影响对方。