概率论

概率论

概率空间

概述

首先我们考虑描述一个随机现象，一般来讲我们关心

• 样本空间 \(\Omega\)，描述一个随机现象所有可能的结果。
• 事件域 \(\mathcal{F}\)，所有我们关心的事件的集合。
• 概率 \(P\)，描述每一个事件发生的可能性大小。

样本空间 \(\Omega\)

• 样本点：一个随机现象可能发生的不能再细分的结果。
• 样本空间：\(\omega\in\Omega\)，其中 \(\omega\) 是一个样本点。

事件域 \(\mathcal{F}\)

• 随机事件：一个事件是 \(\Omega\) 的子集，一般用大写字母 \(A,B,C\) 表示。
• 发生随机事件：一个随机事件 \(A\) 发生了当且仅当满足 \(\omega\in A\)，其中 \(\omega\) 是一个随机现象的结果。
• 事件域 \(\mathcal{F}\)：\(\mathcal{F}\subseteq 2^{\Omega}\)，但 \(\mathcal{F}=2^{\Omega}\) 是不一定的
  • 一般来讲我们希望事件域满足：
  1. \(\varnothing \in \mathcal{F}\)
  2. 若 \(A \in \mathcal{F}\)，则补事件 \(\bar{A} \in \mathcal{F}\)
  3. 若有一堆事件 \(A_n \in \mathcal{F}\), \(n = 1, 2, 3\dots\)，则 \(\bigcup A_n \in \mathcal{F}\)。
• 运算：
  • 基本与集合相同
  • \(A-B=\complement_{A}B\)
  • \(A+B=A\bigcup B\)

概率 \(P\)

公里化定义

• 概率函数 \(P\) 是一个从事件域 \(\mathcal{F}\) 到闭区间 \([0,1]\) 的映射
• 规范性：\(P(\Omega)=1\)
• 可加可数性：若一堆事件的 \(A_1,A_2,\cdots,A_n\) 不交，则 \(P(\bigcup A_i)=\sum P(A_i)\)

性质

• 单调性：若事件 \(A,B\) 满足 \(A\subseteq B\) 有 \(P(A)\le P(B)\)
• 容斥原理：\(P(A+B)=P(A)+P(B)-P(AB)\)

概率空间

• 我们将三元组 \((\Omega, \mathcal{F}, P)\) 称为一个概率空间

条件概率

• 事件 \(B\) 在事件 \(A\) 发生的情况下发生的概率，称为条件概率，记作 \(P(B|A)\)
• 定义为：\(P(B|A)=\frac{P(AB)}{P(A)}\)
• 概率乘法公式：\(P(AB)=P(A)P(B|A)\)
• 全概率公式：若 \(\bigcup A_i=\Omega,\phi=A_i\bigcap A_j(i\not ={j})\) 有 \(P(B)=\sum P(A_i)P(B|A_i)\)

Bayes 公式

• \(P(A_i|B)=\frac{P(B|A_i)P(A_i)}{P(B)}=\frac{P(B|A_i)P(A_i)}{\sum P(A_i)P(B|A_i)}\)

事件的独立性

• 若 \(P(A)\) 的改变，不会使 \(P(B)\) 改变，我们称事件 \(A\)，\(B\) 独立。
• 两个事件独立满足 \(P(AB)=P(A)P(B)\)
• 多个事件两两互相独立 不等价于 多个事件独立

随机变量

• 随机变量：给定概率空间 \((\Omega,\mathcal{F},P)\)，定义在 \(\Omega\) 上的函数 \(X:\Omega\to \R\) 若满足 \(\forall t,\{\omega|\omega\in\Omega,X(\omega)\le t\}\in \mathcal{F}\) 则称 \(X\) 为随机变量

示性函数

• 示性函数：\(I_A(\omega)= \begin{cases} 0&\omega\notin A\\ 1&\omega\in A\\ \end{cases}\) 称 \(I_A\) 是 \(A\) 的示性函数

分布函数

• 分布函数：\(F(x)=P(X\le x)\)，\(F\) 为随机变量 \(X\) 的分布函数，记作 \(X\sim F(x)\)

随机变量独立

• 若 随机变量 \(X,Y\) 满足 \(P(X\le x,Y\le y)=P(X\le x)P(Y\le y)\) 则随机变量 \(X,Y\) 独立，即 \(X\) 的取值不会影响 \(Y\) 的取值的概率

期望

离散性随机变量

• 设离散随机变量 \(X\) 的概率分布为 \(p_i=P\{X=x_i\}\)
• 期望：若和式 \(\sum x_iP(X=x_i)\) 绝对收敛，则称其值为 \(X\) 的期望，记作 \(E(X)\)

期望的线性性

• \(E(a\cdot X+b)=a\cdot E(X)+b\)
• \(E(X+Y)=E(X)+E(Y)\)

随机变量乘积的期望

• 若随机变量 \(X,Y\) 独立，有 \(E(XY)=E(X)E(Y)\)，但独立性并非必要条件。

概率期望转化

• \(E(I_A)=P(A)\)

条件期望

• \(E(X|Y=y_i)\) 意为概率在 \(P(X=x_i|Y=y_i)\) 情况下的期望

全期望公式

• \(E(E(X|Y))=E(X)\)
• \(E(X|Y)\) 一般看作随机变量 \(Y\) 的函数