公理化的概率

[!WARNING]
阅读本篇博客需要您了解一些分析学知识。

本篇博客在CC BY-SA许可证下发布

公理化的概率论是建立在可测空间和测度上的，要深刻地理解概率论（例如为什么连续随机变量中一个确定点的概率是 0），就不能不了解公理化的概率定义。

基本概念的定义

样本空间

样本空间 \(\Omega=\{\omega\}\)，样本空间包含且只包含特定随机现象所有可能出现的结果，并且每个结果都是样本空间中的元素。

随机变量

随机变量是一个映射 \(f:\Omega\rightarrow R\)，并且是一个单射。它将随机现象映射成数，用英文大写字母表示。

\(\sigma\)-代数

1. 定义

   \(\mathscr F\) 是样本空间的某些子集组成的集合，如果 \(\mathscr F\) 满足

   1. \(\varnothing\in\mathscr F\)
   2. 对补运算封闭，即 \(\forall A\in\mathscr F,\bar A\in\mathscr F\)
   3. 对于可列个并运算封闭，即 $$\forall A_i\in\mathscr F,\bigcup_{i=1}^\infty A_i\in\mathscr F$$

   则称 \(\mathscr F\) 为一个 \(\sigma\)-代数，或 \(\sigma\)-域。

   \(\sigma\)-代数和代数学中的数域概念很像，不难证明全集一定包含于\(\sigma\)-代数中，并且\(\sigma\)-代数对可列交运算也是封闭的。于是\(\sigma\)-代数是逻辑完备的。

   称 \((\Omega,\mathscr F)\) 为可测空间，只有在可测空间上才能谈论概率。

2. 最小 \(\sigma\)-代数和生成的 \(\sigma\)-代数

   如果\(M\subset P(X)\)，定义

   \[ \Sigma=\{A|A\supset M,A\text{是}\sigma\text{-代数}\} \]

   那么

   \[\sigma(M)=\bigcap_{A\in \Sigma} A \]

   是包含\(M\)的最小\(\sigma\)-代数，称为由\(M\)生成的\(\sigma\)-代数

3. Borel 集

   给定一个样本空间（例如\(\mathbb R\)），由其中的一切开集所生成的\(\sigma\)-代数称为该样本空间上的 Borel 代数，Borel 代数中的元素称为样本空间上的 Borel 集。

   Borel 代数是一个\(\sigma\)-代数。

   Borel 集讨论了如何在不可列的样本空间上建立可测空间。

概率的公理化定义（Kolmogorov 公理）

如果给定样本空间\(\Omega\)和样本空间上的事件域\(\mathscr F\)，有定义在事件域上的函数\(P:\mathscr F\rightarrow\mathbb R\)满足：

1. 非负性 \(A\in\mathscr F,P(A)\geq0\)

2. 正则性 \(P(\Omega)=1\)

3. 可列可加性 如果\(A_1,A_2,\cdots,A_n,\cdots\)互不相容，那么

   \[P\left(\bigcup_{i=1}^\infty A_i\right)=\sum_{i=1}^\infty P(A_i) \]

   即互不相容的事件的可列并的函数值等于它们函数值的和。

那么称\(P(A)\)为\(A\)的概率，称三元组\((\Omega,\mathscr F,P)\)为概率空间。

由此我们可以正式地说，概率是建立在可测空间上的了。下面我们还要更进一步的说明，概率是事件在可测空间上的测度，概率空间是一个测度空间。

测度（Measure)

假设\(A\)为集合\(X\)上的代数，如果存在映射\(\mu:A\rightarrow\mathbb R\)满足：

1. \(\mu(\varnothing)=0\)
2. 对于\(A\)中两个不交的元素\(A_1,A_2\)，有\(\mu(A_1\cup A_2)=\mu(A_1)+\mu(A_2)\)
3. \(\mu(A)\geq0\)

就称\(\mu\)是代数\(A\)上的一个加性函数。

如果\(A\)是\(X\)上的\(\sigma\)-代数，并且定义在\(A\)上的加性函数\(\mu:A\rightarrow R\)满足：

1. \(\mu(\varnothing)=0\)

2. 对对于\(A\)中不交的可列个元素\(A_i\)，有

   \[\mu\left(\bigcup_{i=1}^\infty A_i\right)=\sum_{i=1}^\infty \mu(A_i) \]

就称\(\mu\)为\(\sigma\)-代数\(A\)上的一个非负测度，并称三元组\((X,A,\mu)\)为一个测度空间。

可以看出，在Kolmogorov公理定义的概率中，可列可加性和非负性分别对应了函数的非负性和可列可加性，对于第一条\(\mu(\varnothing)=0\)其实也是显然的，因为根据可列可加性，有

\[P(\Omega)=P(\Omega\cup\varnothing\cup\cdots\cup\varnothing)\\=P(\Omega)+P(\varnothing)+\cdots+P(\varnothing) \]

再根据非负性，可以得出\(P(\varnothing)=0\)

因此我们说，概率是事件在可测空间上的测度，概率空间是一个测度空间。

概率的性质

概率的性质主要有以下几个（不是全部）：

1. 有限可加性
2. 上连续性
3. 下连续性

Lebesgue测度和测度空间上的积分

更进一步，连续随机变量的概率是它在\(\mathbb R\)上的Lebesgue测度。

我不打算继续扩展Lebesgue测度和Lebesgue积分了，有兴趣的读者可以在
MathWorld,
香蕉空间,
Wikipedia上查看相应的定义和性质。

但是，我想要指出的是，求随机变量的矩时，从定义上我们使用的是勒贝格积分而不是黎曼积分，其中的区别是对于很多随机变量而言，前者是存在的，而后者是不存在的。

\[E(X)=\int_Xx\mathrm dF_X\\ E(\mathrm e^{jtX})=\int_X\mathrm e^{jtx}\mathrm dF_X \]

参考

茆诗松, 概率论与数理统计, 北京：高等教育出版社, 2019.

数学分析讲义 - 于品