【数学】概率论与数理统计

【数学】概率论与数理统计

基本术语

样本空间

一次随机测试中所有可能出现的结果的集合，通常用 \(\Omega\) 表示。

如骰子的样本空间即是其点数结果的集合：\(\{1,2,3,4,5,6\}\)

随机事件

样本空间中的任意一个子集，通常用 \(A\) 表示（面积的推广）。

如以下都可以说是掷骰子实验中可能出现的事件：

• \(\{1\}\)：结果是 1
• \(\{1,2\}\)：结果是 1 或 2

随机变量

代表随机事件发生后最终得到的任意某个结果，通常用 \(X\) 表示。

例如掷骰子事件 \(\{1,2\}\) 中，其随机变量既可能是\(X=1\)也可能是\(X=2\)，由于随机变量的不确定性，本质上也可以将其视作一种函数。

概率

某一随机事件的发生可能性。其值为一个 0-1 的实数，或以等价的百分比表示。

\[P(A) \]

设有一个样本空间 \(\Omega\)，并将其中的任意子集称为事件 A，若满足以下条件，则称函数值 \(P(A)\) 为 \(\Omega\) 中事件 A 的概率：

1. 非负性：\(P(A)\geq 0\)
2. 规范性：\(P(\Omega)=1\)
3. 可数可加性：对于任意多个互斥的事件，有\(\sum_{i=1}^{\infin} P(A_i) = P(\bigcup_{i=1}^{\infin} A_i)\)

随机变量特征

一组测量指标，用于量化随机变量的性质。

期望

用于描述随机变量的平均可能结果，具体是指试验中每个可能结果乘以其结果概率后的总和。

\[E(X) = \sum_i x_i P(x_i) \]

• \(x_i\)：表示随机变量的一个具体结果

例如掷骰子事件的期望为：\(E(X) = 1 \cdot \frac{1}{6} + 2 \cdot \frac{1}{6} +3 \cdot \frac{1}{6} +4 \cdot \frac{1}{6} +5 \cdot \frac{1}{6} +6 \cdot \frac{1}{6} = 3.5\)

方差

用于描述一组随机变量结果之间的离散程度。记 \(Var(X)\)（国际）、\(D(X)\)（国内） 或 \(\sigma^2\)。

\[D(X)=\sum_{i=1}^{N}p_i(x_i-\mu)^2 \]

• \(N\)：这组随机变量的数量
• \(p_i\)：目标随机变量的获取概率
• \(\mu\)：这组随机变量的期望

标准差

标准化后的方差（近似归一化）。

\[\sigma=\sqrt{\sum_{i=1}^{N}p_i(x_i-\mu)^2} \]

平均差

\[平均差 =\frac{1}{n}\sum_{i=1}^{n}|x_i-m(X)| \]

• m：是对数据集中趋势的描述函数，可取平均数、中位数等。

概率相关函数

概率函数

用于求解指定随机变量概率的函数，一般记为\(fx(x)\)，具体分两类：

• 概率质量函数：作用于离散的随机变量，用于得出其各特定取值上概率的函数。
• 概率密度函数：针对连续随机变量版的“概率质量函数”，用于得出在微分层面上，每个随机变量在特定取值时的概率。

累积分布函数（概率分布函数）

对于给定范围内的随机变量的概率总和，可以看作是对概率密度函数的积分。

\[Fx(x) = P(X\leq x) \]

• \(X\leq x\)：表示随机变量的取值范围小于等于 x 的情况。

若要表示某一特定区间，可用如下方式：

\[P(a< X \leq b) = Fx(b) - Fx(a) \]

提示：以上定义中的 \(\leq\) 并非强制要求，这主要是为了兼容离散分布，因为相比连续分布，离散分布中的等于是很有意义的。

性质

• 有界性：
  • \(\lim_{x \to -\infin} Fx(x) = 0\)
  • \(\lim_{x \to +\infin} Fx(x) = 1\)
• 单调性：
  • 当 \(x_1 < x_2\) 时，\(Fx(x_1) \leq Fx(x_2)\)
• 右连续性：
  • \(\lim_{x \to x_0^+} Fx(x) = Fx(x_0)\)

概率分布形式

一些常见的随机变量分布形式。

0-1 分布（伯努利分布）

进行一次实验，结果只有成功 \((x=1)\) 和失败 \((x=0)\) 两种，成功概率为 p，求成功或失败的概率。

• \(\displaystyle fx(x) = p^x(1-p)^{1-x}\)
• \(\displaystyle E(X) = p\)
• \(\displaystyle D(X) = p(1-p)\)

推导过程

\[\begin{aligned} E(X) &= \sum_{i=0}^1 x_i fx(x) \\ &= p \end{aligned} \]

\[\begin{aligned} D(X) &= \sum_{i=0}^1(x_i-E(X))^2 fx(x_i)\\ &=(0-p)^2(1-p) + (1-p)^2p\\ &=p(p-p^2)+p(1-2p+p^2)\\ &=p(p-p^2+1-2p+p^2)\\ &=p(1-p) \end{aligned} \]

二项分布

进行多次实验，每次实验只有成功和失败两种结果，且每次实验成功的概率都为 p，求进行 n 次实验后成功 k 次的概率。

\[X \sim \operatorname{B} (n,p) \]

• \(\displaystyle fx(x)= \binom{n}{k} p^k (1-p)^{n-k}\)
• \(\displaystyle E(X)=np\)
• \(\displaystyle D(X)=np(1-p)\)

泊松分布

根据过往经验，某实验在一段时间内的成功期望为 \(\lambda\) 次，求在相同的时间内，实际发生 \(k\) 次的概率。

\[X\sim P(\lambda) \]

• \(\displaystyle fx(x) = \frac{\lambda^k}{k!}e^{-k}\)
• \(\displaystyle E(X) = \lambda\)
• \(\displaystyle D(X) = \lambda\)

正态分布（高斯分布）

生活中的大量事物都满足正态分布，因此常用于表示一些不明的随机变量。也因此其由使用者直接自行决定其随机变量特征：\(\mu\) 为期望，\(\sigma^2\) 为方差。

\[X \sim N(\mu,\sigma^2) \]

• \(\displaystyle fx(x)=\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\)
• \(\displaystyle E(X)=\mu\)
• \(\displaystyle D(X)=\sigma^2\)