实用指南：概率质量/密度函数、累计分布函数详解

1 随机变量是什么

随机变量$X$：本质是一个函数，把“试验结果”映射为数值。
但光有$X$还不够，我们要知道它的取值有多大概率出现。
于是引入 分布函数来描述随机变量的规律。

2 概率质量函数（Probability Mass Function, PMF）

定义

适用于离散随机变量：$p_X(x)=\mathbb{P}(X=x)$
表示随机变量$X$ 取值为 $x$ 的概率。

名字由来

Mass（质量）：概率在某些点上集中，就像一堆沙子放在离散的点上。
每个点都有一个“概率质量”，所有点的质量加起来 = 1。

性质

非负：$p_X(x)\ge 0$
归一化：${\sum }_x{p}_X(x)=1$

作用

完全描述一个离散随机变量的分布
计算概率：$\mathbb{P}(X\in A)={\sum }_{x\in A}{p}_X(x)$
计算期望：$\mathbb{E}[X]={\sum }_{x}x,p_X(x)$

3.概率密度函数（Probability Density Function，PDF）

定义

适用于连续随机变量：
$\mathbb{P}(a\le X\le b)={\int }_a^b{f}_X(x)dx$

名字由来

Density（密度）：概率像“涂抹在一条线上”，不是集中在某点。
$f(x)$概率密度就是不是概率，而，积分才是概率。（物理上$m=\rho v$）

性质

非负：$f_X(x)\ge 0$
归一化：${\int }_{-\infty }^{\infty }{f}_X(x),dx=1$

作用

完全描述一个连续随机变量的分布
区间概率：$\mathbb{P}(a\le X\le b)={\int }_a^{b}f(x),dx$
期望：$\mathbb{E}[X]={\int }_{-\infty }^{\infty }xf(x),dx$

4.累积分布函数（Cumulative Distribution Function,CDF）

定义

适用于所有随机变量（离散/连续/混合）：
$F_X(x)=(X\le x)$

名字由来

Cumulative（累积）：从 $-\infty$ 到 $x$，把所有概率加起来。
平滑曲线。就是离散时是台阶函数；连续时

性质

单调不减
边界条件：${\lim }_{x\to -\infty }F(x)=0,li{m}_{x\to \infty }F(x)=1$
离散：跳跃高度 = PMF
连续：导数 = PDF

作用

统一描述所有分布
概率计算：$\mathbb{P}(a<X\le b)=F(b)-F(a)$
采样：逆变换法，$U\sim \text{Uniform}(0,1)$，取 $X=F^{-1}(U)$

逆变换法：
$U\sim Uniform(0,1)$
正态分布的PDF$P(U\le u)=u$
令$X$等于对应分布的CDF的反函数$F^{-1}(U)$，则$X$即可服从该分布。
$P(X\le x)=P(F^{-1}(U)\le x)=P(U\le F(x))=F(x)$

5.三者关系总结

PMF：点上的概率大小（只适合离散）
PDF：点上的概率密度（积分才是概率，适合连续）
CDF：累计概率，适合所有随机变量
离散：$p(x)=\mathbb{P}(X=x),F(x)={\sum }_{t\le x}p(t)$
连续：$f(x)=\frac{d}{dx}F(x),F(x)={\int }_{-\infty }^{x}f(t)dt$