随机变量与分布函数与密度函数

随机变量与分布函数

引言

As we all know，一个随机事件，总归有其发生的概率。

比如说，公平骰子的每一面向上的概率是 \(\frac16\)，公平硬币正面向上的概率是 \(\frac12\)。

不过，概率统计嘛，总归是要统计的。对于随机变量，我们不仅关心某一个结果，还关心它落在某个范围内的概率。

对于具有概率密度函数的连续型随机变量，\(P(X=x)=0\)，所以我们更常研究区间概率。最简单的分组方式，就是按照实数轴上的区间划分。例如：

\[P(a<X\le b)=P(X\le b)-P(X\le a). \]

多年的差分经验告诉我们：只要弄清楚 \(P(X\le x)\)，很多区间概率就迎刃而解了。于是，我们引入分布函数。

随机变量与分布函数的定义

严格地说，随机变量 \(X\) 是从样本空间 \(\Omega\) 到实数集 \(\mathbb R\) 的可测映射：

\[X:\Omega\to\mathbb R. \]

样本空间是所有基本结果组成的集合，而 \(X\) 将每个结果转化为一个数值。例如抛两次硬币，样本空间有四种结果，但「正面出现次数」这个随机变量只取 \(0,1,2\)。

对任意实值随机变量 \(X\)，定义

\[\boxed{F_X(x)=P(X\le x),\qquad x\in\mathbb R.} \]

称 \(F_X\) 为 \(X\) 的累积分布函数（CDF）。注意：这个定义不要求 \(X\) 是连续型。

分布函数的基本性质

1. 单调不减：若 \(a<b\)，则事件 \(\{X\le a\}\subseteq\{X\le b\}\)，所以 \(F(a)\le F(b)\)。

2. 两端极限：\(\lim_{x\to-\infty}F(x)=0\)，\(\lim_{x\to+\infty}F(x)=1\)。

3. 右连续：\(\lim_{h\to0^+}F(x+h)=F(x)\)。

4. 跳跃大小等于单点概率：

   \[\boxed{P(X=x)=F(x)-F(x^-),\qquad F(x^-)=\lim_{t\uparrow x}F(t).} \]

事实上，一个实函数是某个实值随机变量的 CDF，当且仅当它满足前面三条性质（包含两端极限条件）。

区间端点怎么处理？

记 \(F(a^-)=\lim_{t\uparrow a}F(t)\)，则

\[\begin{aligned} P(a<X\le b)&=F(b)-F(a),\\ P(a\le X\le b)&=F(b)-F(a^-),\\ P(a<X<b)&=F(b^-)-F(a),\\ P(a\le X<b)&=F(b^-)-F(a^-). \end{aligned}\]

对于有密度的连续型分布，单点概率为零，区间端点的开闭不影响结果；对于离散型或混合型分布，端点可不能随便忽略。

概率质量函数与概率密度函数

真是一对苦命鸳鸯啊

两者都是描述概率分布的工具，但质量是概率，密度不是概率。

概率质量函数（PMF）

对于离散型随机变量，定义

\[p_X(x)=P(X=x),\qquad p_X(x)\ge0,\quad\sum_xp_X(x)=1. \]

它的 CDF 为

\[\boxed{F_X(x)=\sum_{t\le x}p_X(t).} \]

所以离散型分布的 CDF 通常是阶梯状的。

概率密度函数（PDF）

如果存在非负可积函数 \(f_X\)，满足对所有实数 \(x\)，

\[\boxed{F_X(x)=\int_{-\infty}^{x}f_X(t)\,dt,} \]

那么称 \(f_X\) 为概率密度函数，且

\[f_X(x)\ge0,\qquad\int_{-\infty}^{+\infty}f_X(x)\,dx=1. \]

区间概率通过面积计算：

\[\boxed{P(a<X\le b)=\int_a^bf_X(t)\,dt.} \]

在 \(F\) 可导且导数与密度对应的位置，\(f_X(x)=F_X'(x)\)；一般而言，对有密度的分布，该关系几乎处处成立。密度在单个点的取值可以修改而不影响概率。

小心：\(f_X(2)=0.8\) 不是 \(P(X=2)=0.8\)。密度甚至可能大于 \(1\)，只要总面积为 \(1\) 就没有问题。

还有一个进阶提醒：CDF 连续不一定意味着存在 PDF，例如 Cantor 分布；随机变量也可能同时具有离散和连续成分。因此「离散/有密度的连续型」是常见的两大类，但不是全部可能。

离散型分布与常见模型

以下用 \(p_X(k)\) 表示 PMF。若不在注明的取值范围内，概率均为零。

伯努利分布

一次成功/失败试验：\(X\sim\mathrm{Bernoulli}(p)\)，\(0\le p\le1\)。

\[p_X(k)=p^k(1-p)^{1-k},\quad k=0,1. \]

\[E[X]=p,\qquad\operatorname{Var}(X)=p(1-p). \]

二项分布

\(n\) 次独立、成功概率相同的伯努利试验中，成功次数 \(X\sim B(n,p)\)：

\[p_X(k)=\binom nkp^k(1-p)^{n-k},\quad k=0,\ldots,n. \]

\[E[X]=np,\qquad\operatorname{Var}(X)=np(1-p). \]

几何分布

令 \(X\) 表示第一次成功发生在第几次试验，\(X\sim G(p)\)，\(0<p\le1\)，\(q=1-p\)：

\[p_X(k)=q^{k-1}p,\quad k=1,2,\ldots \]

\[\boxed{F_X(x)=\begin{cases}0,&x<1,\\1-q^{\lfloor x\rfloor},&x\ge1.\end{cases}} \]

\[E[X]=\frac1p,\qquad\operatorname{Var}(X)=\frac{1-p}{p^2}. \]

注意另有「首次成功前失败次数」的定义，取值从 \(0\) 开始，公式会相应改变。几何分布具有无记忆性：\(P(X>s+t\mid X>s)=P(X>t)\)，其中 \(s,t\) 为非负整数。

超几何分布

总体 \(N\) 个对象，其中 \(m\) 个属于目标类别；不放回抽取 \(n\) 个，目标类别的个数 \(X\sim H(N,m,n)\)：

\[p_X(k)=\frac{\binom mk\binom{N-m}{n-k}}{\binom Nn},\quad \max(0,n-(N-m))\le k\le\min(m,n). \]

其中 \(N,m,n\) 为整数，\(0\le m,n\le N\)，\(N\ge1\)。

\[E[X]=n\frac mN,\qquad\operatorname{Var}(X)=n\frac mN\left(1-\frac mN\right)\frac{N-n}{N-1}\quad(N>1). \]

与二项分布的关键区别：是否放回、试验是否独立。

泊松分布

\(X\sim\mathrm{Poisson}(\lambda)\)，\(\lambda>0\)：

\[p_X(k)=e^{-\lambda}\frac{\lambda^k}{k!},\quad k=0,1,2,\ldots \]

\[E[X]=\lambda,\qquad\operatorname{Var}(X)=\lambda. \]

当 \(n\) 大、\(p\) 小、\(np\approx\lambda\) 时，\(B(n,p)\) 可用 \(\mathrm{Poisson}(\lambda)\) 近似。

连续型分布与常见模型

以下统一用 \(f_X(x)\) 表示概率密度函数，未特别说明的区间外密度为 \(0\)。

均匀分布

\(X\sim U(a,b)\)，\(a<b\)：

\[f_X(x)=\begin{cases}\dfrac1{b-a},&a<x<b,\\0,&\text{其他}.\end{cases} \]

\[F_X(x)=\begin{cases}0,&x\le a,\\\dfrac{x-a}{b-a},&a<x<b,\\1,&x\ge b.\end{cases} \]

\[E[X]=\frac{a+b}{2},\qquad\operatorname{Var}(X)=\frac{(b-a)^2}{12}. \]

正态分布

\(X\sim N(\mu,\sigma^2)\)，\(\mu\in\mathbb R\)，\(\sigma>0\)：

\[\boxed{f_X(x)=\frac1{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right),\quad x\in\mathbb R.} \]

\[E[X]=\mu,\qquad\operatorname{Var}(X)=\sigma^2. \]

标准化：\(Z=(X-\mu)/\sigma\sim N(0,1)\)。记标准正态 CDF 为 \(\Phi\)，则

\[F_X(x)=\Phi\left(\frac{x-\mu}{\sigma}\right). \]

一般不使用初等函数直接表示其积分。

指数分布

\(X\sim\mathrm{Exp}(\lambda)\)，\(\lambda>0\)：

\[f_X(x)=\begin{cases}\lambda e^{-\lambda x},&x\ge0,\\0,&x<0.\end{cases} \]

\[F_X(x)=\begin{cases}0,&x<0,\\1-e^{-\lambda x},&x\ge0.\end{cases} \]

\[E[X]=\frac1\lambda,\qquad\operatorname{Var}(X)=\frac1{\lambda^2}. \]

指数分布也具有无记忆性：\(P(X>s+t\mid X>s)=P(X>t)\)（\(s,t\ge0\)）。

Gamma 分布

通常情况下，我们使用这一套 \(X\sim\Gamma(\alpha,\beta)\)，\(\alpha,\beta>0\)：

\[f_X(x)=\begin{cases}\dfrac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\beta x},&x>0,\\0,&x<0.\end{cases} \]

在 \(x=0\) 处的密度值可任意指定而不影响分布（当 \(\alpha<1\) 时右侧密度趋于无穷大）。

\[E[X]=\frac\alpha\beta,\qquad\operatorname{Var}(X)=\frac\alpha{\beta^2}. \]

\[\Gamma(\alpha)=\int_0^\infty t^{\alpha-1}e^{-t}\,dt,\quad\Gamma(\alpha+1)=\alpha\Gamma(\alpha). \]

\[\Gamma(1)=1,\quad\Gamma(1/2)=\sqrt\pi,\quad\Gamma(n)=(n-1)!\ (n\in\mathbb Z_{>0}). \]

当 \(\alpha=1\) 时，\(\Gamma(1,\beta)=\mathrm{Exp}(\beta)\)。注意有些教材用 scale（尺度）参数 \(\theta=1/\beta\)，写法会不同。

三种函数之间的关系

对比	离散型（PMF）	有密度的连续型（PDF）
单点概率	\(P(X=x)=p_X(x)\)	\(P(X=x)=0\)
CDF	\(F(x)=\sum_{t\le x}p_X(t)\)	\(F(x)=\int_{-\infty}^xf_X(t)dt\)
区间概率	对区间内取值求和	对区间积分
由 CDF 反求	\(p_X(x)=F(x)-F(x^-)\)	\(f_X(x)=F'(x)\)（几乎处处）
直观图像	柱状质量、阶梯 CDF	密度曲线下面积、连续 CDF

做题 exp

读题：先确认随机变量到底是什么

先判断它表示「次数、个数」还是「时间、长度、测量值」；再看是否独立、是否放回、参数代表什么。仅凭「取整数」或「取实数」的直觉不能代替题设。

给了一个带未知常数的密度？先归一化

例如 \(f(x)=cx\)（\(0<x<2\)），其他位置为 \(0\)。因为总面积为 \(1\)，

\[1=\int_0^2cx\,dx=2c\quad\Rightarrow\quad\boxed{c=\tfrac12}. \]

接着求 CDF：

\[F(x)=\begin{cases}0,&x\le0,\\x^2/4,&0<x<2,\\1,&x\ge2.\end{cases} \]

例如 \(P(1<X\le2)=F(2)-F(1)=\boxed{3/4}\)。

分布函数是分段函数时

例如

\[F(x)=\begin{cases}0,&x<0,\\1/3,&0\le x<1,\\1,&x\ge1.\end{cases} \]

那么 \(P(X=0)=1/3\)，\(P(X=1)=2/3\)。这里不能直接用普通导数找出这两个点的概率，因为它们来自 CDF 的跳跃。

读题获得初始条件

• 固定次数、独立重复、数成功次数 → 二项分布。
• 等待首次成功的试验次数 → 几何分布。
• 不放回抽样、数目标数量 → 超几何分布。
• 固定时间/区域内的随机事件计数，在泊松过程假设下 → 泊松分布。
• 泊松过程中等待下一次事件 → 指数分布；等待第 \(r\) 次事件（正整数 \(r\)）→ Gamma 分布。