【概率论】随机变量

随机变量

定义

一般地，随机变量是从 \(\Omega\)​（样本空间）到实数域上的函数。

累积分布函数

\(F(x) = P(X\leq x),x\in(-∞,∞)\)

离散随机变量

是只取有限值或至多可列无限值的随机变量。

一般地，能与整数集形成一一对应的集合就是可列无限集。

伯努利随机变量

频率函数为：

\[p(1) = p\\ p(0) = 1-p\\ p(x) = 0(x\neq0,1) \]

二项分布

假设进行 \(n\) 次独立实验，每次实验成功的概率为 \(p\)，失败的概率为 \(1-p\)，那么成功的次数 \(X\) 参数为 \(n,p\) 的二项随机变量。

\(p(k) = C_n^k p^k(1-p)^{n-k}\)

泊松分布

泊松分布多出现在当 \(X\) 表示在一定的时间或空间内出现的事件个数这种场合。

当 \(n\) 较大，\(p\) 较小时，泊松频率函数可以用来近似二项概率。

参数为 \(\lambda\) 的泊松频率函数为：

\(p(k) = \frac{\lambda ^ k}{k!}e^{-\lambda}\)​

推导

考察时间段 \([0, 1)\) 事件 \(A\) 发生的次数 \(X\)。

我们将时间段均匀划分为 \(n\) 段，并假定对于每个时间段，事件 \(A\) 恰好发生一次的概率与 \(1/n\) 成正比，设 \(p = \lambda/n\)。

因为 \(p\) 是很小的，所以我们可以将长度为 \(1/n\) 的时间段发生事件 \(A\) 次数大于 \(1\) 的概率看作是 \(0\)。

那么 \(X\)​​​ 显然是服从参数为 \((n, p)\)​​​ 的二项分布的（记为 \(X\sim B(n, p)\)​​​​​），因此有

\(p(k) = C_n^k (\frac{\lambda}{n})^k(1-\frac{\lambda}{n})^{n-k}\)

当 \(n\to ∞\) 时，

\(\frac{C_n^k}{n^k} = \frac{1}{k!} \\ (1-\frac{\lambda}{n})^{n-k} = e^{-\lambda}\)

故 \(p(k) = \frac{\lambda ^ k}{k!}e^{-\lambda}\)​。

连续随机变量

密度函数

对于连续随机变量，频率函数被密度函数 \(f(x)\)​ 取代，密度函数具有性质：

\(f(x) \geq 0 \\ \int_{-∞}^∞ f(x)dx = 1\)​

如果 \(X\) 是具有密度函数 \(f\) 的随机变量，那么它落在 \((a, b)\) 的概率为：

\(P(a<x<b) = \int_a^bf(x)dx\)

均匀密度

一般地，区间 \([a, b]\) 的均匀密度是：

\[f(x) = \begin{cases} \frac{1}{a-b} & x\in [a, b]\\ 0 & 其它 \end{cases} \]

指数密度

指数分布常用来刻画生命周期或等待时间。

密度函数为：

\[f(x) = \begin{cases} \lambda e^{-\lambda x} & x\geq 0\\ 0 & x<0 \end{cases} \]

分布函数为：

\[F(x) = \begin{cases} 1-e^{-\lambda x} & x\geq 0\\ 0 & x<0 \end{cases} \]

推导

假定事件 \(A\) 是无记忆性的，以无记忆性的元件寿命为例，这意味着从 \(0\) 时刻开始至少存活到到 \(t\)​ 时刻的概率等于 \(s\) 时刻开始至少存活至 \(s+t\) 时刻的概率是相等的。

有了这个假定，我们从 \(0\) 时刻开始考察，假设事件 \(A\) 未发生，时刻 \(\Delta T\) 发生的概率为 \(p = \lambda \Delta T\)。

记事件 \(A\) 在时刻 \(x\) 发生的概率密度为 \(f(x)\)，那么事件 \(A\) 在时刻 \(x\) 发生（之前不发生）的概率为：

\(f(x)\Delta T = (1-p)^{x/\Delta T -1}p\)

因此 \(f(x) = \lim_{\Delta T\to 0}(1-\lambda\Delta T)^{x/\Delta T-1}\lambda = \lambda e^{-\lambda x}\)

正态分布

\(f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},~x\in(-\infty, +\infty),\mu \in(-\infty,+\infty),~\sigma\in(0,+\infty)\)

\(\mu\) 称为均值，\(\sigma\)​ 称为标准差。​

推导很复杂的样子 qwq，待补。

随机变量的函数

\(X\) 为具有密度为 \(f_X(x)\) 的随机变量，随机变量 \(Y=g(X)\)（其中 \(g\) 可微并在区间 \(I\) 上单调），那么 \(f_Y(y) = f_X(g^{-1}(y))|\frac{dg^{-1}(y)}{dy}|\)

推导

不妨设 \(g\) 单调递增。

\(F_Y(y) = P(Y\leq y) = P(g(X)\leq y) = P(X\leq g^{-1}(y)) = F_X(g^{-1}(y))\)，对 \(y\) 求导即得：

\(f_Y(y) = f_X(g^{-1}(y)) \frac{dg^{-1}(y)}{dy}\)

\(g\) 单调递减的情况完全类似，有 \(f_Y(y) = -f_X(g^{-1}(y)) \frac{dg^{-1}(y)}{dy}\)

故我们统一写成 \(f_Y(y) = f_X(g^{-1}(y))|\frac{dg^{-1}(y)}{dy}|\)。