概率与随机变量
设我们在一次随机试验中观察事件 A 的发生情况。我们将该试验重复 N 次,并用 NA 表示事件 A 发生的次数。此时,事件 A 的概率定义为:
\[\Pr\left(\mathcal{A}\right)=\frac{\mathcal{N}_{\mathcal{A}}}{\mathcal{N}},\quad\mathbb{N}\to\infty.
\]
需要强调的是,概率仅在与大量试验(N → ∞)相关联时才具有意义。
一次随机试验所有可能结果的集合称为样本空间,记作 S:S = {s₁,s₂,…}
若事件 A 与事件 B 中任一事件的发生均排除了另一事件的发生,则这两个事件互为互斥事件mutually exclusive。
事件 A + B(A 或 B)称为并集事件union event,表示事件 A 或事件 B 或两者同时发生。
事件 AB(A 与 B)是交集事件intersection event,表示 A 与 B 同时发生。
请注意,当事件 A 与事件 B 互斥时,则有AB = ∅, where ∅ is the empty set.
事件 Ac (not A) is the complement of A (补集). 此外有: A u Ac = ∅, 和A + Ac = S.
概率公理
-
对于 S 中的任意事件 A,有 0 ≤ Pr (A) ≤ 1
-
Pr (S) = 1,样本空间 \(S\)(包含所有可能结果)发生的总概率为 1,即必然会发生。
-
Pr(A + B) = Pr(A) + Pr(B) − Pr(AB),事件 \(A\) 或 \(B\) 发生的概率,等于两者概率之和减去它们同时发生的概率(避免重复计算)。图中 \(A+B\) 通常指并集(\(A \cup B\)),\(AB\) 指交集(\(A \cap B\))
如果事件 \(A\) 和 \(B\) 互斥(不可能同时发生),它们的交集为空集,同时发生的概率为 0。此时公理3就简化为了 \(\text{Pr}(A + B) = \text{Pr}(A) + \text{Pr}(B)\)。
样本空间的分解
\(S = \{A_1, A_2, ..., A_M\}\) be a sample space. Then \(\text{Pr}(S) = \text{Pr}(A_1) + \text{Pr}(A_2) + ... \text{Pr}(A_M) = 1\).
When the M events \(A_1, A_2, ..., A_M\) are equally likely to happen, \(\text{Pr}(A_1) = \text{Pr}(A_2) = ... = \text{Pr}(A_M) = \frac{1}{M}\).
当这 \(M\) 个事件发生的机会完全相等时(如掷均匀的骰子),每个事件发生的概率都是 \(\frac{1}{M}\)。这是古典概型的核心概念。
条件概率与统计独立性
在事件 A 已发生的条件下,事件 B 的条件概率为:
\[\mathrm{Pr}\left(\mathrm{B}|\mathrm{A}\right)=\frac{\mathrm{Pr}\left(\mathrm{AB}\right)}{\mathrm{Pr}\left(\mathrm{A}\right)},\quad(\mathrm{A})>0.
\]
若事件 A 与事件 B 互不依赖,则称这两个事件在统计学上相互独立。
\[\begin{aligned}\Pr\left(\mathrm{B}|\mathrm{A}\right)&=\Pr\left(\mathrm{B}\right)\quad\mathrm{and}\quad\Pr\left(\mathrm{A}|\mathrm{B}\right)=\Pr\left(\mathrm{A}\right)\\\Pr\left(\mathrm{A}\mathrm{B}\right)&=\Pr\left(\mathrm{A}\right)\Pr\left(\mathrm{B}\right).\end{aligned}
\]
独立代表事件A发生和事件B发生没有任何联系!!(互斥是代表AB只能发生一个,两者强相关)
贝叶斯定理:
\[\Pr\left(\mathrm{B}|\mathrm{A}\right)=\frac{\Pr\left(\mathrm{A}\mathrm{B}\right)}{\Pr\left(\mathrm{A}\right)}=\frac{\Pr\left(\mathrm{A}|\mathrm{B}\right)\Pr\left(\mathrm{B}\right)}{\Pr\left(\mathrm{A}\right)}.
\]
例子:
The resistance R of a resistor drawn randomly from a fare batch has five possible values, all in the range 40 − 60Ω. Table below gives the specific values and their probabilities
| R |
40 |
45 |
50 |
55 |
60 |
| Pr(R) |
0.1 |
0.2 |
0.4 |
0.2 |
0.1 |
A = {R ≤ 50Ω} and B = {45Ω ≤ R ≤ 55Ω}
Pr(A) = Pr(R ∈ {40, 45, 50})= Pr(R = 40) + Pr(R = 45) + Pr(R = 50) = 0.7
Pr(B) = Pr(R ∈ {45, 50, 55}) = 0.8.
Pr(AB) = Pr {R ∈ {45, 50}} = 0.6 ≠ Pr(A) ⋅ Pr(B)
所以A,B两者不相互独立!所有题目必须在没告知独立性的前提下,必须优先证明才能使用
A system consists of ten subsystems S1 , S2 , ..., S10 in cascade. If any one of the subsystems fails, the entire system fails. The probability of failure of any one of the subsystems is α.
\[input -> s1 -> s2 -> s3 -> s4 -> ....... -> s10 -> output
\]
What is the probability of failure of the system?
\[\Pr\left(\text{no failure in system}\right)=\Pr\left(\mathcal{A}_{1}^{\mathrm{c}}\right)\cdot\Pr\left(\mathcal{A}_{2}^{\mathrm{c}}\right)\cdot\cdotp\cdotp\cdotp\cdot\Pr\left(\mathcal{A}_{10}^{\mathrm{c}}\right)=\left(1-\alpha\right)^{10}
\]
\[\begin{aligned}\Pr\left(\text{system failure}\right)&=1-\Pr\left(\text{no failure in system}\right)\\&=1-\left(1-\alpha\right)^{10}\end{aligned}
\]
这里不能把每一种(2的10次方)的情况列举出来进行计算,因为你不知道两个事件之间是否存在联系
全概率公式(Law of Total Probability)
设事件 A₁,A₂ ,...,Aₙ 互斥(即 AᵢAⱼ = ∅,i ≠ j)且完备(即 A₁ ∪ A₂ ∪ … ∪ Aₙ = S)。设 B 为 S 中的任意事件,则有
\[\mathrm{Pr}\left(\mathrm{B}\right)=\sum_{\mathrm{i}=1}^\mathrm{N}\mathrm{Pr}\left(\mathrm{B},\mathrm{A}_\mathrm{i}\right)
\]
这个的意思是如果存在一个完整的样本空间,每一个事件A会将S样本空间分割成N块互不影响的部分,如果事件B发生,那么一定落在S样本空间的某一个Ai处,B与其他的An也互斥:
\[B = B\cap S = B\cap(A_1\cup A_2\cup\cdots\cup A_N) = (B\cap A_1)\cup(B\cap A_2)\cup\cdots\cup(B\cap A_N)
\]
由于 \(\Pr(B\cap A_i)=\Pr(B|A_i)\Pr(A_i)\),全概率公式常写成:
\[\Pr(B)=\sum_{i=1}^{N}\Pr(B|A_i)\Pr(A_i)
\]
示例:一个二进制通信系统的输入(记为随机变量 X)取两个值——0 或 1,其概率分别为 3/4 和 1/4。由于系统中噪声引起的误差,输出 Y 偶尔会与输入 X 不同。该通信系统的行为可通过条件概率来建模。
\[\Pr\left(Y=1|X=1\right)=\frac{3}{4},\Pr\left(Y=0|X=0\right)=\frac{7}{8}.
\]
Find
Pr(Y = 1) and Pr(Y = 0)
Pr(X = 1|Y = 1)
\[\begin{aligned}\Pr\left(\mathrm{Y}=1\right)&=\Pr\left(\mathrm{Y}=1,\mathrm{X}=0\right)+\Pr\left(\mathrm{Y}=1,\mathrm{X}=1\right)\\&=\Pr\left(\mathrm{Y}=1|\mathrm{X}=0\right)\Pr\left(\mathrm{X}=0\right)+\Pr\left(\mathrm{Y}=1|\mathrm{X}=1\right)\Pr\left(\mathrm{X}=1\right)\end{aligned}
\]
\[=\left(1-\frac{7}{8}\right)\left(\frac{3}{4}\right)+\left(\frac{3}{4}\right)\left(\frac{1}{4}\right)=\frac{9}{32}.
\]
\[\Pr\left(\mathrm{Y}=0\right)=1-\Pr\left(\mathrm{Y}=1\right)=\frac{23}{32}
\]
\[\Pr\left(\mathrm{X}=1|\mathrm{Y}=1\right)=\frac{\Pr\left(\mathrm{X}=1,\mathrm{Y}=1\right)}{\Pr\left(\mathrm{Y}=1\right)}=\frac{\Pr\left(\mathrm{Y}=1|\mathrm{X}=1\right)\Pr\left(\mathrm{X}=1\right)}{\Pr\left(\mathrm{Y}=1\right)}
\]
\[=\frac{\left(\frac{1}{4}\right)\left(\frac{3}{4}\right)}{\frac{9}{32}}=\frac{2}{3}
\]
其实就是因为y一共就只有2种情况,我们知道x为1的情况下,y为1/0的概率,也知道x为1的概率,就能够通过条件概率进行公式转换,得到所需要的概率;第二问是贝叶斯定理,(x,y均为1)的概率等于(x为1时y为1的概率)乘以(x为1的概率)
随机变量(Random Variables)与累积分布函数(CDF)
随机变量是一个规则,记作 X,它将样本空间 S 中的每一个点映射到一个实数
The cumulative distribution function 累积分布函数(CDF)
\(F_X(x) = \Pr(X \le x), \quad -\infty < x < \infty\)
CDF 回答了这样一个问题:“随机变量 X 的取值小于或等于某个具体值 x 的总概率是多少?”
- \(F_X(x)\) 是函数名(下标 X 表示属于随机变量 X)。
- \(\Pr(X \le x)\) 就是概率值,它把数轴上从 \(-\infty\) 到 \(x\) 的所有概率“累积”加起来。
CDF的性质:
\(0 \le F(x) \le 1\)
因为 \(F(x)\) 本身是一个概率(“\(X\le x\)”这件事发生的概率),而任何概率都在 \([0,1]\) 之间。
\(F(\infty)=\Pr(X<\infty)=1\)(严格写作 \(F(+\infty)=\lim_{x\to+\infty}\Pr(X\le x)=1\))
当 \(x\) 趋于正无穷时,“\(X\le +\infty\)”几乎必然成立(随机变量一定会取某个有限值),所以概率累积到全部 = 1
\(F(-\infty)=\Pr(X<-\infty)=0\)(严格写作 \(\lim_{x\to-\infty}\Pr(X\le x)=0\))
当 \(x\) 趋于负无穷时,没有任何取值会小于等于负无穷,所以是空事件,概率为 0。
\(\Pr(X>x)=1-\Pr(X\le x)=1-F(x)\)
互补事件(补事件)
\[\Pr(X\le a)+\Pr(a<X\le b)+\Pr(X>b)=1
\]
\[\Pr(a<X\le b)=\Pr(X\le b)-\Pr(X\le a)=F(b)-F(a)
\]
因为概率不可能是负数,所以:$$F(b)-F(a)\ge 0 \quad (\text{当 }b>a)$$
CDF 是单调不减函数——\(x\) 越大,累积的概率只会不变或增加,绝不会减少。
\[\Rightarrow F(x)\text{ is a non-decreasing (monotonic increasing) function.}
\]
离散随机变量与概率质量函数(pmf)
如果样本空间 \(S\) 包含可数(countable)个样本点,那么映射后的随机变量 \(X\) 只能取有限个或可数无限个离散值(\(x_1, x_2, ...\)),这就叫离散随机变量。
概率质量函数(pmf)
定义:公式为 \(p(x_i) = \Pr(X = x_i)\)。
pmf 描述的是随机变量 \(X\) 恰好等于某个具体值 \(x_i\) 的概率。它把概率像“质量”一样集中在这些离散点上。
pmf 的核心性质
有界性:\(0 \le p(x_i) \le 1\)
因为每个 \(p(x_i)\) 都是具体事件的概率,自然在 0 到 1 之间。
归一性:\(\sum_i p(x_i) = 1\)
所有离散取值的概率加在一起,必然覆盖全部可能,总和为1。
与 CDF 的关系:\(F(x_k) = \Pr(X \le x_k) = \sum_{i=1}^k p(x_i)\)
对于离散变量,CDF 就是 pmf 的累加和。
CDF:\(\Pr(X \le x)\),连续或离散都适用,单调不减,边界为 0 和 1。
离散 pmf:\(\Pr(X = x_i)\),只针对离散点,CDF = pmf 的“累积”。
连续随机变量的概率密度函数 (pdf)
\[\mathrm{f}_{\chi}\left(x\right)=\frac{\mathrm{d}}{\mathrm{d}x}\mathrm{F}_{\chi}\left(x\right)
\]
概率密度函数的性质 Properties of the pdf:
与上述离散概率质量函数非常类似
非负函数:f (x) ≥ 0
归一性(总面积=1):\(\int_{-\infty}^{\infty}f(x)\,dx=1\)
整个实轴上密度曲线下的总面积等于 1,对应离散版的 \(\sum p(x_i)=1\)。
CDF 由 PDF 积分得到:\(F(x)=\Pr(X\le x)=\int_{-\infty}^{x}f_X(t)\,dt\)
区间概率:\(\Pr(a<X\le b)=\int_a^b f(x)\,dx\)
\(X\) 落在 \((a,b]\) 的概率 = 这段区间下密度曲线围成的面积。
此外,X在特定点处的概率为0,这个应该不需要解释了。
1&2.因为积分的区域一定为1,所以可以计算出c:
\[\int_{-1}^{\mathrm{c}}f_{\mathrm{X}}\left(x\right)\mathrm{d}x=1\Rightarrow\int_{-1}^{\mathrm{c}}\left(\frac{1}{3}x^{2}\right)\mathrm{d}x=\frac{1}{9}\mathrm{c}^{3}+\frac{1}{9}=1\Rightarrow\mathrm{c}=2
\]
\[\Pr\left(1<X\leqslant\frac{3}{2}\right)=\int_1^{\frac{3}{2}}\left(\frac{1}{3}x^2\right)\mathrm{d}x=\frac{19}{72}.
\]
3.单独取一个点的概率恒等于0:$$\Pr\left(X=\tfrac12\right)=\int_{1/2}^{1/2}f(x),dx=0$$
4.Support is \(-1 < x < 2\).
For \(x \le -1\): \(F_X(x)=0\)
For \(-1 < x < 2\):
\[F_X(x)=\int_{-1}^{x}\frac{1}{3}t^2\,dt = \frac{1}{9}(x^3 - (-1)^3)=\frac{x^3+1}{9}
\]
For \(x \ge 2\): \(F_X(x)=1\)
\[F_X(x)=\begin{cases}0,&x\leq-1\\\frac{x^3+1}{9},&-1<x<2\\1,&x\geq2&\end{cases}
\]
累积分布函数 CDF:FX(a) = Pr(X ≤ a) 表示概率密度函数 fX(x) 在区间 (−∞,a) 上的曲线下面积。
由于函数 fX(x) 不连续,我们应根据点 a 的位置分段进行计算。

$$
\mathrm{when~0\leqslant a\leqslant2:~F_{\chi}(a)=\int_{0}^{a}\frac{1}{8}xdx=\frac{1}{16}a^{2}}
$$
\[\mathrm{when~2\leqslant a\leqslant4:~F_X(a)=(area~of~the~triangle)=\frac{1}{2}\times2\times\frac{1}{4}=\frac{1}{4}}
\]
\[\mathrm{when~4\leqslant a\leqslant7 {:}F_X(a)=\frac{1}{4}+\int_4^a\frac{1}{4}dx=\frac{1}{4}(a-3)}
\]
\[\mathcal{F}_{\chi}\left(x\right)=\begin{cases}0,&x<0\\\frac{1}{16}x^{2},&0\leqslant x<2\\\frac{1}{4},&2\leqslant x<4\\\frac{1}{4}\left(x-3\right),&4\leqslant x\leqslant7\\1,&x>7&&&\end{cases}
\]
随机变量的变换
设随机变量 X 的概率密度函数为 fX(x)
对于一个新的随机变量 Y(其取值依赖于 X),其概率密度函数 fY(y) 是什么?
步骤 1:使用 fX(x) 推导出累积分布函数 FY(y) = Pr(Y ≤ y)
步骤 2:概率密度函数 fY(y) = dy/dFY(y)
例子:
第一步:
\[\begin{aligned}&F_{y}(y)=\Pr(Y\leq y)=\Pr(aX+b\leq y)\\&=\Pr\left(X<\frac{y-b}{a}\right)=F_x\left(\frac{y-b}{a}\right)\end{aligned}
\]
第二步:
\[\begin{gathered}\mathrm{f_{Y}}\left(y\right)=\frac{\mathrm{d}}{\mathrm{dy}}\mathrm{F_{Y}}\left(y\right)\\\mathrm{f_{Y}}\left(\mathrm{y}\right)=\frac{\mathrm{d}}{\mathrm{d}\mathrm{y}}\mathrm{F_{Y}}\left(\mathrm{y}\right)=\frac{\mathrm{d}}{\mathrm{d}\mathrm{y}}\mathrm{F_{\chi}}\left(\frac{\mathrm{y}-\mathrm{b}}{\mathrm{a}}\right)\\=\frac{1}{a}\mathrm{f}_X\left(\frac{\mathrm{y}-\mathrm{b}}{\mathrm{a}}\right)\end{gathered}
\]
代回原式:
\[\left.\mathrm{f}_{Y}\left(y\right)=\left\{\begin{array}{ll}\frac{1}{a}e^{-\left(\frac{y-b}{a}\right)},&y\geqslant b\\0,&\text{otherwise.}\end{array}\right.\right.
\]
Z=x^3+5同理:
\[\begin{aligned}\mathrm{F}_{\mathrm{Z}}\left(z\right)&=\Pr\left(\begin{array}{c}\mathbb{Z}\end{array}\leqslant z\right)=\Pr\left(\begin{array}{c}x^3+5\end{array}\leqslant z\right)\\&=\Pr\left(x\leqslant\left(z-5\right)^{1/3}\right)=\mathrm{F}_{\chi}\left(\left(z-5\right)^{1/3}\right)\end{aligned}
\]
\[\left.\begin{aligned}&\mathrm{f}_{\mathrm{Z}}\left(z\right)=\frac{\mathrm{d}}{\mathrm{d}z}\mathrm{F}_{\mathrm{x}}\left(\left(z-5\right)^{1/3}\right)=\frac{1}{3\left(z-5\right)^{\frac{2}{3}}}\mathrm{f}_{\mathrm{x}}\left(\left(z-5\right)^{1/3}\right)\\&\mathrm{f}_{\mathrm{Z}}\left(z\right)=\left\{\begin{array}{ll}\frac{\exp\left(-\left(z-5\right)^{1/3}\right)}{3\left(z-5\right)^{\frac{2}{3}}}&\left(z-5\right)^{1/3}\geqslant0\Rightarrow z\geqslant5\\0,&\mathrm{else}.\end{array}\right.\end{aligned}\right.
\]
To find the pdf fZ (z), we find firstly the CDF FZ (z) = Pr(Z ≤ z).
Using the Law of Total Probability
\[\Pr(Z \le z, X = 0) = \Pr(Z \le z | X = 0) \Pr(X = 0) = \frac{1}{2} \Pr(Z \le z | X = 0)
\]
\[\Pr(Z \le z, X = 1) = \Pr(Z \le z | X = 1) \Pr(X = 1) = \frac{1}{2} \Pr(Z \le z | X = 1)
\]
\[\Pr(Z\leqslant z)=\Pr(Z\leqslant z,X=0)+\Pr(Z<z,X=1)
\]
\[\Pr(Z\leqslant z|X=0)=\Pr(0+Y\leqslant z)=\Pr(Y\leqslant z)=F_Y(z)
\]
\[\Pr(Z\leqslant z|X=1)=\Pr(X+Y\leqslant z|X=1)=\Pr(1+Y\leqslant z)=\Pr(Y\leqslant z-1)=F_Y(z-1)
\]
\[\begin{aligned}\mathrm{f}_{\mathrm{Z}}\left(z\right)&=\frac{\mathrm{d}}{\mathrm{d}z}\mathrm{F}_Z\left(z\right)=\frac{1}{2}\frac{\mathrm{d}}{\mathrm{d}z}\mathrm{F}_Y\left(z\right)+\frac{1}{2}\frac{\mathrm{d}}{\mathrm{d}z}\mathrm{F}_Y\left(z-1\right)\\&=\frac{1}{2}\mathrm{f}_\mathrm{Y}\left(z\right)+\frac{1}{2}\mathrm{f}_\mathrm{Y}\left(z-1\right)\\&=\frac{1}{2\sqrt{2\pi}}e^{-\frac{z^2}{2}}+\frac{1}{2\sqrt{2\pi}}e^{-\frac{(z-1)^2}{2}}=\frac{1}{2\sqrt{2\pi}}\left(e^{-\frac{z^2}{2}}+e^{-\frac{(z-1)^2}{2}}\right)\end{aligned}
\]
相当于这里有Z由变量x和变量y组成,但是x只有2个值,并且我们已知x的概率,就可以使用全概率公式将上述式子化简。


\[\Pr\{\mathbf{Z}\leqslant z\}=\Pr\{\cos X\leqslant z\}=\Pr\left\{-\pi<X\leqslant-\cos^{-1}z\right\}+\Pr\left\{\cos^{-1}z<X\leqslant\pi\right\}
\]
对于任意事件 \(\{a<X<b\}\),其概率为:
\[\Pr\{a<X<b\}=\int_a^b f_X(x)\,dx
\]
因为余弦在 \([-\pi,\pi]\) 上关于 0 对称,且在 \((-\cos^{-1}z,\cos^{-1}z)\) 内取值大于 \(z\)
\[\Pr\{\cos X>z\}=\Pr\{-\cos^{-1}z \le X \le \cos^{-1}z\}
\]
\[\int_{-\cos^{-1}z}^{\cos^{-1}z} f_X(x)\,dx
=\int_{-\cos^{-1}z}^{\cos^{-1}z}\frac{1}{2\pi}\,dx
\]
\[=\frac{1}{2\pi}\big[\cos^{-1}z-(-\cos^{-1}z)\big]
=\frac{2\cos^{-1}z}{2\pi}=\frac{\cos^{-1}z}{\pi}
\]
\[F_Z(z)=\Pr\{Z\le z\}=1-\Pr\{Z>z\}=1-\frac{\cos^{-1}z}{\pi}
\]
\[f_Z(z)=\frac{d}{dz}F_Z(z)=\frac{1}{\pi}\cdot\frac{1}{\sqrt{1-z^2}},\quad -1<z<1
\]
\[\text{注意:}\frac{d}{dz}\left(\cos^{-1}z\right)=-\frac{1}{\sqrt{1-z^2}},\quad-1<z<1
\]
联合分布 (Joint Distributions)
联合 CDF(累积分布函数):
\(F_{X,Y}(x,y) = \Pr(X \le x, Y \le y)\)
表示 \(X\) 小于等于 \(x\) 且 \(Y\) 小于等于 \(y\) 同时发生的概率。
联合 pdf(概率密度函数):
\(f_{X,Y}(x,y) = \frac{\partial^2 F_{X,Y}(x,y)}{\partial x \partial y}\)
联合密度是联合 CDF 的二阶混合偏导数。
归一化条件:
\(\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} f_{X,Y}(x,y) dxdy = 1\)
全空间上的二重积分必须为 1(总概率为 1)。
区域概率:
\(\Pr((x,y) \in A) = \iint_{(x,y)\in A} f_{X,Y}(x,y) dxdy\)
落在某个区域 \(A\) 的概率,就是在该区域上对联合密度求二重积分。
矩形区间概率:
\(\Pr(a < X \le b, c < Y \le d) = \int_c^d \int_a^b f_{X,Y}(x,y) dxdy\)
边缘密度(Marginal pdf):
\(f_X(x) = \int_{-\infty}^{\infty} f_{X,Y}(x,y) dy\)
\(f_Y(y) = \int_{-\infty}^{\infty} f_{X,Y}(x,y) dx\)
想求 \(X\) 单独的密度,就把联合密度对 \(y\) “积掉”(积分消元);求 \(Y\) 同理。这对应你前两轮单变量的边缘情况。
条件分布 (The Conditional Distributions)
给定事件 A 的条件分布(\(\Pr(A) \neq 0\))
条件 CDF:
\(F_{X|A}(x|A) = \Pr(X \le x|A) = \frac{\Pr(X \le x, A)}{\Pr(A)}\)
本质是条件概率公式 \(P(B|A) = P(AB)/P(A)\) 在分布函数上的应用。
条件 pdf:
\(f_{X|A}(x|A) = \frac{\partial}{\partial x}F_{X|A}(x|A) = \frac{1}{\Pr(A)}\frac{\partial}{\partial x}\Pr(X \le x, A)\)
条件密度是条件 CDF 对 \(x\) 求导。
给定随机变量 Y 的条件分布
条件 pdf:
\(f_{X|Y}(x|y) = \frac{f_{X,Y}(x,y)}{f_Y(y)}\)
形似“条件概率 = 联合 / 边缘”。表示在已知 \(Y=y\) 的条件下,\(X\) 的密度函数。
| 符号 |
全称 |
中文 |
含义 |
| \(\Pr(\cdot)\) 或 \(P(\cdot)\) |
Probability |
概率 |
某事件发生的可能性,取值 \([0,1]\) |
| \(f_X(x)\) |
probability density function |
概率密度函数 (PDF) |
连续变量的“密度”,积分得概率,\(\int f=1\) |
| \(F_X(x)\) |
cumulative distribution function |
累积分布函数 (CDF) |
\(F_X(x)=\Pr(X\le x)\),单调非减,\(F(-\infty)=0,F(\infty)=1\) |
我写了一个参数含义表,以防混乱🐶
例子: Let X be a random variable with PDF fX (x). Derive an expression for the conditional PDF of X given {a < X ≤ b}
\(F_X(X|a < X \leq b) = \Pr(X \leq x | a < X \leq b)\)
代入条件概率公式:
\(\Pr(X \leq x | a < X \leq b) = \dfrac{\Pr(X \leq x, a < X \leq b)}{\Pr(a < X \leq b)}\)
\[\begin{aligned}
\Pr(a<X\le b)&=\Pr(X\le b)-\Pr(X\le a)\\
&=F_X(b)-F_X(a)
\end{aligned}\]
\[\Pr\left(X\leqslant x,a<X\leqslant b\right)=\begin{cases}0,&x\leqslant a\\\Pr\left(a<X\leqslant x\right)=F_X\left(x\right)-F_X\left(a\right),&a<x\leqslant b\\\Pr\left(a<X\leqslant b\right)=F_X\left(b\right)-F_X\left(a\right),&x>b&\end{cases}
\]
\[\mathrm{F_X(X\leqslant x|a<X\leqslant b)}=\begin{cases}0,&\mathrm{x\leqslant a}\\\frac{\mathrm{F_X(x)-F_X(a)}}{\mathrm{F_X(b)-F_X(a)}},&\mathrm{a<x\leqslant b}\\1,&\mathrm{x>b}&&\end{cases}
\]
\[\begin{aligned}&f_X(X\leqslant x|a<X\leqslant b)=\frac{\partial}{\partial x}F_X(X\leqslant x|a<X\leqslant b)\\&=\begin{cases}0,&x\leqslant a\\\frac{f_X(x)}{F_X(b)-F_X(a)},&a<x\leqslant b\\0,&x>b&\end{cases}\end{aligned}
\]
统计独立性(Statistical Independence)
对任意连续二维变量:
\[f_{X,Y}(x,y)=f_{X|Y}(x|y)\,f_Y(y)
\]
("已知 Y=y 时 X 的条件密度" 乘以 "Y 的边缘密度")
对称地:
\[f_{X,Y}(x,y)=f_{Y|X}(y|x)\,f_X(x)
\]
这就是条件密度定义的直接变形:\(f_{X|Y}=\dfrac{f_{X,Y}}{f_Y}\Rightarrow f_{X,Y}=f_{X|Y}f_Y\)。
正式定义(独立 ⟺ 联合=边缘乘积)
\[f_{X,Y}(x,y)=f_X(x)\times f_Y(y)\quad \text{对所有 }(x,y)
\]
“独立” = 联合信息没有耦合,知道一个变量对另一个毫无帮助。密度可以“拆开相乘”。
假设你要描述一群人的“身高(X)”和“体重(Y)”的联合分布:
- \(f_Y(y)\):全人群中体重为 y 的密度。
- \(f_{X|Y}(x|y)\):在“体重为 y”的这群人里,身高为 x 的密度。
- 两者相乘 \(f_{X,Y}\):既满足“体重为 y”又满足“身高为 x”的联合密度。
error ≡ receive Y > 0 when X = −1 OR receive Y < 0 when X = +1
\(\Pr(\text{error})=\Pr(Y>0,X=-1)+\Pr(Y<0,X=+1)\)
\(\Pr(Y>0,X=-1)=\Pr(Y>0|X=-1)\Pr(X=-1)\)
因为 \(Y=X+N\),代入 \(X=-1\):
\[\Pr(Y>0\mid X=-1)=\Pr(-1+N>0)=\Pr(N>1)
\]
噪声 \(N\sim U(-2,2)\),密度 \(1/4\):
\[\Pr(N>1)=\frac{2-1}{4}=\frac{1}{4}
\]
X为-1的概率为1/2:
\[\Pr(Y>0,X=-1)=\frac14\cdot\Pr(X=-1)=\frac14\cdot\frac12
\]
另外一半同理得:
\[\Pr(Y<0,X=+1)=\Pr(Y<0\mid X=+1)\,\Pr(X=+1)
\]
代入 \(X=+1\):
\[\Pr(Y<0\mid X=+1)=\Pr(+1+N<0)=\Pr(N<-1)
\]
\[\Pr(Y<0,X=+1)=\frac14\cdot\Pr(X=+1)=\frac14\cdot\frac12
\]
\[\begin{aligned}
\Pr(\text{error})&=\frac14\Pr(X=-1)+\frac14\Pr(X=+1)\\
&=\frac14\cdot\frac12+\frac14\cdot\frac12=\frac18+\frac18=\frac14
\end{aligned}\]
统计平均值
随机变量的期望值 (Expected value of a RV)
\[\mu_X=\mathbb{E}[X]=\sum_i x_i\,p(x_i)
\]
含义:把随机变量所有可能取值 \(x_i\),按概率 \(p(x_i)\) 加权平均。
\(\mu_X\)(或写作 \(\mu\))就是均值/数学期望。
例:掷公平骰子,\(E[X]=\frac{1+2+3+4+5+6}{6}=3.5\)。
随机变量函数 \(g(X)\) 的期望 (Average of function of RV)
\[\mathbb{E}[\,g(X)\,]=\sum_i g(x_i)\,p(x_i)
\]
含义:先对每个取值算 \(g(x_i)\),再按同样的概率加权求和。
不需要先求 \(g(X)\) 的分布,直接对原 \(X\) 的取值代入 \(g\) 即可(期望的 LOTUS 法则,Law of the Unconscious Statistician)。
离散型期望公式的连续型版本 :
连续随机变量的期望(均值):
\[\mu_X=\mathbb{E}[X]=\int_{-\infty}^{\infty} x\,f_X(x)\,dx
\]
\(f_X(x)\):随机变量 \(X\) 的概率密度函数(PDF)。
含义:把每个取值 \(x\) 乘以它的“密度权重”\(f_X(x)\),在整个实轴上积分。
类比离散:\(\sum x_i p(x_i) \to \int x f_X(x)dx\)。
连续随机变量函数 \(g(X)\) 的期望:
\[\mathbb{E}[\,g(X)\,]=\int_{-\infty}^{\infty} g(x)\,f_X(x)\,dx
\]
同样套 LOTUS 法则:把 \(g(x)\) 乘密度 \(f_X(x)\) 积分即可,无需先求 \(g(X)\) 的密度。
|
离散 RV |
连续 RV |
| 分布描述 |
\(p(x_i)\) (PMF) |
\(f_X(x)\) (PDF) |
| \(E[X]\) |
\(\sum_i x_i p(x_i)\) |
\(\int x f_X(x)dx\) |
| \(E[g(X)]\) |
\(\sum_i g(x_i)p(x_i)\) |
\(\int g(x)f_X(x)dx\) |
\[\text{第 }n\text{ 阶矩} = \mathbb{E}[X^n]
\]
就是随机变量 \(n\) 次幂的期望。
\(n=1\):一阶矩 \(= \mathbb{E}[X]\) = 均值 \(\mu\)。
例:\(X\) 取值 {1, 2, 3},概率均等 → 均值 = 2。
\(n=2\):二阶矩 \(= \mathbb{E}[X^2]\)(和方差、能量有关)。
例:{1,2,3} → 平方 {1,4,9} → 平均 = (1+4+9)/3 = 14/3 ≈ 4.67。
第 \(n\) 阶中心矩 (central moment)
中心矩是把 \(X\) 先减去均值 \(\mu\),再取 \(n\) 次方求平均:
\[\text{第 }n\text{ 阶中心矩} = \mathbb{E}[(X-\mathbb{E}X)^n]=\mathbb{E}[(X-\mu)^n]
\]
| 名称 |
公式 |
物理意义 |
| 1阶矩 |
\(E[X]\) |
均值 |
| 2阶矩 |
\(E[X^2]\) |
平方平均(能量) |
| 1阶中心矩 |
\(E[X-\mu]\) |
0 |
| 2阶中心矩 |
\(E[(X-\mu)^2]\) |
方差 |
| 3阶中心矩 |
\(E[(X-\mu)^3]\) |
偏度 |
| 4阶中心矩 |
\(E[(X-\mu)^4]\) |
峰度 |
定义指示函数
\[\mathcal{I}_{\mathcal{A}}=\begin{cases}1,&\mathrm{if~event~\mathcal{A}occurs,}\\0,&\mathrm{elsewhere}&&&\end{cases}
\]
\[\mathbb{E}\left[\mathrm{I}_{\mathrm{A}}\right]=0\times\Pr\left(\mathrm{I}_{\mathrm{A}}=0\right)+1\times\Pr\left(\mathrm{I}_{\mathrm{A}}=1\right)=\Pr\left(\mathrm{I}_{\mathrm{A}}=1\right)
\]
\[\mathbb{E}\left[\mathbb{I}_{\mathbb{A}}\right]=\Pr\left(\mathbb{A}\right)
\]

$$
find E[I]
$$
\[\text{pdf of I is not given. I}=\frac{1}{1+R}\text{ and R is uniform in }\begin{bmatrix}8,12\end{bmatrix}
\]
\[\mathrm{f}_{\mathrm{R}}\left(\mathrm{r}\right)=\begin{cases}&\frac{1}{4},&8\leqslant\mathrm{r}\leqslant12\\&0,&\mathrm{otherwise}.&&&\end{cases}
\]
\[期望对于连续型随机变量就是积分:\mathbb{E}[g(X)]=\int_{-\infty}^{\infty}g(x)f_X(x)dx
\]
\[\mathbb{E}\left[\mathrm{I}\right]=\mathbb{E}\left[\frac{1}{1+\mathrm{R}}\right]=\frac{1}{4}\int_8^{12}\frac{1}{1+\mathrm{r}}\mathrm{dr}=\frac{1}{4}\ln\frac{13}{9}.
\]
当 g(x,y) 是两个随机变量的函数时
\[\mathbb{E}\left[g\left(x,y\right)\right]=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g\left(x,y\right)\mathrm{~f_{xy}\left(x,y\right)dxdy}
\]
以下说法始终成立:
\[\mathbb{E}\left[X+Y\right]=\mathbb{E}\left[X\right]+\mathbb{E}\left[Y\right]
\]
\[大多数的情况下:\mathbb{E}\left[\mathrm{X}\times\mathrm{Y}\right]\neq\mathbb{E}\left[\mathrm{X}\right]\times\mathbb{E}\left[\mathrm{Y}\right]
\]
\[当 X 与 Y 相互独立时,则\mathbb{E}\left[\mathrm{X}\times\mathrm{Y}\right]=\mathbb{E}\left[\mathrm{X}\right]\times\mathbb{E}\left[\mathrm{Y}\right]
\]
条件期望
\[\mathbb{E}\left[\mathrm{X}|\mathrm{Y}=\mathrm{y}\right]=\int_{-\infty}^{\infty}\mathrm{xf}_{\mathrm{X}|\mathrm{Y}}\left(\mathrm{x}|\mathrm{y}\right)\mathrm{d}\mathrm{x}
\]
含义:在已知 Y=y的条件下,X的平均值。就是把原来的概率密度换成条件密度 fX∣Y(x∣y)再对 x积分。
E[X∣Y=y]是 y的函数
把条件里的 y当作自变量,这个期望值会随着 y的不同而改变。所以可以写成一个函数 g(y)=E[X∣Y=y]。
如果把 Y看作随机变量,那么 E[X∣Y]本身也是一个随机变量(是 Y的函数)。
全期望公式(迭代期望):
\[\mathbb{E}\left[\mathrm{X}\right]=\mathbb{E}\left[\mathbb{E}\left[\mathrm{X}|\mathrm{Y}\right]\right]
\]
表示先按条件 Y求条件期望,再对 Y取平均,就等于 X的无条件期望。
证明(直接用就行了)
连续情况下:
\[\begin{aligned}\mathbb{E}[\mathbb{E}[X|Y]]&=\int_{-\infty}^{\infty}\mathbb{E}[X|Y=y]f_{Y}(y)dy\\&=\int_{-\infty}^{\infty}\left(\int_{-\infty}^{\infty}xf_{X|Y}(x|y)dx\right)f_{Y}(y)dy\\&=\iint xf_{X|Y}(x|y)f_Y(y)dxdy\\&=\iint xf_{X,Y}(x,y)dxdy=\mathbb{E}[X]\end{aligned}
\]
\[\mathbb{E}[X]=\mathbb{E}[g(X,Y)],\quad g(x,y)=x
\]
\[\text{而对任意函数 }g\mathrm{,}\mathbb{E}[g(X,Y)]=\iint g(x,y)f_{X,Y}(x,y)\mathrm{~}dxdy\text{。这里 }g(x,y)=x\text{,所以就是}\iint xf_{X,Y}dxdy\mathrm{。}
\]
离散情况下:
\[\begin{aligned}\mathbb{E}\left[\mathbb{E}\left[X|Y=y\right]\right]&=\mathbb{E}\left[\sum_x\chi\Pr\left(X=\chi|Y=y\right)\right]\\&=\sum_{\mathrm{y}}\left[\sum_{\mathrm{x}}\chi\Pr\left(X=x|Y=y\right)\right]\Pr\left(Y=y\right)\\&=\sum_y\sum_x\chi\Pr\left(X=x,Y=y\right)\\&=\sum_x\chi\sum_y\Pr\left(X=x,Y=y\right)\\&=\sum_{\chi}\chi\Pr\left(X=\chi\right)=\mathbb{E}\left[X\right]\end{aligned}
\]
工厂 1 供应 60% 的灯泡 ⇒ Pr(Y = 1) = 0.6,Pr(Y = 2) = 0.4。此时,随机抽取的一个灯泡的预期使用寿命由以下公式给出:
\[\begin{aligned}\mathbb{E}[X]&=\mathbb{E}[X|Y=1]\Pr(Y=1)+\mathbb{E}[X|Y=2]\Pr(Y=2)\\&=5000\times0.6+4000\times0.4=4600\end{aligned}
\]
条件期望
指示变量(示性函数)IA:事件 A发生就取 1,否则取 0。
\[I_A=\begin{cases}1,&X\in A\\0,&X\notin A&\end{cases}
\]
\[\mathbb{E}[I_A]=1\cdot\Pr(I_A=1)+0\cdot\Pr(I_A=0)=\Pr(X\in A)
\]
同理,在已知 Y=y的条件下:
\[\mathbb{E}[I_A\mid Y=y]=\Pr(X\in A\mid Y=y)
\]
套用全期望公式(迭代期望定律):
\[\text{前面刚证过:}\mathbb{E}[\mathbb{E}[Z\mid Y]]=\mathbb{E}[Z]\mathrm{。}
\]
令 Z=IA,则:
\[\mathbb{E}[I_A]=\mathbb{E}\left[\mathbb{E}[I_A\mid Y]\right]
\]
\[\text{左边是}\Pr(X\in A)\text{,右边 }\mathbb{E}[I_A\mid Y=y]=\Pr(X\in A\mid Y=y)\text{,所以}\Pr(X\in A)=\mathbb{E}\left[\Pr(X\in A\mid Y)\right]
\]
核心思想非常巧妙:把概率看成某个指示变量的期望。
当 X的分布直接给不出来,但它依赖于另一个随机变量 Y 时:
- 先固定 Y=y,算出条件概率 Pr(X∈A∣Y=y)(此时 y是已知常数,好算);
- 再把这个结果当作 Y的函数,对 Y求期望(相当于对 y积分/求和乘 fY(y))。
这就是全概率公式的连续/通用写法,比直接算边缘概率简单得多。
\[例:Pr(X≤t)=∫Pr(X≤t∣Y=y)fY(y)dy。
\]
概率难直接算 → 转成“条件概率的期望”来算。
特征函数 The Characteristic Function
CHF 是概率密度函数(pdf)的傅里叶变换:
\[\Phi_{\chi}\left(\omega\right)=\mathbb{E}\left[e^{\mathrm{j}\omega\mathrm{x}}\right]=\int_{-\infty}^{\infty}e^{\mathrm{j}\omega\mathrm{x}}\mathrm{f}_{\chi}\left(x\right)\mathrm{d}x.
\]
矩生成函数(MGF)
\[M_{X}\left(s\right)=\mathbb{E}\left[e^{sx}\right]=\int_{0}^{\infty}e^{sx}f_{X}\left(x\right)dx.
\]
方差与标准差与协方差 Variance and Standard Deviation and Covariance
\[方差:\mathrm{σ}_x^2=\mathrm{Var}\left(\mathrm{X}\right)=\mathbb{E}\left[\left(\mathrm{X}-\mathbb{E}\left[\mathrm{X}\right]\right)^2\right]=\mathbb{E}\left[\mathrm{X}^2\right]-\left(\mathbb{E}\left[\mathrm{X}\right]\right)^2
\]
\[标准差:\sigma_x=\sqrt{\mathrm{Var}\left(X\right)}.
\]
任意两个随机变量 X 与 Y 的协方差:
\[\mathrm{Cov}\left(X,Y\right)=\mathbb{E}\left[\left(X-\mathbb{E}\left[X\right]\right)\left(Y-\mathbb{E}\left[Y\right]\right)\right]=\mathbb{E}\left[XY\right]-\mathbb{E}\left[X\right]\mathbb{E}\left[Y\right]
\]
\[\text{If X and Y are independent then}\Rightarrow\mathrm{E}\left[XY\right]=\mathbb{E}\left[X\right]\mathbb{E}\left[Y\right]\Rightarrow\mathrm{Cov}\left(X,Y\right)=0.
\]
协方差性质:
\[\mathrm{Cov~(X,Y)=Cov~(Y,X)}
\]
\[\mathrm{~Cov~(cX,Y)=c~Cov~(X,Y)}
\]
\[\mathrm{Cov~(X,Y+Z)=Cov~(X,Y)+Cov~(X,Z)}
\]
相关系数:
\[\rho\left(X,Y\right)=\frac{\mathrm{Cov}\left(X,Y\right)}{\sqrt{\mathrm{Var}\left(X\right)\mathrm{Var}\left(Y\right)}}-1\leqslant\rho\left(X,Y\right)\leqslant1
\]