概率与随机变量-

概率与随机变量

设我们在一次随机试验中观察事件 A 的发生情况。我们将该试验重复 N 次,并用 NA 表示事件 A 发生的次数。此时,事件 A 的概率定义为:

\[\Pr\left(\mathcal{A}\right)=\frac{\mathcal{N}_{\mathcal{A}}}{\mathcal{N}},\quad\mathbb{N}\to\infty. \]

需要强调的是,概率仅在与大量试验(N → ∞)相关联时才具有意义。

一次随机试验所有可能结果的集合称为样本空间,记作 S:S = {s₁,s₂,…}

若事件 A 与事件 B 中任一事件的发生均排除了另一事件的发生,则这两个事件互为互斥事件mutually exclusive。

事件 A + B(A 或 B)称为并集事件union event,表示事件 A 或事件 B 或两者同时发生。

事件 AB(A 与 B)是交集事件intersection event,表示 A 与 B 同时发生。

请注意,当事件 A 与事件 B 互斥时,则有AB = ∅, where ∅ is the empty set.

事件 Ac (not A) is the complement of A (补集). 此外有: A u Ac = ∅, 和A + Ac = S.

概率公理

  1. 对于 S 中的任意事件 A,有 0 ≤ Pr (A) ≤ 1

  2. Pr (S) = 1,样本空间 \(S\)(包含所有可能结果)发生的总概率为 1,即必然会发生。

  3. Pr(A + B) = Pr(A) + Pr(B) − Pr(AB),事件 \(A\) 或 \(B\) 发生的概率,等于两者概率之和减去它们同时发生的概率(避免重复计算)。图中 \(A+B\) 通常指并集(\(A \cup B\)),\(AB\) 指交集(\(A \cap B\))

如果事件 \(A\) 和 \(B\) 互斥(不可能同时发生),它们的交集为空集,同时发生的概率为 0。此时公理3就简化为了 \(\text{Pr}(A + B) = \text{Pr}(A) + \text{Pr}(B)\)。

样本空间的分解

\(S = \{A_1, A_2, ..., A_M\}\) be a sample space. Then \(\text{Pr}(S) = \text{Pr}(A_1) + \text{Pr}(A_2) + ... \text{Pr}(A_M) = 1\).

When the M events \(A_1, A_2, ..., A_M\) are equally likely to happen, \(\text{Pr}(A_1) = \text{Pr}(A_2) = ... = \text{Pr}(A_M) = \frac{1}{M}\).

当这 \(M\) 个事件发生的机会完全相等时(如掷均匀的骰子),每个事件发生的概率都是 \(\frac{1}{M}\)。这是古典概型的核心概念。


条件概率与统计独立性

在事件 A 已发生的条件下,事件 B 的条件概率为:

\[\mathrm{Pr}\left(\mathrm{B}|\mathrm{A}\right)=\frac{\mathrm{Pr}\left(\mathrm{AB}\right)}{\mathrm{Pr}\left(\mathrm{A}\right)},\quad(\mathrm{A})>0. \]

若事件 A 与事件 B 互不依赖,则称这两个事件在统计学上相互独立。

\[\begin{aligned}\Pr\left(\mathrm{B}|\mathrm{A}\right)&=\Pr\left(\mathrm{B}\right)\quad\mathrm{and}\quad\Pr\left(\mathrm{A}|\mathrm{B}\right)=\Pr\left(\mathrm{A}\right)\\\Pr\left(\mathrm{A}\mathrm{B}\right)&=\Pr\left(\mathrm{A}\right)\Pr\left(\mathrm{B}\right).\end{aligned} \]

独立代表事件A发生和事件B发生没有任何联系!!(互斥是代表AB只能发生一个,两者强相关)

贝叶斯定理:

\[\Pr\left(\mathrm{B}|\mathrm{A}\right)=\frac{\Pr\left(\mathrm{A}\mathrm{B}\right)}{\Pr\left(\mathrm{A}\right)}=\frac{\Pr\left(\mathrm{A}|\mathrm{B}\right)\Pr\left(\mathrm{B}\right)}{\Pr\left(\mathrm{A}\right)}. \]


例子:

The resistance R of a resistor drawn randomly from a fare batch has five possible values, all in the range 40 − 60Ω. Table below gives the specific values and their probabilities

R 40 45 50 55 60
Pr(R) 0.1 0.2 0.4 0.2 0.1

A = {R ≤ 50Ω} and B = {45Ω ≤ R ≤ 55Ω}

Pr(A) = Pr(R ∈ {40, 45, 50})= Pr(R = 40) + Pr(R = 45) + Pr(R = 50) = 0.7

Pr(B) = Pr(R ∈ {45, 50, 55}) = 0.8.

Pr(AB) = Pr {R ∈ {45, 50}} = 0.6 ≠ Pr(A) ⋅ Pr(B)

所以A,B两者不相互独立!所有题目必须在没告知独立性的前提下,必须优先证明才能使用


A system consists of ten subsystems S1 , S2 , ..., S10 in cascade. If any one of the subsystems fails, the entire system fails. The probability of failure of any one of the subsystems is α.

\[input -> s1 -> s2 -> s3 -> s4 -> ....... -> s10 -> output \]

What is the probability of failure of the system?

\[\Pr\left(\text{no failure in system}\right)=\Pr\left(\mathcal{A}_{1}^{\mathrm{c}}\right)\cdot\Pr\left(\mathcal{A}_{2}^{\mathrm{c}}\right)\cdot\cdotp\cdotp\cdotp\cdot\Pr\left(\mathcal{A}_{10}^{\mathrm{c}}\right)=\left(1-\alpha\right)^{10} \]

\[\begin{aligned}\Pr\left(\text{system failure}\right)&=1-\Pr\left(\text{no failure in system}\right)\\&=1-\left(1-\alpha\right)^{10}\end{aligned} \]

这里不能把每一种(2的10次方)的情况列举出来进行计算,因为你不知道两个事件之间是否存在联系


全概率公式(Law of Total Probability)

设事件 A₁,A₂ ,...,Aₙ 互斥(即 AᵢAⱼ = ∅,i ≠ j)且完备(即 A₁ ∪ A₂ ∪ … ∪ Aₙ = S)。设 B 为 S 中的任意事件,则有

\[\mathrm{Pr}\left(\mathrm{B}\right)=\sum_{\mathrm{i}=1}^\mathrm{N}\mathrm{Pr}\left(\mathrm{B},\mathrm{A}_\mathrm{i}\right) \]

这个的意思是如果存在一个完整的样本空间,每一个事件A会将S样本空间分割成N块互不影响的部分,如果事件B发生,那么一定落在S样本空间的某一个Ai处,B与其他的An也互斥:

\[B = B\cap S = B\cap(A_1\cup A_2\cup\cdots\cup A_N) = (B\cap A_1)\cup(B\cap A_2)\cup\cdots\cup(B\cap A_N) \]

由于 \(\Pr(B\cap A_i)=\Pr(B|A_i)\Pr(A_i)\),全概率公式常写成:

\[\Pr(B)=\sum_{i=1}^{N}\Pr(B|A_i)\Pr(A_i) \]

示例:一个二进制通信系统的输入(记为随机变量 X)取两个值——0 或 1,其概率分别为 3/4 和 1/4。由于系统中噪声引起的误差,输出 Y 偶尔会与输入 X 不同。该通信系统的行为可通过条件概率来建模。

\[\Pr\left(Y=1|X=1\right)=\frac{3}{4},\Pr\left(Y=0|X=0\right)=\frac{7}{8}. \]

Find

Pr(Y = 1) and Pr(Y = 0)

Pr(X = 1|Y = 1)

\[\begin{aligned}\Pr\left(\mathrm{Y}=1\right)&=\Pr\left(\mathrm{Y}=1,\mathrm{X}=0\right)+\Pr\left(\mathrm{Y}=1,\mathrm{X}=1\right)\\&=\Pr\left(\mathrm{Y}=1|\mathrm{X}=0\right)\Pr\left(\mathrm{X}=0\right)+\Pr\left(\mathrm{Y}=1|\mathrm{X}=1\right)\Pr\left(\mathrm{X}=1\right)\end{aligned} \]

\[=\left(1-\frac{7}{8}\right)\left(\frac{3}{4}\right)+\left(\frac{3}{4}\right)\left(\frac{1}{4}\right)=\frac{9}{32}. \]

\[\Pr\left(\mathrm{Y}=0\right)=1-\Pr\left(\mathrm{Y}=1\right)=\frac{23}{32} \]

\[\Pr\left(\mathrm{X}=1|\mathrm{Y}=1\right)=\frac{\Pr\left(\mathrm{X}=1,\mathrm{Y}=1\right)}{\Pr\left(\mathrm{Y}=1\right)}=\frac{\Pr\left(\mathrm{Y}=1|\mathrm{X}=1\right)\Pr\left(\mathrm{X}=1\right)}{\Pr\left(\mathrm{Y}=1\right)} \]

\[=\frac{\left(\frac{1}{4}\right)\left(\frac{3}{4}\right)}{\frac{9}{32}}=\frac{2}{3} \]

其实就是因为y一共就只有2种情况,我们知道x为1的情况下,y为1/0的概率,也知道x为1的概率,就能够通过条件概率进行公式转换,得到所需要的概率;第二问是贝叶斯定理,(x,y均为1)的概率等于(x为1时y为1的概率)乘以(x为1的概率)


随机变量(Random Variables)与累积分布函数(CDF)

随机变量是一个规则,记作 X,它将样本空间 S 中的每一个点映射到一个实数

The cumulative distribution function 累积分布函数(CDF)

\(F_X(x) = \Pr(X \le x), \quad -\infty < x < \infty\)

CDF 回答了这样一个问题:“随机变量 X 的取值小于或等于某个具体值 x 的总概率是多少?”

  • \(F_X(x)\) 是函数名(下标 X 表示属于随机变量 X)。
  • \(\Pr(X \le x)\) 就是概率值,它把数轴上从 \(-\infty\) 到 \(x\) 的所有概率“累积”加起来。

CDF的性质:

\(0 \le F(x) \le 1\)

因为 \(F(x)\) 本身是一个概率(“\(X\le x\)”这件事发生的概率),而任何概率都在 \([0,1]\) 之间。

\(F(\infty)=\Pr(X<\infty)=1\)(严格写作 \(F(+\infty)=\lim_{x\to+\infty}\Pr(X\le x)=1\))

当 \(x\) 趋于正无穷时,“\(X\le +\infty\)”几乎必然成立(随机变量一定会取某个有限值),所以概率累积到全部 = 1

\(F(-\infty)=\Pr(X<-\infty)=0\)(严格写作 \(\lim_{x\to-\infty}\Pr(X\le x)=0\))

当 \(x\) 趋于负无穷时,没有任何取值会小于等于负无穷,所以是空事件,概率为 0。

\(\Pr(X>x)=1-\Pr(X\le x)=1-F(x)\)

互补事件(补事件)

\[\Pr(X\le a)+\Pr(a<X\le b)+\Pr(X>b)=1 \]

\[\Pr(a<X\le b)=\Pr(X\le b)-\Pr(X\le a)=F(b)-F(a) \]

因为概率不可能是负数,所以:$$F(b)-F(a)\ge 0 \quad (\text{当 }b>a)$$

CDF 是单调不减函数——\(x\) 越大,累积的概率只会不变或增加,绝不会减少。

\[\Rightarrow F(x)\text{ is a non-decreasing (monotonic increasing) function.} \]


离散随机变量与概率质量函数(pmf)

如果样本空间 \(S\) 包含可数(countable)个样本点,那么映射后的随机变量 \(X\) 只能取有限个或可数无限个离散值(\(x_1, x_2, ...\)),这就叫离散随机变量。

概率质量函数(pmf)

定义:公式为 \(p(x_i) = \Pr(X = x_i)\)。

pmf 描述的是随机变量 \(X\) 恰好等于某个具体值 \(x_i\) 的概率。它把概率像“质量”一样集中在这些离散点上。

pmf 的核心性质

有界性:\(0 \le p(x_i) \le 1\)

因为每个 \(p(x_i)\) 都是具体事件的概率,自然在 0 到 1 之间。

归一性:\(\sum_i p(x_i) = 1\)

所有离散取值的概率加在一起,必然覆盖全部可能,总和为1。

与 CDF 的关系:\(F(x_k) = \Pr(X \le x_k) = \sum_{i=1}^k p(x_i)\)

对于离散变量,CDF 就是 pmf 的累加和。

CDF:\(\Pr(X \le x)\),连续或离散都适用,单调不减,边界为 0 和 1。

离散 pmf:\(\Pr(X = x_i)\),只针对离散点,CDF = pmf 的“累积”。


连续随机变量的概率密度函数 (pdf)

\[\mathrm{f}_{\chi}\left(x\right)=\frac{\mathrm{d}}{\mathrm{d}x}\mathrm{F}_{\chi}\left(x\right) \]

概率密度函数的性质 Properties of the pdf:

与上述离散概率质量函数非常类似

非负函数:f (x) ≥ 0

归一性(总面积=1):\(\int_{-\infty}^{\infty}f(x)\,dx=1\)

整个实轴上密度曲线下的总面积等于 1,对应离散版的 \(\sum p(x_i)=1\)。

CDF 由 PDF 积分得到:\(F(x)=\Pr(X\le x)=\int_{-\infty}^{x}f_X(t)\,dt\)

区间概率:\(\Pr(a<X\le b)=\int_a^b f(x)\,dx\)

\(X\) 落在 \((a,b]\) 的概率 = 这段区间下密度曲线围成的面积。

此外,X在特定点处的概率为0,这个应该不需要解释了。


1&2.因为积分的区域一定为1,所以可以计算出c:

\[\int_{-1}^{\mathrm{c}}f_{\mathrm{X}}\left(x\right)\mathrm{d}x=1\Rightarrow\int_{-1}^{\mathrm{c}}\left(\frac{1}{3}x^{2}\right)\mathrm{d}x=\frac{1}{9}\mathrm{c}^{3}+\frac{1}{9}=1\Rightarrow\mathrm{c}=2 \]

\[\Pr\left(1<X\leqslant\frac{3}{2}\right)=\int_1^{\frac{3}{2}}\left(\frac{1}{3}x^2\right)\mathrm{d}x=\frac{19}{72}. \]

3.单独取一个点的概率恒等于0:$$\Pr\left(X=\tfrac12\right)=\int_{1/2}^{1/2}f(x),dx=0$$

4.Support is \(-1 < x < 2\).

For \(x \le -1\): \(F_X(x)=0\)

For \(-1 < x < 2\):

\[F_X(x)=\int_{-1}^{x}\frac{1}{3}t^2\,dt = \frac{1}{9}(x^3 - (-1)^3)=\frac{x^3+1}{9} \]

For \(x \ge 2\): \(F_X(x)=1\)

\[F_X(x)=\begin{cases}0,&x\leq-1\\\frac{x^3+1}{9},&-1<x<2\\1,&x\geq2&\end{cases} \]


累积分布函数 CDF:FX(a) = Pr(X ≤ a) 表示概率密度函数 fX(x) 在区间 (−∞,a) 上的曲线下面积。

由于函数 fX(x) 不连续,我们应根据点 a 的位置分段进行计算。

$$ \mathrm{when~0\leqslant a\leqslant2:~F_{\chi}(a)=\int_{0}^{a}\frac{1}{8}xdx=\frac{1}{16}a^{2}} $$

\[\mathrm{when~2\leqslant a\leqslant4:~F_X(a)=(area~of~the~triangle)=\frac{1}{2}\times2\times\frac{1}{4}=\frac{1}{4}} \]

\[\mathrm{when~4\leqslant a\leqslant7 {:}F_X(a)=\frac{1}{4}+\int_4^a\frac{1}{4}dx=\frac{1}{4}(a-3)} \]

\[\mathcal{F}_{\chi}\left(x\right)=\begin{cases}0,&x<0\\\frac{1}{16}x^{2},&0\leqslant x<2\\\frac{1}{4},&2\leqslant x<4\\\frac{1}{4}\left(x-3\right),&4\leqslant x\leqslant7\\1,&x>7&&&\end{cases} \]


随机变量的变换

设随机变量 X 的概率密度函数为 fX(x)

对于一个新的随机变量 Y(其取值依赖于 X),其概率密度函数 fY(y) 是什么?

步骤 1:使用 fX(x) 推导出累积分布函数 FY(y) = Pr(Y ≤ y)

步骤 2:概率密度函数 fY(y) = dy/dFY(y)


例子:

第一步:

\[\begin{aligned}&F_{y}(y)=\Pr(Y\leq y)=\Pr(aX+b\leq y)\\&=\Pr\left(X<\frac{y-b}{a}\right)=F_x\left(\frac{y-b}{a}\right)\end{aligned} \]

第二步:

\[\begin{gathered}\mathrm{f_{Y}}\left(y\right)=\frac{\mathrm{d}}{\mathrm{dy}}\mathrm{F_{Y}}\left(y\right)\\\mathrm{f_{Y}}\left(\mathrm{y}\right)=\frac{\mathrm{d}}{\mathrm{d}\mathrm{y}}\mathrm{F_{Y}}\left(\mathrm{y}\right)=\frac{\mathrm{d}}{\mathrm{d}\mathrm{y}}\mathrm{F_{\chi}}\left(\frac{\mathrm{y}-\mathrm{b}}{\mathrm{a}}\right)\\=\frac{1}{a}\mathrm{f}_X\left(\frac{\mathrm{y}-\mathrm{b}}{\mathrm{a}}\right)\end{gathered} \]

代回原式:

\[\left.\mathrm{f}_{Y}\left(y\right)=\left\{\begin{array}{ll}\frac{1}{a}e^{-\left(\frac{y-b}{a}\right)},&y\geqslant b\\0,&\text{otherwise.}\end{array}\right.\right. \]

Z=x^3+5同理:

\[\begin{aligned}\mathrm{F}_{\mathrm{Z}}\left(z\right)&=\Pr\left(\begin{array}{c}\mathbb{Z}\end{array}\leqslant z\right)=\Pr\left(\begin{array}{c}x^3+5\end{array}\leqslant z\right)\\&=\Pr\left(x\leqslant\left(z-5\right)^{1/3}\right)=\mathrm{F}_{\chi}\left(\left(z-5\right)^{1/3}\right)\end{aligned} \]

\[\left.\begin{aligned}&\mathrm{f}_{\mathrm{Z}}\left(z\right)=\frac{\mathrm{d}}{\mathrm{d}z}\mathrm{F}_{\mathrm{x}}\left(\left(z-5\right)^{1/3}\right)=\frac{1}{3\left(z-5\right)^{\frac{2}{3}}}\mathrm{f}_{\mathrm{x}}\left(\left(z-5\right)^{1/3}\right)\\&\mathrm{f}_{\mathrm{Z}}\left(z\right)=\left\{\begin{array}{ll}\frac{\exp\left(-\left(z-5\right)^{1/3}\right)}{3\left(z-5\right)^{\frac{2}{3}}}&\left(z-5\right)^{1/3}\geqslant0\Rightarrow z\geqslant5\\0,&\mathrm{else}.\end{array}\right.\end{aligned}\right. \]


To find the pdf fZ (z), we find firstly the CDF FZ (z) = Pr(Z ≤ z).

Using the Law of Total Probability

\[\Pr(Z \le z, X = 0) = \Pr(Z \le z | X = 0) \Pr(X = 0) = \frac{1}{2} \Pr(Z \le z | X = 0) \]

\[\Pr(Z \le z, X = 1) = \Pr(Z \le z | X = 1) \Pr(X = 1) = \frac{1}{2} \Pr(Z \le z | X = 1) \]

\[\Pr(Z\leqslant z)=\Pr(Z\leqslant z,X=0)+\Pr(Z<z,X=1) \]

\[\Pr(Z\leqslant z|X=0)=\Pr(0+Y\leqslant z)=\Pr(Y\leqslant z)=F_Y(z) \]

\[\Pr(Z\leqslant z|X=1)=\Pr(X+Y\leqslant z|X=1)=\Pr(1+Y\leqslant z)=\Pr(Y\leqslant z-1)=F_Y(z-1) \]

\[\begin{aligned}\mathrm{f}_{\mathrm{Z}}\left(z\right)&=\frac{\mathrm{d}}{\mathrm{d}z}\mathrm{F}_Z\left(z\right)=\frac{1}{2}\frac{\mathrm{d}}{\mathrm{d}z}\mathrm{F}_Y\left(z\right)+\frac{1}{2}\frac{\mathrm{d}}{\mathrm{d}z}\mathrm{F}_Y\left(z-1\right)\\&=\frac{1}{2}\mathrm{f}_\mathrm{Y}\left(z\right)+\frac{1}{2}\mathrm{f}_\mathrm{Y}\left(z-1\right)\\&=\frac{1}{2\sqrt{2\pi}}e^{-\frac{z^2}{2}}+\frac{1}{2\sqrt{2\pi}}e^{-\frac{(z-1)^2}{2}}=\frac{1}{2\sqrt{2\pi}}\left(e^{-\frac{z^2}{2}}+e^{-\frac{(z-1)^2}{2}}\right)\end{aligned} \]

相当于这里有Z由变量x和变量y组成,但是x只有2个值,并且我们已知x的概率,就可以使用全概率公式将上述式子化简。


\[\Pr\{\mathbf{Z}\leqslant z\}=\Pr\{\cos X\leqslant z\}=\Pr\left\{-\pi<X\leqslant-\cos^{-1}z\right\}+\Pr\left\{\cos^{-1}z<X\leqslant\pi\right\} \]

对于任意事件 \(\{a<X<b\}\),其概率为:

\[\Pr\{a<X<b\}=\int_a^b f_X(x)\,dx \]

因为余弦在 \([-\pi,\pi]\) 上关于 0 对称,且在 \((-\cos^{-1}z,\cos^{-1}z)\) 内取值大于 \(z\)

\[\Pr\{\cos X>z\}=\Pr\{-\cos^{-1}z \le X \le \cos^{-1}z\} \]

\[\int_{-\cos^{-1}z}^{\cos^{-1}z} f_X(x)\,dx =\int_{-\cos^{-1}z}^{\cos^{-1}z}\frac{1}{2\pi}\,dx \]

\[=\frac{1}{2\pi}\big[\cos^{-1}z-(-\cos^{-1}z)\big] =\frac{2\cos^{-1}z}{2\pi}=\frac{\cos^{-1}z}{\pi} \]

\[F_Z(z)=\Pr\{Z\le z\}=1-\Pr\{Z>z\}=1-\frac{\cos^{-1}z}{\pi} \]

\[f_Z(z)=\frac{d}{dz}F_Z(z)=\frac{1}{\pi}\cdot\frac{1}{\sqrt{1-z^2}},\quad -1<z<1 \]

\[\text{注意:}\frac{d}{dz}\left(\cos^{-1}z\right)=-\frac{1}{\sqrt{1-z^2}},\quad-1<z<1 \]


联合分布 (Joint Distributions)

联合 CDF(累积分布函数):

\(F_{X,Y}(x,y) = \Pr(X \le x, Y \le y)\)

表示 \(X\) 小于等于 \(x\) 且 \(Y\) 小于等于 \(y\) 同时发生的概率。

联合 pdf(概率密度函数):

\(f_{X,Y}(x,y) = \frac{\partial^2 F_{X,Y}(x,y)}{\partial x \partial y}\)

联合密度是联合 CDF 的二阶混合偏导数。

归一化条件:

\(\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} f_{X,Y}(x,y) dxdy = 1\)

全空间上的二重积分必须为 1(总概率为 1)。

区域概率:

\(\Pr((x,y) \in A) = \iint_{(x,y)\in A} f_{X,Y}(x,y) dxdy\)

落在某个区域 \(A\) 的概率,就是在该区域上对联合密度求二重积分。

矩形区间概率:

\(\Pr(a < X \le b, c < Y \le d) = \int_c^d \int_a^b f_{X,Y}(x,y) dxdy\)

边缘密度(Marginal pdf):

\(f_X(x) = \int_{-\infty}^{\infty} f_{X,Y}(x,y) dy\)

\(f_Y(y) = \int_{-\infty}^{\infty} f_{X,Y}(x,y) dx\)

想求 \(X\) 单独的密度,就把联合密度对 \(y\) “积掉”(积分消元);求 \(Y\) 同理。这对应你前两轮单变量的边缘情况。

条件分布 (The Conditional Distributions)

给定事件 A 的条件分布(\(\Pr(A) \neq 0\))

条件 CDF:

\(F_{X|A}(x|A) = \Pr(X \le x|A) = \frac{\Pr(X \le x, A)}{\Pr(A)}\)

本质是条件概率公式 \(P(B|A) = P(AB)/P(A)\) 在分布函数上的应用。

条件 pdf:

\(f_{X|A}(x|A) = \frac{\partial}{\partial x}F_{X|A}(x|A) = \frac{1}{\Pr(A)}\frac{\partial}{\partial x}\Pr(X \le x, A)\)

条件密度是条件 CDF 对 \(x\) 求导。

给定随机变量 Y 的条件分布

条件 pdf:

\(f_{X|Y}(x|y) = \frac{f_{X,Y}(x,y)}{f_Y(y)}\)

形似“条件概率 = 联合 / 边缘”。表示在已知 \(Y=y\) 的条件下,\(X\) 的密度函数。


符号 全称 中文 含义
\(\Pr(\cdot)\) 或 \(P(\cdot)\) Probability 概率 某事件发生的可能性,取值 \([0,1]\)
\(f_X(x)\) probability density function 概率密度函数 (PDF) 连续变量的“密度”,积分得概率,\(\int f=1\)
\(F_X(x)\) cumulative distribution function 累积分布函数 (CDF) \(F_X(x)=\Pr(X\le x)\),单调非减,\(F(-\infty)=0,F(\infty)=1\)

我写了一个参数含义表,以防混乱🐶


例子: Let X be a random variable with PDF fX (x). Derive an expression for the conditional PDF of X given {a < X ≤ b}

\(F_X(X|a < X \leq b) = \Pr(X \leq x | a < X \leq b)\)

代入条件概率公式:

\(\Pr(X \leq x | a < X \leq b) = \dfrac{\Pr(X \leq x, a < X \leq b)}{\Pr(a < X \leq b)}\)

\[\begin{aligned} \Pr(a<X\le b)&=\Pr(X\le b)-\Pr(X\le a)\\ &=F_X(b)-F_X(a) \end{aligned}\]

\[\Pr\left(X\leqslant x,a<X\leqslant b\right)=\begin{cases}0,&x\leqslant a\\\Pr\left(a<X\leqslant x\right)=F_X\left(x\right)-F_X\left(a\right),&a<x\leqslant b\\\Pr\left(a<X\leqslant b\right)=F_X\left(b\right)-F_X\left(a\right),&x>b&\end{cases} \]

\[\mathrm{F_X(X\leqslant x|a<X\leqslant b)}=\begin{cases}0,&\mathrm{x\leqslant a}\\\frac{\mathrm{F_X(x)-F_X(a)}}{\mathrm{F_X(b)-F_X(a)}},&\mathrm{a<x\leqslant b}\\1,&\mathrm{x>b}&&\end{cases} \]

\[\begin{aligned}&f_X(X\leqslant x|a<X\leqslant b)=\frac{\partial}{\partial x}F_X(X\leqslant x|a<X\leqslant b)\\&=\begin{cases}0,&x\leqslant a\\\frac{f_X(x)}{F_X(b)-F_X(a)},&a<x\leqslant b\\0,&x>b&\end{cases}\end{aligned} \]


统计独立性(Statistical Independence)

对任意连续二维变量:

\[f_{X,Y}(x,y)=f_{X|Y}(x|y)\,f_Y(y) \]

("已知 Y=y 时 X 的条件密度" 乘以 "Y 的边缘密度")

对称地:

\[f_{X,Y}(x,y)=f_{Y|X}(y|x)\,f_X(x) \]

这就是条件密度定义的直接变形:\(f_{X|Y}=\dfrac{f_{X,Y}}{f_Y}\Rightarrow f_{X,Y}=f_{X|Y}f_Y\)。

正式定义(独立 ⟺ 联合=边缘乘积)

\[f_{X,Y}(x,y)=f_X(x)\times f_Y(y)\quad \text{对所有 }(x,y) \]

“独立” = 联合信息没有耦合,知道一个变量对另一个毫无帮助。密度可以“拆开相乘”。

假设你要描述一群人的“身高(X)”和“体重(Y)”的联合分布:

  • \(f_Y(y)\):全人群中体重为 y 的密度。
  • \(f_{X|Y}(x|y)\):在“体重为 y”的这群人里,身高为 x 的密度。
  • 两者相乘 \(f_{X,Y}\):既满足“体重为 y”又满足“身高为 x”的联合密度。

error ≡ receive Y > 0 when X = −1 OR receive Y < 0 when X = +1

\(\Pr(\text{error})=\Pr(Y>0,X=-1)+\Pr(Y<0,X=+1)\)

\(\Pr(Y>0,X=-1)=\Pr(Y>0|X=-1)\Pr(X=-1)\)

因为 \(Y=X+N\),代入 \(X=-1\):

\[\Pr(Y>0\mid X=-1)=\Pr(-1+N>0)=\Pr(N>1) \]

噪声 \(N\sim U(-2,2)\),密度 \(1/4\):

\[\Pr(N>1)=\frac{2-1}{4}=\frac{1}{4} \]

X为-1的概率为1/2:

\[\Pr(Y>0,X=-1)=\frac14\cdot\Pr(X=-1)=\frac14\cdot\frac12 \]

另外一半同理得:

\[\Pr(Y<0,X=+1)=\Pr(Y<0\mid X=+1)\,\Pr(X=+1) \]

代入 \(X=+1\):

\[\Pr(Y<0\mid X=+1)=\Pr(+1+N<0)=\Pr(N<-1) \]

\[\Pr(Y<0,X=+1)=\frac14\cdot\Pr(X=+1)=\frac14\cdot\frac12 \]

\[\begin{aligned} \Pr(\text{error})&=\frac14\Pr(X=-1)+\frac14\Pr(X=+1)\\ &=\frac14\cdot\frac12+\frac14\cdot\frac12=\frac18+\frac18=\frac14 \end{aligned}\]


统计平均值

随机变量的期望值 (Expected value of a RV)

\[\mu_X=\mathbb{E}[X]=\sum_i x_i\,p(x_i) \]

含义:把随机变量所有可能取值 \(x_i\),按概率 \(p(x_i)\) 加权平均。

\(\mu_X\)(或写作 \(\mu\))就是均值/数学期望。

例:掷公平骰子,\(E[X]=\frac{1+2+3+4+5+6}{6}=3.5\)。

随机变量函数 \(g(X)\) 的期望 (Average of function of RV)

\[\mathbb{E}[\,g(X)\,]=\sum_i g(x_i)\,p(x_i) \]

含义:先对每个取值算 \(g(x_i)\),再按同样的概率加权求和。

不需要先求 \(g(X)\) 的分布,直接对原 \(X\) 的取值代入 \(g\) 即可(期望的 LOTUS 法则,Law of the Unconscious Statistician)。

离散型期望公式的连续型版本 :

连续随机变量的期望(均值):

\[\mu_X=\mathbb{E}[X]=\int_{-\infty}^{\infty} x\,f_X(x)\,dx \]

\(f_X(x)\):随机变量 \(X\) 的概率密度函数(PDF)。

含义:把每个取值 \(x\) 乘以它的“密度权重”\(f_X(x)\),在整个实轴上积分。

类比离散:\(\sum x_i p(x_i) \to \int x f_X(x)dx\)。

连续随机变量函数 \(g(X)\) 的期望:

\[\mathbb{E}[\,g(X)\,]=\int_{-\infty}^{\infty} g(x)\,f_X(x)\,dx \]

同样套 LOTUS 法则:把 \(g(x)\) 乘密度 \(f_X(x)\) 积分即可,无需先求 \(g(X)\) 的密度。

离散 RV 连续 RV
分布描述 \(p(x_i)\) (PMF) \(f_X(x)\) (PDF)
\(E[X]\) \(\sum_i x_i p(x_i)\) \(\int x f_X(x)dx\)
\(E[g(X)]\) \(\sum_i g(x_i)p(x_i)\) \(\int g(x)f_X(x)dx\)

\[\text{第 }n\text{ 阶矩} = \mathbb{E}[X^n] \]

就是随机变量 \(n\) 次幂的期望。

\(n=1\):一阶矩 \(= \mathbb{E}[X]\) = 均值 \(\mu\)。

例:\(X\) 取值 {1, 2, 3},概率均等 → 均值 = 2。

\(n=2\):二阶矩 \(= \mathbb{E}[X^2]\)(和方差、能量有关)。

例:{1,2,3} → 平方 {1,4,9} → 平均 = (1+4+9)/3 = 14/3 ≈ 4.67。

第 \(n\) 阶中心矩 (central moment)

中心矩是把 \(X\) 先减去均值 \(\mu\),再取 \(n\) 次方求平均:

\[\text{第 }n\text{ 阶中心矩} = \mathbb{E}[(X-\mathbb{E}X)^n]=\mathbb{E}[(X-\mu)^n] \]

名称 公式 物理意义
1阶矩 \(E[X]\) 均值
2阶矩 \(E[X^2]\) 平方平均(能量)
1阶中心矩 \(E[X-\mu]\) 0
2阶中心矩 \(E[(X-\mu)^2]\) 方差
3阶中心矩 \(E[(X-\mu)^3]\) 偏度
4阶中心矩 \(E[(X-\mu)^4]\) 峰度

定义指示函数

\[\mathcal{I}_{\mathcal{A}}=\begin{cases}1,&\mathrm{if~event~\mathcal{A}occurs,}\\0,&\mathrm{elsewhere}&&&\end{cases} \]

\[\mathbb{E}\left[\mathrm{I}_{\mathrm{A}}\right]=0\times\Pr\left(\mathrm{I}_{\mathrm{A}}=0\right)+1\times\Pr\left(\mathrm{I}_{\mathrm{A}}=1\right)=\Pr\left(\mathrm{I}_{\mathrm{A}}=1\right) \]

\[\mathbb{E}\left[\mathbb{I}_{\mathbb{A}}\right]=\Pr\left(\mathbb{A}\right) \]

$$ find E[I] $$

\[\text{pdf of I is not given. I}=\frac{1}{1+R}\text{ and R is uniform in }\begin{bmatrix}8,12\end{bmatrix} \]

\[\mathrm{f}_{\mathrm{R}}\left(\mathrm{r}\right)=\begin{cases}&\frac{1}{4},&8\leqslant\mathrm{r}\leqslant12\\&0,&\mathrm{otherwise}.&&&\end{cases} \]

\[期望对于连续型随机变量就是积分:\mathbb{E}[g(X)]=\int_{-\infty}^{\infty}g(x)f_X(x)dx \]

\[\mathbb{E}\left[\mathrm{I}\right]=\mathbb{E}\left[\frac{1}{1+\mathrm{R}}\right]=\frac{1}{4}\int_8^{12}\frac{1}{1+\mathrm{r}}\mathrm{dr}=\frac{1}{4}\ln\frac{13}{9}. \]


当 g(x,y) 是两个随机变量的函数时

\[\mathbb{E}\left[g\left(x,y\right)\right]=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g\left(x,y\right)\mathrm{~f_{xy}\left(x,y\right)dxdy} \]

以下说法始终成立:

\[\mathbb{E}\left[X+Y\right]=\mathbb{E}\left[X\right]+\mathbb{E}\left[Y\right] \]

\[大多数的情况下:\mathbb{E}\left[\mathrm{X}\times\mathrm{Y}\right]\neq\mathbb{E}\left[\mathrm{X}\right]\times\mathbb{E}\left[\mathrm{Y}\right] \]

\[当 X 与 Y 相互独立时,则\mathbb{E}\left[\mathrm{X}\times\mathrm{Y}\right]=\mathbb{E}\left[\mathrm{X}\right]\times\mathbb{E}\left[\mathrm{Y}\right] \]


条件期望

\[\mathbb{E}\left[\mathrm{X}|\mathrm{Y}=\mathrm{y}\right]=\int_{-\infty}^{\infty}\mathrm{xf}_{\mathrm{X}|\mathrm{Y}}\left(\mathrm{x}|\mathrm{y}\right)\mathrm{d}\mathrm{x} \]

含义:在已知 Y=y的条件下,X的平均值。就是把原来的概率密度换成条件密度 fX∣Y(x∣y)再对 x积分。

E[X∣Y=y]是 y的函数

把条件里的 y当作自变量,这个期望值会随着 y的不同而改变。所以可以写成一个函数 g(y)=E[X∣Y=y]。

如果把 Y看作随机变量,那么 E[X∣Y]本身也是一个随机变量(是 Y的函数)。

全期望公式(迭代期望):

\[\mathbb{E}\left[\mathrm{X}\right]=\mathbb{E}\left[\mathbb{E}\left[\mathrm{X}|\mathrm{Y}\right]\right] \]

表示先按条件 Y求条件期望,再对 Y取平均,就等于 X的无条件期望。

证明(直接用就行了)

连续情况下:

\[\begin{aligned}\mathbb{E}[\mathbb{E}[X|Y]]&=\int_{-\infty}^{\infty}\mathbb{E}[X|Y=y]f_{Y}(y)dy\\&=\int_{-\infty}^{\infty}\left(\int_{-\infty}^{\infty}xf_{X|Y}(x|y)dx\right)f_{Y}(y)dy\\&=\iint xf_{X|Y}(x|y)f_Y(y)dxdy\\&=\iint xf_{X,Y}(x,y)dxdy=\mathbb{E}[X]\end{aligned} \]

\[\mathbb{E}[X]=\mathbb{E}[g(X,Y)],\quad g(x,y)=x \]

\[\text{而对任意函数 }g\mathrm{,}\mathbb{E}[g(X,Y)]=\iint g(x,y)f_{X,Y}(x,y)\mathrm{~}dxdy\text{。这里 }g(x,y)=x\text{,所以就是}\iint xf_{X,Y}dxdy\mathrm{。} \]

离散情况下:

\[\begin{aligned}\mathbb{E}\left[\mathbb{E}\left[X|Y=y\right]\right]&=\mathbb{E}\left[\sum_x\chi\Pr\left(X=\chi|Y=y\right)\right]\\&=\sum_{\mathrm{y}}\left[\sum_{\mathrm{x}}\chi\Pr\left(X=x|Y=y\right)\right]\Pr\left(Y=y\right)\\&=\sum_y\sum_x\chi\Pr\left(X=x,Y=y\right)\\&=\sum_x\chi\sum_y\Pr\left(X=x,Y=y\right)\\&=\sum_{\chi}\chi\Pr\left(X=\chi\right)=\mathbb{E}\left[X\right]\end{aligned} \]


工厂 1 供应 60% 的灯泡 ⇒ Pr(Y = 1) = 0.6,Pr(Y = 2) = 0.4。此时,随机抽取的一个灯泡的预期使用寿命由以下公式给出:

\[\begin{aligned}\mathbb{E}[X]&=\mathbb{E}[X|Y=1]\Pr(Y=1)+\mathbb{E}[X|Y=2]\Pr(Y=2)\\&=5000\times0.6+4000\times0.4=4600\end{aligned} \]


条件期望

指示变量(示性函数)IA:事件 A发生就取 1,否则取 0。

\[I_A=\begin{cases}1,&X\in A\\0,&X\notin A&\end{cases} \]

\[\mathbb{E}[I_A]=1\cdot\Pr(I_A=1)+0\cdot\Pr(I_A=0)=\Pr(X\in A) \]

同理,在已知 Y=y的条件下:

\[\mathbb{E}[I_A\mid Y=y]=\Pr(X\in A\mid Y=y) \]

套用全期望公式(迭代期望定律):

\[\text{前面刚证过:}\mathbb{E}[\mathbb{E}[Z\mid Y]]=\mathbb{E}[Z]\mathrm{。} \]

令 Z=IA,则:

\[\mathbb{E}[I_A]=\mathbb{E}\left[\mathbb{E}[I_A\mid Y]\right] \]

\[\text{左边是}\Pr(X\in A)\text{,右边 }\mathbb{E}[I_A\mid Y=y]=\Pr(X\in A\mid Y=y)\text{,所以}\Pr(X\in A)=\mathbb{E}\left[\Pr(X\in A\mid Y)\right] \]

核心思想非常巧妙:把概率看成某个指示变量的期望。

当 X的分布直接给不出来,但它依赖于另一个随机变量 Y 时:

  1. 先固定 Y=y,算出条件概率 Pr(X∈A∣Y=y)(此时 y是已知常数,好算);
  2. 再把这个结果当作 Y的函数,对 Y求期望(相当于对 y积分/求和乘 fY(y))。

这就是全概率公式的连续/通用写法,比直接算边缘概率简单得多。

\[例:Pr(X≤t)=∫Pr(X≤t∣Y=y)fY(y)dy。 \]

概率难直接算 → 转成“条件概率的期望”来算。


特征函数 The Characteristic Function

CHF 是概率密度函数(pdf)的傅里叶变换:

\[\Phi_{\chi}\left(\omega\right)=\mathbb{E}\left[e^{\mathrm{j}\omega\mathrm{x}}\right]=\int_{-\infty}^{\infty}e^{\mathrm{j}\omega\mathrm{x}}\mathrm{f}_{\chi}\left(x\right)\mathrm{d}x. \]

矩生成函数(MGF)

\[M_{X}\left(s\right)=\mathbb{E}\left[e^{sx}\right]=\int_{0}^{\infty}e^{sx}f_{X}\left(x\right)dx. \]


方差与标准差与协方差 Variance and Standard Deviation and Covariance

\[方差:\mathrm{σ}_x^2=\mathrm{Var}\left(\mathrm{X}\right)=\mathbb{E}\left[\left(\mathrm{X}-\mathbb{E}\left[\mathrm{X}\right]\right)^2\right]=\mathbb{E}\left[\mathrm{X}^2\right]-\left(\mathbb{E}\left[\mathrm{X}\right]\right)^2 \]

\[标准差:\sigma_x=\sqrt{\mathrm{Var}\left(X\right)}. \]

任意两个随机变量 X 与 Y 的协方差:

\[\mathrm{Cov}\left(X,Y\right)=\mathbb{E}\left[\left(X-\mathbb{E}\left[X\right]\right)\left(Y-\mathbb{E}\left[Y\right]\right)\right]=\mathbb{E}\left[XY\right]-\mathbb{E}\left[X\right]\mathbb{E}\left[Y\right] \]

\[\text{If X and Y are independent then}\Rightarrow\mathrm{E}\left[XY\right]=\mathbb{E}\left[X\right]\mathbb{E}\left[Y\right]\Rightarrow\mathrm{Cov}\left(X,Y\right)=0. \]

协方差性质:

\[\mathrm{Cov~(X,Y)=Cov~(Y,X)} \]

\[\mathrm{~Cov~(cX,Y)=c~Cov~(X,Y)} \]

\[\mathrm{Cov~(X,Y+Z)=Cov~(X,Y)+Cov~(X,Z)} \]

相关系数:

\[\rho\left(X,Y\right)=\frac{\mathrm{Cov}\left(X,Y\right)}{\sqrt{\mathrm{Var}\left(X\right)\mathrm{Var}\left(Y\right)}}-1\leqslant\rho\left(X,Y\right)\leqslant1 \]

posted @ 2026-10-22 20:32  narilove  阅读(24)  评论(0)    收藏  举报