概率论导论 —— 联合分布（一）

目录

• 前言
• 鸡-蛋问题
• 柯西分布概率密度函数
• 灯泡是哪家生产的？
• 二维\(LOTUS\)
  • 两个均匀随机变量的期望距离
  • 两个正态随机变量的期望距离
  • 利用二维\(LOTUS\)证明期望的线性性质

前言

本篇笔记记录在学习《概率论导论（翻译版）》第七章——联合分布的过程中，遇到的一些有趣的例题。笔者以为其中关于问题的转化方式和积分技巧的应用是非常惊艳的。

鸡-蛋问题

• 泊松过程
• 问题描述：假设一只鸡随机生产\(N\)枚鸡蛋，\(N\sim Pois(\lambda)\)。每枚鸡蛋以概率\(p\)独立孵化，孵化失败的概率为\(q=1-p\)。令\(X\)为成功孵化的鸡蛋数量，\(Y\)代表没有孵化的鸡蛋个数，因此\(X+Y=N\)。求\(X\)和\(Y\)的联合概率质量函数。
• \(Solution\)：
  • 先求对于非负整数\(i\)和\(j\)的联合概率质量函数\(P(X=i,Y=j)\)。根据鸡蛋总数为\(N\)这一条件，鸡蛋孵化符合成功概率为\(p\)的伯努利试验，因此由二项分布，\(X\)和\(Y\)的条件分布为\(X|N=n\sim Bin(n,p)\)和\(Y|N=n\sim Bin(n,q)\)。由于只知道鸡蛋总数会使得求解变得更加容易，因此我们理想地以为：在给定\(N\)的条件下应用全概率公式，可得
    \[P(X=i,Y=j)=\sum_{n=0}^∞P(X=i,Y=j|N=n)P(N=n) \]
    式中的求和号是在固定\(i\)和\(j\)时对\(n\)的所有可能指求和。但是除了\(n=i+j\)外，无法得到\(X=i,Y=j\)。例如，想恰好得到\(5\)个孵化的鸡蛋和\(6\)个未孵化的鸡蛋的唯一办法是总共有\(11\)个鸡蛋。因此，
    \[P(X=i,Y=j|N=n)=0 \]
    除非\(n=i+j\)，这意味着求和号中的其他部分可以被丢弃：
    \[P(X=i,Y=j)=P(X=i,Y=j|N=i+j)P(N=i+j) \]
    根据\(N=i+j\)的条件可知，时间\(X=i\)和\(Y=j\)完全等同，因此可以进一步化简为\(P(X=i|N=i+j)\)。
  • 因此：
    \[P(X=i,Y=j)=P(X=i|N=i+j)P(N=i+j)=\left(\begin{matrix}i+j\\i\end{matrix}\right)p^iq^j\cdot{e^{-\lambda}\lambda^{i+j}\over(i+j)!} \]
    \[={e^{-\lambda p}(\lambda p)^i\over i!}{e^{-\lambda q}(\lambda q)^j\over j!} \]

  • 这里将联合质量函数分解为\(Pois(\lambda p)\)的概率质量函数（作为\(i\)的函数）和\(Pois(\lambda q)\)的概率质量函数（作为\(j\)的函数）的乘积。这告诉我们两个事实：
    1. 因为\(X\)和\(Y\)的联合概率质量函数是其边缘概率质量函数的乘积，所以\(X\)和\(Y\)相互独立；
    2. \(X\sim Pois(\lambda p)\)，且\(Y\sim Pois(\lambda q)\)。
• 起初\(X\)独立于\(Y\)可能看起来很违反直觉。难道不是知道孵化的鸡蛋多就意味着可能没有那么多鸡蛋未孵化吗？对于固定数量的鸡蛋，这种独立性是不存在的：因为在得知孵化鸡蛋的数量后就等于确定了未孵化鸡蛋的数量。但在本例中，鸡蛋的数量是随机的，且服从泊松分布，这恰好是使\(X\)和\(Y\)无条件独立的一种随机性。
• “鸡-蛋”问题对泊松分布与二项分布的关系做出补充：
  离散型随机分布
  • 若\(X\sim Pois(\lambda p)\)，\(Y\sim Pois(\lambda q)\)，且\(X\)和\(Y\)是独立的，则\(N=X+Y\sim Pois(\lambda)\)，且\(X|N=n\sim Bin(n,p)\)
  • 若\(N\sim Pois(\lambda)\)且\(X|N=n\sim Bin(n,p)\)，则\(X\sim Pois(\lambda p)\)，\(Y=N-X\sim Pois(\lambda q)\)，且\(X\)和\(Y\)是相互独立的。

柯西分布概率密度函数

• 问题描述：设\(X\sim N(0,1)\)，\(Y\sim N(0,1)\)，且\(X\)与\(Y\)相互独立，且\(T={X\over Y}\)，则\(T\)服从于著名的柯西分布，求\(T\)的概率密度函数。
• \(Solution\)：
  • 先求\(F_T(t)\)：
    \[F_T(t)=P(T\leq t)=P({X\over Y}\leq t) \]
    由标准分布的对称性，\({X\over Y}\)与\({X\over\left|Y\right|}\)的分布一致，因此，
    \[F_T(t)=P({X\over\left|Y\right|}\leq t)=P(X\leq t\left|Y\right|) \]

  • 对于\(-∞<x<+∞,-∞<y<+∞\)，且\(x\leq t|y|\)区域进行积分：
    \[P(X\leq t|Y|)=\int_{-∞}^{+∞}\int_{-∞}^{t|y|}{1\over\sqrt{2\pi}}e^{-{x^2\over2}}\cdot{1\over\sqrt{2\pi}}e^{-{y^2\over2}}dxdy=\int_{-∞}^{+∞}{1\over\sqrt{2\pi}}e^{-{y^2\over2}}\left(\int_{-∞}^{t|y|}{1\over\sqrt{2\pi}}e^{-{x^2\over2}}dx\right)dy \]
    \[=\int_{-\infty}^{+\infty}{1\over\sqrt{2\pi}}e^{-{y^2\over2}}\cdot\Phi(t|y|)dy=\sqrt{{2\over\pi}}\int_0^{+\infty}e^{-{y^2\over2}}\cdot\Phi(ty)dy \]

  • 这里不再求解这个复杂的积分，因为最终我们要求解的就是柯西分布的概率密度函数，而非累积分布函数，在条件较弱时，允许交换积分和求导的顺序：
    \[f_T(t)=F'_T(t)=\sqrt{2\over\pi}\int_0^{+\infty}{d\over dt}(e^{-{y^2\over2}}\Phi(ty))dy=\sqrt{2\over\pi}\int_0^{+\infty} y\cdot e^{-{y^2\over2}}\varphi(ty)dy={1\over\pi}\int_0^{+\infty}y\cdot e^{-{(1+t^2)y^2\over2}}dy \]
    令\(u=(1+t^2)\cdot {y^2\over2}\)，则\(du=(1+t^2)ydy\)，
    \[f_T(t)={1\over\pi(1+t^2)},t\in R \]

  • 因为\(\int_0^{+\infty}{1\over\pi(1+t^2)}dt={1\over\pi}(arctan(+\infty)-arctan(-\infty))=1\)，则\(f_T(t)\)是有效的概率密度函数。
  • 柯西分布的概率密度函数与标准正态分布类似，但是相比于标准正态分布，具有更厚的尾部，但是我们不能通过\(Kert\)进行考究，原因在于柯西分布有一个有趣的事实就是，尽管它的\(PDF\)图像是关于\(x=0\)对称的，但是它的期望是不存在的，因为\(\int_{-\infty}^{+\infty}{t\over\pi(1+t^2)}dt\)不收敛（对于极大的\(t\)，\({t\over(1+t^2)}≈{1\over t}\)，且\(\int_1^{+\infty}{1\over t}dt=\infty\)。同理，柯西分布的方差和更高阶矩都不存在。
    
    蓝色实线为标准正态分布的\(PDF\)曲线，红色虚线为柯西分布的\(PDF\)曲线。

灯泡是哪家生产的？

• 问题描述：两家公司制造同一种灯泡。公司\(0\)制造的灯泡使用寿命服从指数分布\(Expo(\lambda_0)\)，公司\(1\)制造的灯泡的使用寿命服从\(Expo(\lambda_1)\)，且\(\lambda_0<\lambda_1\)。抽检的灯泡由\(0\)公司制造的概率为\(p_0\)，由公司\(1\)制造的概率为\(p_1=1-p_0\)，但我们不能准确确定抽检的灯泡是哪家公司制造的。
  令\(T\)表示灯泡使用寿命，\(I\)是该灯泡由公司\(1\)生产的示性随机变量。
  1. 求\(T\)的累积分布函数和概率密度函数。
  2. \(T\)是否具有“无记忆性”？
  3. 给定\(T=t\)时，求\(I\)的条件分布。当\(t\rightarrow\infty\)时分布是什么？
• \(Solution\)：
  1. 由全概率公式得，
     \[F_T(t)=P(T\leq t)=P(T\leq t|I=1)P(I=1)+P(T\leq t|I=0)P(I=0) \]
     \[=p_1(1-e^{-\lambda_1 t})+p_0(1-e^{-\lambda_0 t})=1-p_0e^{-\lambda_0 t}-p_1e^{-\lambda_1 t} \]
     \[f_T(t)=F'_T(t)=p_0\lambda_0e^{-\lambda_0 t}+p_1\lambda_1e^{-\lambda_1 t},t>0 \]

  2. 由于\(\lambda_0\neq\lambda_1\)，上述联合概率密度函数无法表示成\(\lambda e^{-\lambda t}\)的形式，因为唯一具有“无记忆性”的连续分布只有指数分布，因此我们所求的\(f_T(t)\)的分布不具有“无记忆性”。
  3. 由贝叶斯准则，
     \[P(I=1|T=t)={f_{T,I}(t|I=1)P(I=1)\over f_T(t)}={p_1\lambda_1e^{-\lambda_1t}\over p_0\lambda_0e^{-\lambda_0t}+p_1\lambda_1e^{-\lambda_1t}}={p_1\lambda_1\over p_0\lambda_0e^{(\lambda_1-\lambda_0)t}+p_1\lambda_1} \]
     即\(I|T=t\sim Bern({p_1\lambda_1\over p_0\lambda_0e^{(\lambda_1-\lambda_0)t}+p_1\lambda_1})\)，当\(t\rightarrow\infty\)时，该概率趋于\(0\)，这种结果直观上也是有意义的，即灯泡的使用时间越长，就越确幸它是公司\(0\)制造的，因为公司\(0\)有更低的故障率\(\lambda\)和更长的预期寿命\({1\over\lambda}\)。

二维\(LOTUS\)

\(LOTUS\)的二维版本允许使用\(X\)和\(Y\)的联合分布计算两个随机变量\(X\)和\(Y\)的函数的数学期望。

• 定义：令\(g\)是从\(R^2\)到\(R\)的函数，若\(X\)和\(Y\)是离散型的，则
  \[E\left(g\left(X,Y\right)\right)=\sum_x\sum_yg(x,y)P(X=x,Y=y) \]
  若\(X\)和\(Y\)是连续型的，联合概率密度函数为\(f_{X,Y}\)，则
  \[E\left(g\left(X,Y\right)\right)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)f_{X,Y}(x,y)dxdy \]
  类似于一维的\(LOTUS\)，二维\(LOTUS\)不需要求\(g(X,Y)\)的分布就可以计算期望，只需要联合概率质量函数或联合概率密度函数。

两个均匀随机变量的期望距离

• 题目描述：对于\(X,Y^{i.i.d.}\sim Unif(0,1)\)，求\(E(|X-Y|)\).
• \(Solution\)：
  • 由于联合概率密度函数在单位区域\(\{(x,y):x,y\in[0,1]\}\)上等于\(1\)，所以由二维\(LOTUS\)，得
    \[E(|X-Y|)=\int_0^1\int_0^1|x-y|dxdy=\int_0^1\int_y^1(x-y)dxdy+\int_0^1\int_0^y(y-x)dxdy=2\int_0^1\int_y^1(x-y)dxdy \]
    \[={1\over3} \]

  • 通过上述问题得解决，我们也可以算出\(M=max(X,Y)\)和\(L=min(X,Y)\)的期望，由于\(M+L\)与\(X+Y\)服从同一个分布\([X+Y\sim Unif(0,2)]\)，且\(M-L\)与\(|X-Y|\)服从同一个分布，因此：
    \[E(M+L)=E(X+Y)=1;E(M-L)=E(|X-Y|)={1\over3} \]
    由期望的线性性质，我们可得\(E(M)={2\over3},E(L)={1\over3}\)。作为检验，\(E(M)\)应该大于\(E(L)\)且\(E(M)\)、\(E(L)\)应该与\({1\over2}\)等距（对称性）。

两个正态随机变量的期望距离

• 问题描述：对于\(X,Y^{i.i.d.}\sim N(0,1)\)，求\(E(|X-Y|)\).
• \(Solution\)：
  • 由二维\(LOTUS\)，得
    \[E(|X-Y|)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}|x-y|{1\over\sqrt{2\pi}}e^{-{x^2\over2}}\cdot{1\over\sqrt{2\pi}}e^{-{y^2\over2}}dxdy \]
    一种简单的解决方法就是使用几个独立正态分布的随机变量的和或差仍是正态分布的事实（可用第六章矩来继续来证明）
  • 因为\(X\sim N(0,1)\rightarrow -X\sim N(0,1)\)，则\(X-Y=X+(-Y)\sim N(0,2)\)，则\(X-Y=\sqrt{2}Z\)，其中\(Z\sim N(0,1)\)。至此，我们将二维\(LOTUS\)转化为了一维\(LOTUS\)：
    \[E(|X-Y|)=E(|\sqrt{2}Z|)=\sqrt{2}E(|Z|) \]
    \[E|Z|=\int_{-\infty}^{+\infty}|z|{1\over\sqrt{2\pi}}e^{-{z^2\over2}}dz=2\int_0^{+\infty}z{1\over\sqrt{2\pi}}e^{-{z^2\over2}}dz \]
    令\(u={z^2\over2}\)，则\(du=zdz\)，于是有
    \[E|Z|=\sqrt{2\over\pi}\int_0^{\infty} e^{-u}du=\sqrt{2\over\pi} \]
    则\(E(|X-Y|)={2\over\sqrt{\pi}}\)。

利用二维\(LOTUS\)证明期望的线性性质

• 令\(X\)和\(Y\)是连续型随机变量序列（类似的方法同样适用于离散情况），则由二维\(LOTUS\)，可得：
  \[E(X+Y)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}(x+y)f_{X,Y}(x,y)dxdy \]
  \[=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}xf_{X,Y}(x,y)dxdy+\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}yf_{X,Y}(x,y)dxdy=E(X)+E(Y) \]
  因为\(g(X,Y)=X\)也是\(R^2\)到\(R\)的函数，因此我们可以将前半部分的积分视作\(E(g(X,Y))=E(X)\)的期望求解，后半部分同理。
• 其中最后一部分的计算也可以写为：
  \[\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}yf_{X,Y}(x,y)dxdy=\int_{-\infty}^{+\infty}y\left(\int_{-\infty}^{+\infty}f_{X,Y}(x,y)dx\right)dy \]
  此时括号中的第一个积分就是求解\(Y\)的边缘概率密度函数的定义式，于是有：
  \[=\int_{-\infty}^{+\infty}yf_Y(y)dy=E(Y) \]