【学习笔记】概率论与数理统计 PMS Chapter 3 多维随机变量及其分布

PMS Chapter 3 多维随机变量及其分布

目录

• PMS Chapter 3 多维随机变量及其分布
  • 3.1 二维随机变量
  • 3.2 边缘分布
    • 3.2.1 边缘分布函数定义
    • 3.2.2 二维离散型随机变量 \((X,Y)\) 的边缘分布律
    • 3.2.3 二维连续型随机变量 \((X,Y)\) 的边缘密度
  • 3.3 条件分布
    • 3.3.1 离散型随机变量的条件分布
    • 3.3.1 连续型随机变量的条件分布
  • 3.4 相互独立的随机变量
    • 3.4.1 离散型随机变量 \(X\) 和 \(Y\) 相互独立的判定
    • 3.4.2 连续型随机变量 \(X\) 和 \(Y\) 相互独立的判定
  • 3.5 两个随机变量函数的分布
    • 3.5.1 二维离散型随机变量函数的分布
    • 3.5.2 二维连续型随机变量函数的分布
    • 3.5.3 离散型+连续型的分布
    • 3.5.4 \(max\{X,Y\}\) 和 \(min\{X,Y\}\) 的分布

3.1 二维随机变量

• 联合分布定义：\(F(x,y)=P\{X\leq x,Y\leq y\}\).

• 性质：

  • \(0\leq F(x,y)\leq 1\).

  • \(F(-\infty,y)=F(x,-\infty)=F(-\infty,-\infty)=0\)；\(F(+\infty,+\infty)=1\).

    • 若 \(F(x,y)\) 关于 \(x\) 不减，则 \(\forall x_1<x_2,F(x_1,y)\leq F(x_2,y)\)；

      若 \(F(x,y)\) 关于 \(y\) 不减，则 \(\forall y_1<y_2,F(x,y_1)\leq F(x,y_2)\).

  • \(F(x,y)\) 关于 \(x,y\) 右连续，即 \(F(x+0,y)=F(x,y)\)；\(F(x,y+0)=F(x,y)\).

  • 若 \(x_1<x_2,y_1<y_2\)，则 \(F(x_2,y_2)-F(x_2,y_1)-F(x_1,y_2)+F(x_1,y_1)\geq 0\).

• 公式：

  • \(P\{x_1<X\leq x_2,y_1< Y\leq y_2\}=F(x_2,y_2)-F(x_2,y_1)-F(x_1,y_2)+F(x_1,y_1)\).
  • \(P\{x_1< X\leq x_2,Y\leq y\}=F(x_2,y)-F(x_1,y)\)；\(P\{X\leq x,y_1<Y\leq y_2\}=F(x,y_2)-F(x,y_1)\).

3.2 边缘分布

3.2.1 边缘分布函数定义

\[F_X(x)=P\{X\leq x\}=P\{X\leq x,Y<+\infty\}=F(x,+\infty)=\lim_{y\to +\infty}F(x,y),\\ F_Y(y)=P\{Y\leq y\}=P\{X<+\infty,Y\leq y\}=F(+\infty,y)=\lim_{x\to +\infty}F(x,y). \]

3.2.2 二维离散型随机变量 \((X,Y)\) 的边缘分布律

列表，\(X\) 的分布为对行求和， \(Y\) 的分布为对列求和。

3.2.3 二维连续型随机变量 \((X,Y)\) 的边缘密度

\[f_X(x)=\int_{-\infty}^{\infty}f(x,y)dy, \\ f_Y(y)=\int_{-\infty}^{\infty}f(x,y)dx. \]

[!note]

\((X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)\,\Rightarrow\,X\sim N(\mu_1,\sigma_1^2),Y\sim N(\mu_2,\sigma_2^2)\)，即二维正态分布的边缘分布是一维正态分布.

反之不然，由 \(X,Y\) 都服从正态分布 \(\nRightarrow\) \((X,Y)\) 服从正态分布.

只有 \(X\sim N(\mu_1,\sigma_1^2),Y\sim N(\mu_2,\sigma_2^2)\)，且 \(X\) 与 \(Y\) 独立 \(\Rightarrow\,(X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,0)\).

3.3 条件分布

3.3.1 离散型随机变量的条件分布

\[P\{X=x_i|Y=y_j\}=\frac{P\{X=x_i,Y=y_j\}}{P\{Y=y_j\}}=\frac{P_{ij}}{P_{\cdot j}},\\ P\{Y=y_j|X=x_i\}=\frac{P\{X=x_i,Y=y_j\}}{P\{X=x_i\}}=\frac{P_{ij}}{P_{i\cdot}}. \]

3.3.1 连续型随机变量的条件分布

• 定义：

  \[\text{给定}\,y\,,f_Y(y)>0\,,f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)},\\ \text{给定}\,x\,,f_X(xf>0\,,_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}. \]

• 性质：

  • \(f_{X|Y}(x|y)\geq 0\)，\(\int_{-\infty}^{\infty}f_{X|Y}(x|y)\,dx=1\).

  • 已知 \(f(x,y)\rightarrow f_X(x),f_Y(y) \rightarrow f_{X|Y}(x|y),f_{Y|X}(y|x)\)；

    已知 \(f_X(x),f_Y(y)\land f_{X|Y}(x|y),f_{Y|X}(y|x)\rightarrow f(x,y)\).

  • 若 \(X,Y\) 独立，\(f(x,y)=f_X(x)\cdot f_Y(y)\).

3.4 相互独立的随机变量

3.4.1 离散型随机变量 \(X\) 和 \(Y\) 相互独立的判定

• 若二维离散型随机变量 \(X\) 和 \(Y\) 相互独立，则：

\[P\{X=x_i,Y=y_j\}=P\{X=x_i\}\cdot P\{Y=y_j\}. \]

1. 联合分布 \(\Rightarrow\) 边缘分布；

   边缘分布 \(\nRightarrow\) 联合分布；边缘分布且独立 \(\Rightarrow\) 联合分布；

2. 若独立，则条件分布 \(=\) 边缘分布.

   \[P\{X=x_i|Y=y_j\}=\frac{P\{X=x_i,Y=y_j\}}{P\{Y=y_j\}}=\frac{P\{X=x_i\}\cdot P\{Y=y_j\}}{P\{Y=y_j\}}=P\{X=x_i\}. \]

3.4.2 连续型随机变量 \(X\) 和 \(Y\) 相互独立的判定

• 若二维连续型随机变量 \(X\) 和 \(Y\) 相互独立，则：

\[f(x,y)=f_X(x)\cdot f_Y(y). \]

\[ (X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho),X\text{ 和 }Y \text{ 相互独立 }\Leftrightarrow \rho =0 \]

\[ (X,Y) \text{ 在矩形区域 } a\leq x\leq b,c\leq y\leq d \text{ 内均匀分布 }\Rightarrow X,Y\text{ 相互独立 }.\\ \]

\[ (X,Y) \text{ 在圆域 } x^2+y^2\leq R^2 \text{ 内均匀分布 }\Rightarrow X,Y\text{ 不独立 }. \]

\[ f(x,y)\Rightarrow f_X(x),f_Y(y);\\ f_X(x),f_Y(y)\nRightarrow f(x,y);\; X,Y\text{ 独立 }\Rightarrow f(x,y)=f_X(x)\cdot f_Y(y). \]

4. \(X,Y\) 独立 \(\Rightarrow\) 条件密度 \(=\) 边缘密度.

\[f_{X|Y}(x,y)=\frac{f(x,y)}{f_Y(y)}=\frac{f_X(x)\cdot f_Y(y)}{f_Y(y)}=f_X(x),\\ f_{Y|X}(x,y)=\frac{f(x,y)}{f_X(x)}=\frac{f_X(x)\cdot f_Y(y)}{f_X(x)}=f_Y(y),\\ \]

• 推论：

  1. 若 \(X\) 和 \(Y\) 相互独立，\(g_1(x)\) 和 \(g_2(y)\) 是一元连续函数，则 \(g_1(X)\) 和 \(g_2(Y)\) 相互独立.

3.5 两个随机变量函数的分布

3.5.1 二维离散型随机变量函数的分布

1. 若 \(X_1,X_2\) 满足 \(0-1\) 分布，发生的概率为 \(p\) ，则 \((Z=X_1+X_2)\sim B(2,p)\).
2. 若 \(X_1,X2,..,X_n\) 满足 0−1 分布，发生的概率为 \(p\) ，则 \((Z=\sum_{i=1}^{n}X_i)∼B(n,p)\).
3. 若 \(X\sim B(n,p),Y\sim B(m,p)\)，则\((Z=X+Y)\sim B(m+n,p)\).
4. 若 \(X\sim P(\lambda_1),Y\sim P(\lambda_2)\)，则 \((Z=X+Y)\sim P(\lambda_1+\lambda_2)\).

3.5.2 二维连续型随机变量函数的分布

• 已知 \((X,Y)\sim f(x,y)\)，\(Z=g(X,Y)\)，求 \(f_Z(z)\).

1. 方法1（通用）：

\[\begin{align} F_Z(z)=&P\{Z\leq z\}=P\{g(X,Y)\leq z\}={\iint}_{g(x,y)\leq z} f(x,y)\,dxdy,\\ f_Z(z)=&F_Z’(z). \end{align} \]

2. 方法2（只适用于 \(Z=X+Y\))：

   \[f_Z(z)=\int_{-\infty}^{\infty}f(x,z-x)\,dx,\\ f_Z(z)=\int_{-\infty}^{\infty}f(z-y,x)\,dx. \]

   推导：

   \[\begin{align} F_Z(z) =& P\{Z\leq z\}=P\{X+Y\leq z\}\\ =&{\iint}_{x+y\leq z}f(x,y)\,dxdy \\ =&\int_{-\infty}^{\infty}\,dx\int_{-\infty}^{z-x}f(x,y)\,dy \\ \stackrel{y=t-x}{=}&\int_{-\infty}^{\infty}\,dx\int_{-\infty}^{z}f(x,t-x)\,dt \\ =& \int_{-\infty}^{z}\,dt\int_{-\infty}^{\infty}f(x,t-x)\,dx. \end{align} \]

   \[\begin{align} \therefore f_Z(z)=&F_Z'(z) \\ =& \int_{-\infty}^{\infty}f(x,z-x)\,dx. \end{align} \]

   若 \(X,Y\) 相互独立，则：

   \[f_Z(z)=\int_{-\infty}^{\infty}f_X(x)f_Y(z-x)\,dx,\\ f_Z(z)=\int_{-\infty}^{\infty}f_X(z-y)f_Y(y)\,dy. \]

• 结论：若 \(X\sim N(\mu_1,\sigma_1^2),Y\sim N(\mu_2,\sigma_2^2)\)，则：

1. \(X\pm Y\sim N(\mu_1\pm\mu_2,\sigma_1^2+\sigma_2^2)\).
2. \(aX\pm bY\sim N(a\mu_1\pm b\mu_2,a^2\sigma_1^2+b^2\sigma_2^2)\).

3.5.3 离散型+连续型的分布

3.5.4 \(max\{X,Y\}\) 和 \(min\{X,Y\}\) 的分布

以下令 \(M=max\{X,Y\},N=min\{X,Y\}\)，其中 \(X,Y\) 相互独立.

\[\begin{align} F_M\{z\}=&P\{M\leq z\}=P\{max\{X,Y\}\leq z\}\\ =&P\{X\leq z,Y\leq z\}\\ =&P\{X\leq z\}\cdot P\{Y\leq z\}\\ =&F_X(z)\cdot F_Y(z). \end{align} \]

\[\begin{align} F_N(z)=&P\{N\leq z\}=P\{min\{X,Y\}\leq z\}\\ =&1-P\{min\{X,Y\}>z\}\\ =&1-P\{X>z,Y>z\}=1-P\{X>z\}\cdot P\{Y>z\}\\ =&1-[1-P\{X\leq z\}]\cdot[1-P\{Y\leq z\}]\\ =&1-[1-F_X(z)]\cdot[1-F_Y(z)]\\ =&F_X(z)+F_Y(z)-F_X(z)\cdot F_Y(z). \end{align} \]