概率论与数理统计公式梳理

目录

• 概率论与数理统计公式梳理
  • 公理化
    • 性质公式
      • 有限可加性
      • 逆事件
      • 减法公式
      • 加法公式
  • 条件概率及推论
    • 条件概率
      • 条件概率定义式
      • 变式——乘法公式
      • 推广——乘法定理
    • 全概率
      • 全概率公式
      • 贝叶斯公式
  • 事件的独立性
    • 事件独立性的定义
    • 事件独立性的推论
  • 离散型随机变量的分布律
    • 0-1分布
    • 二项分布
    • 几何分布
    • 泊松(Poison)分布
  • 连续型随机变量的分布律
    • 均匀分布
      • 密度函数
      • 分布函数(积分)
    • 指数分布
      • 密度函数
      • 分布函数
    • 正态分布
      • 密度函数
      • 标准正态分布
      • 标准正态分布的分布函数
      • 其他正态分布函数到标准正态分布函数的转化
  • 二维随机变量
    • 二维连续型随机变量联合密度函数
      • 二维均匀分布
      • 二维正态分布
    • 边缘分布
      • 边缘分布函数
      • 边缘分布律-概率可加性
      • 边缘分布密度函数
    • 多维(二维为例)的独立可分性
      • 连续型
      • 离散型
  • 随机变量的函数及其分布
    • 一维随机变量函数
      • 离散型随机变量函数的分布律
      • 连续性随机变量函数的分布函数与密度函数
        • 推论-反函数
    • 多维随机变量的函数
      • 离散型二维随机变量函数的分布律
        • 推论-泊松分布可加性
      • 连续型二维随机变量函数
        • 推论-正态分布可加性
      • 极大极小分布
  • 数字特征
    • 均值
      • 定义
      • 性质
    • 中位数
      • 定义
      • 性质
    • 分位数
    • 方差和标准差
      • 方差
        • 定义
        • 推论——平方的均值减去均值的平方（均值连在一起）
        • 性质
      • 标准差
        • 定义
  • 常见分布的方差及其均值表
  • 协方差
    • • 定义
      • 性质
      • 相关系数
        • 定义
        • 性质
  • 中心极限定理
    • 独立同分布的中心极限定理

概率论与数理统计公式梳理

公理化

性质公式

---

有限可加性

对任意有限个互斥事件\(A_1,A_2,A_3,\dots,A_n\),有

\[P(\bigcup\limits_{k=1}^nA_i)=\sum\limits_{k=1}^nP(A_i) \tag 1 \]

---

逆事件

\[P(\bar A)=1-P(A) \tag 2 \]

---

减法公式

\[P(B-A)=P(B)-P(AB) \tag 3 \]

---

加法公式

\[P(A\cup B)=P(A)+P(B)-P(AB) \tag 4 \]

--

条件概率及推论

条件概率

条件概率定义式

\[P(A|B)=\frac{P(AB)}{P(B)}\tag 5 \]

变式——乘法公式

\[P(AB)=P(B)×P(A|B)=P(A)×P(B|A)\tag 6 \]

推广——乘法定理

\[P(A_1A_2\dots A_n)=P(A_1)P(A_2|A_1)\dots P(A_n|A_1A_2\dots A_{n-1})\tag 7 \]

全概率

全概率公式

设事件\(A_1,A_2,A_3,\dots,A_n\)两两互斥，且对任意\(0 \leq i\leq n，P(A_i) \geq0\),

\[P(B)=\sum\limits_{i=0}^{n}P(A_i)P(B|A_i) \tag 8 \]

贝叶斯公式

\[P(A_i|B)=\frac{P(A_i)P(B|A_i)}{\sum\limits_{k=1}^{n}P(A_k)P(B|A_k)} \tag 9 \]

事件的独立性

事件独立性的定义

若对于事件\(A,B\)满足

\[P(AB)=P(A)\cdot P(B) \tag {10} \]

则称事件\(A,B\)相互独立。

事件独立性的推论

与公式(6)相关,若事件\(A,B\)相互独立，则有

\[P(A)=P(A|B)\\ P(B)=P(B|A)\tag {11} \]

离散型随机变量的分布律

0-1分布

\[\begin {array}{c|cc} X & 0&1\\ Y&1-p&p \end {array} \]

二项分布

\[\begin {array}{c|cc} X&0&1&2&\dots &k&\dots&n\\ Y&(1-p)^n&\binom{n}{1}p(1-p)^{n-1}&\binom{n}{2}p^2(1-p)^{n-2}&\dots&\binom{n}{k}p^k(1-p)^{n-k}&\dots &p^n \end {array}\tag{12} \]

其中\(p\)是指在n重伯努利实验中，事件\(A\)发生的概率，\(X\)指事件\(A\)发生的次数。

分布律也可写成

\[P(X=k)=\binom{n}{k}p^k(1-p)^{n-k}\tag{13} \]

几何分布

\[P(X=k)=(1-p)^{n-1}\cdot p\tag{14} \]

泊松(Poison)分布

\[P(X=k)=\frac{\lambda^k}{k!}e^{-\lambda}\tag{15} \]

若随机变量\(X\)服从泊松分布，则记作\(X\sim P(\lambda)\)或者\(X \sim \pi(\lambda)\)

连续型随机变量的分布律

均匀分布

密度函数

\[f(x)= \begin{cases} \frac{1}{b-a}&,a<x<b\\ 0&,else \end{cases}\tag{16} \]

分布函数(积分)

\[F(x)=\int^{x}_{-\infty} f(x)dx=\begin{cases} \frac{1}{b-a}x&,a<x<b\\ 0&,else \end{cases}\tag{17} \]

指数分布

密度函数

\[f(x)=\begin{cases} \lambda e^{-\lambda x}&,x>0\\ 0&,else \end{cases}\tag{18} \]

分布函数

\[F(x)=\int^{x}_{-\infty}f(t)dt= \begin{cases} 0&,x<0,\\ 1-e^{-\lambda x}&,x\geqslant 0 \end{cases}\tag{19} \]

正态分布

密度函数

\[f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\tag{20} \]

记为\(X\sim N(\mu,\sigma^2)\)其中\(\mu\)为均值，\(\sigma^2\)为标准差。

标准正态分布

\(X\sim N(\mu,\sigma^2 )\)，令\(\mu=0,\sigma^2=1\)，即\(X\sim N(0,1)\)就得到标准正态分布

\[f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}\tag{21} \]

标准正态分布的分布函数

\[\Phi(x)=\int_{-\infty}^x f(t)dt=\int_{-\infty}^x\frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt\tag{22} \]

其他正态分布函数到标准正态分布函数的转化

\[X\sim N(\mu,\sigma^2)=\frac{X-\mu}{\sigma}\sim N(0,1)\tag{23} \]

二维随机变量

二维连续型随机变量联合密度函数

二维均匀分布

\[P(x,y)=\begin{cases} \frac{1}{G的面积}&,(x,y)\in G\\ 0&,else \end{cases}\tag{24} \]

其中\(G\)代表随机变量\(X,Y\)分布的区域。

二维正态分布

\[(X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)\tag{25} \]

其中\(\mu_1,\mu_2\) 分别代表\(X,Y\)的均值，\(\sigma_1,\sigma_2\)分别代表\(X,Y\)的方差。

边缘分布

边缘分布函数

对于联合分布函数\(F(x,y)\)

• \(X\)分量的边缘分布函数

  \[F_X(x)=P(X\leqslant x,Y< +\infty)=\lim \limits_{y\rightarrow+\infty}F(x,y)=F(x,+\infty)\tag{26} \]

• \(Y\)分量的边缘分布函数

  \[F_Y(y)=P(X<+\infty,Y\leqslant y)=\lim \limits_{x\rightarrow+\infty}F(x,y)=F(+\infty,y)\tag{27} \]

边缘分布律-概率可加性

设联合分布律\(P(X=x_i,Y=y_j)=p_{ij}\)其中\(i,j\in(1,2\cdots n)\)

• \(X\)分量的边缘分布律

  \[P(x=x_i)=P(X=x_i,Y<+\infty)=\sum\limits_{j=1}^{n}p_{ij}=p_{i\cdot}\qquad\boxed{i是x_i的i，对于每个x_i求和时不变}\tag{28} \]

• \(Y\)分量的边缘分布律

  \[P(y=y_j)=P(X<+\infty,Y=y_j)=\sum\limits_{i=1}^{n}p_{ij}=p_{\cdot j}\qquad\boxed{j是y_j的j，对于每个y_j求和时不变}\tag{29} \]

边缘分布密度函数

• \(X\)分量的边缘分布密度函数

  \[f_X(x)=\int _{-\infty}^{+\infty}f(x,y) dy\qquad\boxed{x已知,y是变量} \tag{30} \]

• \(Y\)分量的边缘分布密度函数

  \[f_Y(y)=\int _{-\infty}^{+\infty}f(x,y) dx\qquad\boxed{y已知,x是变量}\tag{31} \]

多维(二维为例)的独立可分性

连续型

若随机变量\(X,Y\)满足

\[P(X\leqslant x,Y\leqslant y)=P(X\leqslant x)\cdot P(Y\leqslant y)\tag {32} \]

则称随机变量\(X,Y\)相互独立(互为充要条件)

• 有联合分布函数和边缘分布函数关系如下

\[F(x,y)=F_X(x)\cdot F_Y(y)\tag{33} \]

离散型

随机变量\(X,Y\)___相互独立___等价于

\[P(X=x_i,Y=y_j)=P(X=x_i)\cdot P(Y=y_j)\\(i,j=1,2,3,4\cdots n)\tag{34} \]

即

\[p_{ij}=p_i\cdot p_j\\(i,j=1,2,3,4\cdots n)\tag{35} \]

随机变量的函数及其分布

一维随机变量函数

离散型随机变量函数的分布律

设随机变量\(X,Y\)，\(g(x)\)为一元函数，\(Y=g(X)\)，已知\(X\)的分布律

\[\begin{array}{c|cccc} X&x_1&x_2&\cdots&x_i&\cdots&\\ \hline P&p_1&p_2&\cdots&p_i&\cdots& \end {array} \]

则\(Y=g(X)\boxed{随机变量的函数}\)的分布律为

\[\begin{array}{c|ccccl} Y&g(x_1)&g(x_2)&\cdots&g(x_i)&\cdots&\boxed{x_i就是对应上面X分布律的随机变量}\\ \hline P&p_1&p_2&\cdots&p_i&\cdots&\boxed{p_i就是对应上面X分布律的概率} \end {array} \]

其中如果\(g(x_i)\)的值相同，但\(x_i\)不同，可以把不同的\(x_i\)对应的\(p_i\)相加，作为\(g(x_i)\)的值

连续性随机变量函数的分布函数与密度函数

设随机变量\(X,Y\)，\(g(x)\)为一元连续函数，\(Y=g(X)\)，已知\(X\)的密度函数\(f_X(x)\)，则有，

• 分布函数

  \[F_Y(y)=P_Y(Y\leqslant y)=P_Y(g(x)\leqslant y)=P(X\in I_g)=\int_{I_g}f_X(x)dx \]

  \(I_g=\{x|g(x)\leqslant y\}\)是实数轴上某个集合，是关于\(y\)的一个积分区间。

• 密度函数

  \[f_Y(y)=F_Y'(y) \]

推论-反函数

设随机变量\(X,Y\)，\(g(x)\)为一元连续函数，\(Y=g(X)\)，已知\(X\)的密度函数\(f_X(x)\)，\(g(X\))有反函数\(X=h(Y)\)，则有

\[f_Y(y)=f_X(h(y))|h'(x)| \]

多维随机变量的函数

离散型二维随机变量函数的分布律

与一维情形一样，填表就可以。

设随机变量\(X,Y,Z\)，\(g(x,y)\)为二元函数，\(Z=g(X,Y)\)，已知\(X,Y\)的联合分布律，则有

\[P(Z)=P(g(X=x_i,Y=y_j))=p_{ij} \]

同样的如果\(g(x_i,y_j)\)相同但是\(x_i,y_j\)不同，就需要合并。

推论-泊松分布可加性

设随机变量\(X,Y\)相互独立，且依次服从\(P(\lambda_1),P(\lambda_2)\)，则\(Z=X+Y\sim P(\lambda_1+\lambda_2)\).

连续型二维随机变量函数

与一维情形一样，先求分布函数\(F_Z(z)\)，再求导求密度函数\(f_Z(z)\)。

• 分布函数

设随机变量\(X,Y,Z\)，\(g(x,y)\)为二元函数，\(Z=g(X,Y)\)，已知\(X,Y\)的联合分布函数\(F(x,y)\)，则有

\[F_Z(z)=F(g(X,Y)\leqslant z)=F((X,Y)\in D_z)=\iint_{D_z}F(x,y)dxdy \]

\(D_z\)是满足函数\(g(X,Y)\)的\(X,Y\)分布区域。

• 密度函数

\[f_Z(z)=F_Z'(z) \]

推论-正态分布可加性

设随机变量\(X,Y\)相互独立，且\(X\sim N(\mu_1,\sigma_1^2),Y\sim N(\mu_2,\sigma_2^2)\)，则\(Z=X+Y\sim N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)\).

极大极小分布

设有\(n\)个随机变量\(X_1,X_2,X_3\cdots X_n\)。

• 极小分布

  \(Y=\mathop{min}\limits_{1\leqslant i \leqslant n}X_i\)

  直接理解为，n维变量中，所有维度的变量\(X_i\)的取值任意(\(X_i\)的取值为\(x_i\)是可变的)组合后的极小值为\(y\)。

  有分布函数\(F_Y(y)\)

  \[\begin{equation} \begin{aligned} F_Y(y)&=1-P(X_1>y)P(X_2>y)\cdots P(X_n>y)\\ &=1-(1-F_{1}(y))(1-F_2(y))\cdots (1-F_n(y)) \end{aligned} \qquad -\infty<y<+\infty \end{equation} \]

• 极大分布

  \(Y=\mathop{min}\limits_{1\leqslant i \leqslant n}X_i\)

  有分布函数\(F_Z(z)\)

  \[\begin{equation} \begin{aligned} F_Z(z)&=1-P(X_1\leqslant z)P(X_2\leqslant z)\cdots P(X_n\leqslant z)\\ &=F_1(z)F_2(z)\cdots F_n(y) \end{aligned} \qquad -\infty<z<+\infty \end{equation} \]

数字特征

均值

定义

• 离散型求和

  \[E(X)=\sum\limits_i x_ip_i \]

  推广，令\(X=g(x)\)

  \[E(g(X))=\sum_{i}g(x_i)p_i \]

• 连续型积分

  \[E(X)=\int_{-\infty}^{+\infty}xf(x)dx \]

  推广，令\(X=g(x)\)

  \[E(g(X))=\int_{-\infty}^{+\infty}g(x)f(x)dx \]

性质

1. \(E(c)=c,c\mathbf{为常数}\)

2. \(E(aX+bY)=aE(X)+bE(Y),a,b\mathbf{为常数}\)

3. \(\mathbf{若X,Y独立},则E(XY)=E(X)E(Y)\)

中位数

定义

满足\(F(x)=\frac{1}{2}\)的取值\(x\)，我们称其为中位数，记为\(\mu_{0.5}\)。

性质

\[P(X\leqslant \mu_{0.5})=F(\mu_{0.5})=\frac{1}{2}=P(X\geqslant\mu_{0.5}) \]

分位数

给定\(0<\alpha<1\)，使得\(P(X\leqslant x)=\alpha\)的取值\(x\)记作\(x_{\alpha}\)，称其为分位数，由分数\(\alpha\)决定。

方差和标准差

方差

定义

\[D(X)=E[(X-E(X))^2] \]

推论——平方的均值减去均值的平方（均值连在一起）

\[D(X)=E(X^2)-E(X)^2 \]

性质

1. \(D(c)=0,c\mathbf{为常数}\)

2. \(D(aX)=a^2D(X),a\mathbf{为常数}\)

3. \(D(X\pm Y)=D(X)+D(Y)\pm 2E[(X-E(X))(Y-E(Y))]\)，若\(X,Y\)相互独立\(D(X\pm Y)=D(X)+D(Y)\)

标准差

定义

\[\sigma(X)=\sqrt{D(X)} \]

常见分布的方差及其均值表

• \(E(X)\)

\[\begin {array}{c|cccc} E(g(X))&E(X)&E(X^2)\\ \hline X\sim R(a,b)&\frac{a+b}{2}&\frac{a^2+b^2+ab}{3}&\\ X\sim N(\mu,\sigma^2)&\mu&\mu^2+\sigma^2\\ X\sim E(\lambda)&\frac{1}{\lambda}&\frac{2}{\lambda^2}\\ X\sim P(\lambda)&\lambda&\lambda^2+\lambda \end{array} \]

• \(D(X)\)

\[\begin {array}{c|cccc} D(X)&X&\\ \hline X\sim B(n,p)&np(1-p)\\ X\sim P(\lambda)&\lambda \end{array} \]

协方差

定义

\[cov(X,Y)=E[(X-E(X))(Y-E(Y))] \]

等价于

\[cov(X,Y)=E(XY)-E(X)E(Y) \]

性质

1. \(cov(X,Y)=cov(Y,X)\)
2. \(cov(X,X)=D(X)\)
3. \(cov(aX+b,cY+d)=accov(X,Y),a,b,c,d\mathbf{为常数}\)

相关系数

定义

\[\rho_{X,Y}=\frac{cov(X,Y)}{\sigma(X)\sigma(Y)}=\frac{cov(X,Y)}{\sqrt{D(X)D(Y)}} \]

性质

1. \(|\rho_{X,Y}|\leqslant1\)
2. \(\rho_{X,Y}=0\)，我们称其为\(X,Y\)不相关
3. \(|\rho_{X,Y}|=1\)，我们称其为\(X,Y\)完全相关，其充要条件为，存在常数\(a,b\)，使得\(P(Y=aX+b)=1\)

中心极限定理

独立同分布的中心极限定理

设\(X_1,X_2,\cdots\)是一个独立同分布的随机变量的序列，且\(E(X_i)=\mu\)，\(D(X_i)=\sigma^2\quad(i=1,2,\cdots)\)，则对于任意一个\(x\in(-\infty,+\infty)\)都有

\[\lim_{n\rightarrow \infty}P\Bigg( \frac{\sum\limits_{i=1}^nX_i-n\mu}{\sqrt{n}\sigma}\leqslant x\Bigg)=\phi(x) \]