概率论导论 —— 离散型随机分布

目录

• 伯努利分布
  • 定义
  • 期望与方差
• 二项分布
  • 定义
  • 性质
  • 期望与方差
• 超几何分布
  • 定义
  • 期望与方差
  • 二项分布与超几何分布的联系
• 离散均匀分布
  • 定义
• 几何分布
  • 定义
  • 期望与方差
• 泊松分布
  • 定义
  • 期望与方差
  • 泊松范式
  • 泊松分布与二项分布之间的联系

伯努利分布

定义

设\(X\)是一个随机变量，如果满足\(P(X=1)=p\)且\(P(X=0)=1-p\)，其中\(0<p<1\)，则称\(X\)服从参数为\(p\)的伯努利分布，记作\(X\sim Bern(p)\)

期望与方差

• 设\(X\sim Bern(p)\)：
  1. \(E(X)\)：
     \[E(X)=0\cdot(1-p)+1\cdot p=p \]

  2. \(Var(X)\)：
     \[Var(X)=E[(X-E(X))^2]=(0-p)^2\cdot(1-p)+(1-p)^2\cdot p=p\cdot (1-p) \]

二项分布

定义

假设\(n\)次独立的伯努利试验，每次试验具有相同的成功概率\(p\in(0,1)\)。设随机变量\(X\)表示试验成功的次数，称\(X\)服从参数为\(n\)和\(p\)的二项分布，记作\(X\sim Bin(n,p)\)
\(PMF\)：\(P(X=k)=\left(\begin{matrix}n\\k\end{matrix}\right)p^k(1-p)^{n-k}\)，其中\(k=0,1,\cdots,n\)，当\(k\)取其他值时，\(P(X=k)=0\)
如果\(X\)服从二项分布，那么\(n-X\)也服从二项分布：设\(X\sim Bin(n,p)\)且\(q=1-p\)，则\(n-X\sim Bin(n,q)\)

性质

1. 设\(X\sim Bin(n,p)\)，其中\(n\)为偶数且\(p={1\over2}\)，则\(X\)的分布关于\({n\over2}\)对称，也就是对于所有的\(j(0<j<{n\over2})\)，都有\(P(X={n\over2}-j)=P(X={n\over2}+j)\)
2. 若\(X\sim Bin(n,p)\)，可以将其视作\(n\)次独立同分布的伯努利试验中成功的次数之和，即\(X=X_1+X_2+\cdots+X_n\)，其中\(X_i\sim Bern(p)\)
3. 设\(X\sim Bin(n,p)\)，\(Y\sim Bin(m,p)\)，且\(X\)和\(Y\)是独立的，那么\(X+Y\sim Bin(n+m,p)\)

期望与方差

• 设\(X\sim Bin(n,p)\)：
  1. \(E(X)\)：
     \[Linearity\ \&\ property_2\rightarrow E(X)=E(X_1)+E(X_2)+\cdots+E(X_n)=p+p+\cdots+p=np \]

  2. \(Var(X)\)：
     \[property_2\rightarrow Var(X)=Var(X_1)+Var(X_2)+\cdots+Var(X_n)=np(1-p) \]

超几何分布

定义

考虑一个由\(w\)个白球和\(b\)个黑球充满的罐子，现在随机不放回地从罐中抓取\(n\)个球。设\(X\)表示\(n\)个球中白球的数量，则称\(X\)服从参数为\((w,b,n)\)的超几何分布，记作\(X\sim HGeom(w,b,n)\)
\(PMF\)：\(P(X=k)={\left(\begin{matrix}w\\k\end{matrix}\right)\left(\begin{matrix}b\\n-k\end{matrix}\right) \over \left(\begin{matrix}w+b\\n\end{matrix}\right)}\)

期望与方差

• 设\(X\sim HGeom(w,b,n)\)：
  1. \(E(X)\)：
     把\(X\)写成：\(X=I_1+I_2+\cdots+I_n\)，如果样本中第\(j\)个球是白球，则\(I_j=1\)，否则\(I_j=0\)。由对称性，\(I_j\sim Bern(p)[p={w\over w+b}]\)，由于是无条件给出的，所以第\(j\)个球是白球或黑球的可能性相等。
     即使是不放回抽样：给定样本中的一个球是白球，则在样本中另外一个球是白球的概率会降低，即\(I_j\)之间不是相互独立的，但期望的线性性质仍然成立。
     \[E(X)=np={nw\over w+b} \]

  2. \(Var(X)\)：
     超几何分布的数学期望与方差推导 - 知乎

二项分布与超几何分布的联系

• 如果\(X\sim Bin(n,p)\)，\(Y\sim Bin(m,p)\)且\(X\)和\(Y\)相互独立。给定\(X+Y=r\)的条件下，\(X\)的条件分布为超几何分布，即\(X\sim HGeom(n,m,r)\)。
  直观解释：如果\(X\)和\(Y\)是两组伯努利试验的集合，两者相互独立。已知总的成功次数为\(r\)，此时\(X\)就表示第一组中成功的次数。
• 若\(X\sim HGeom(w,b,n)\)且\(N=w+b\rightarrow ∞\)，使得\(p={w\over w+b}\)保持固定，则\(X\)的\(PMF\)将收敛于\(Bin(n,p)\)的\(PMF\)。
  直观解释：当白球和黑球的总和\(N\)足够大时，此时摸到有限个白球或黑球后，即使是不放回，对接下来的试验影响也是微乎其微，可以看作\(n\)次独立的伯努利试验。

离散均匀分布

定义

设\(c\)是一个非空且有限的数字集合。随机且均匀地从\(c\)中选取一个数，将被抽取的数记作\(X\)，则称\(X\)服从参数\(c\)的离散均匀分布，记作\(X\sim DUinf(c)\)
\(PMF\)：\(P(X=x)={1\over|c|}\)

几何分布

定义

考虑一系列独立的伯努利试验，其中每次试验成功的概率为\(p\in(0,1)\)，试验持续进行直到第一次试验成功停止。设\(X\)表示在试验成功之前试验失败的次数，则称\(X\)服从于几何分布，记为\(X\sim Geom(p)\)
\(PMF\)：\(P(X=k)=(1-p)^k\cdot p\)

期望与方差

• 设\(X\sim Geom(p)\)：
  1. \(E(X)\)：
     \[q\in(0,1)\rightarrow \sum_{k=0}^∞q^k={1\over 1-q}\rightarrow \sum_{k=0}^∞k\cdot q^{k-1}={1\over (1-q)^2}={1\over p^2}\tag{1} \]
     \[q=1-p\rightarrow E(X)=\sum_{k=0}^∞k\cdot q^k\cdot p=p\cdot q \cdot\sum_{k=0}^∞k\cdot q^{k-1}\xrightarrow{(1)} E(X)={q\over p} \]

  2. \(Var(X)\)：
     \[(1)\rightarrow \sum_{k=0}^∞k\cdot q^k={q\over \left(1-q\right)^2}\rightarrow \sum_{k=0}^∞k^2\cdot q^{k-1}={(1-q)^2+q\cdot 2(1-q)\over (1-q)^4}={1+q\over (1-q)^3}={1+q\over p^3}\tag{2} \]
     \[E(X^2)=\sum_{k=0}^∞k^2\cdot q^k\cdot p=p\cdot q\cdot \sum_{k=0}^∞k^2\cdot q^{k-1}\xrightarrow{(2)}E(X^2)={q^2+q\over p^2}\tag{3} \]
     \[(3)\rightarrow Var(X)=E(X^2)-(E(X))^2={q^2+q\over p^2}-{q^2\over p^2}={q\over p^2} \]

泊松分布

定义

若一个随机变量的概率质量函数(\(PMF\))形如

\[P(X=k)={e^{-\lambda}\cdot \lambda^k\over k!}(k=0,1,\cdots) \]

则称\(X\)服从参数为\(\lambda\)的泊松分布，记为\(X\sim Pois(\lambda)\)。

• 由泰勒级数\(\sum_{k=0}^∞{\lambda^k\over k!}=e^{\lambda}\)可得上述\(X\)的\(PMF\)是有效的。

期望与方差

• 设\(X\sim Pois(\lambda)\)
  1. \(E(X)\)：
  \[E(X)=\sum_{k=0}^∞ k\cdot {e^{-\lambda}\cdot \lambda^k\over k!}=\sum_{k=1}^∞{e^{-\lambda}\cdot \lambda^k\over (k-1)!}=\lambda\cdot\sum_{k=1}^∞{e^{-\lambda}\cdot \lambda^{k-1}\over (k-1)!}=\lambda\cdot e^{-\lambda}\cdot e^{\lambda}=\lambda \]
  2. \(Var(X)\)：
  \[LOTUS\rightarrow E(X^2)=\sum_{k=0}^∞k^2\cdot {e^{-\lambda}\cdot \lambda^k\over k!}=e^{-\lambda}\cdot \sum_{k=1}^∞k^2\cdot {\lambda^k\over k!}\tag{4} \]
  \[f(\lambda)=\sum_{k=0}^∞{\lambda^k\over k!}=e^\lambda\rightarrow f'(\lambda)=\sum_{k=0}^∞k\cdot{\lambda^{k-1}\over k!}=e^{\lambda}\rightarrow g(\lambda)=\sum_{k=1}^∞k\cdot{\lambda^k\over k!}=\lambda\cdot e^{\lambda} \]
  \[\rightarrow g'(\lambda)=\sum_{k=1}^∞k^2\cdot{\lambda^{k-1}\over k!}=(1+\lambda)\cdot e^{\lambda}\rightarrow \sum_{k=1}^∞k^2\cdot{\lambda^k\over k!}=\lambda(1+\lambda)e^\lambda\xrightarrow{(4)}E(X^2)=\lambda^2+\lambda \]
  \[Var(X)=E(X^2)-(E(X))^2=\lambda^2+\lambda-\lambda^2=\lambda \]

泊松范式

• 泊松分布被应用在一定区域或时间间隔内“成功”的数量，以及进行大量的实验且成功概率很小时，计算成功次数的情况。
  \(Eg\)：你在\(1h\)内收到的电子邮件数量。\(1h=3.6×10^6ms\)，若指定某一\(ms\)，在该\(ms\)收到邮件的概率比很低，但一个小时内可能会收到\(10\)封邮件。

设\(A_1,A_2,\cdots,A_n\)为事件，其中\(p_j=P(A_j)\)，\(p_j\)非常小，\(n\)非常大，并且\(A_j\)之间相互独立或者弱相关。设\(X=\sum_{j=1}^n I(A_j)\)表示\(\{A_1,A_2,\cdots,A_n\}\)中发生的事件数量，其中\(I(A_j)\)为事件\(A_j\)的示性随机变量，则\(X\)近似服从参数为\(\lambda=\sum_{j=1}^np_j\)的泊松分布。

• 如果\(A_j\)之间是相互独立的，\(N\sim Pois(\lambda)\)，且\(B\)是任意的非负整数集，则有
  \[|P(x\in B)-P(N\in B)|\leq min\left(1,{1\over\lambda}\right)\sum_{j=1}^np_j^2 \]

• 泊松范式给出了利用泊松分布去近似大量小概率事件时地误差上界。泊松分布不仅是对\(X\)的\(PMF\)的近似，也是对\(X\)为任意集合的近似。此外该定理精确地指出，\(p_j\)应该有多小（我们希望\(p_j\)尽可能地小或者相比于\(\lambda\)非常小）。泊松范式也叫做稀有事件定律，其中的“稀有”指的是\(p_j\)很小，并非指的是\(\lambda\)很小。

泊松分布与二项分布之间的联系

• 如果\(X\sim Pois(\lambda_1),Y\sim Pois(\lambda_2)\)且\(X\)和\(Y\)相互独立，则有\(X+Y\sim Pois(\lambda_1+\lambda_2)\)：
  \[P(X+Y=k)=\sum_{j=0}^kP(X+Y=k|X=j)P(X=j) \]
  \[=\sum_{j=0}^kP(X=j)P(Y=k-j) \]
  \[=\sum_{j=0}^k{e^{-\lambda_1}\cdot\lambda_1^j\over j!}\cdot{e^{-\lambda_2}\cdot\lambda_2^{k-j}\over (k-j)!} \]
  \[=e^{-(\lambda_1+\lambda_2)}\cdot\sum_{j=0}^k{\lambda_1^j\over j!}{\lambda_2^{k-j}\over(k-j)!} \]
  \[={e^{-(\lambda_1+\lambda_2)}\over k!}\cdot\sum_{j=0}^k\left(\begin{matrix}k\\j\end{matrix}\right)\cdot \lambda_1^j\cdot\lambda_2^{k-j}\leftarrow \left(\begin{matrix}k\\j\end{matrix}\right)={k!\over (k-j)!\cdot j!} \]
  \[={e^{-(\lambda_1+\lambda_2)}\cdot (\lambda_1+\lambda_2)^k\over k!} \]

• 类似于二项分布(\(X\sim Bin(n,p)\))与超几何分布(\(X\sim HGeom(w,b,n)\))之间的联系。可以通过条件作用将泊松分布转化为二项分布，也可以通过取极限使二项分布转化成泊松分布。
• 如果\(X\sim Pois(\lambda_1)\)，\(Y\sim Pois(\lambda_2)\)且\(X\)和\(Y\)相互独立，则给定条件\(X+Y=n\)的条件下，\(X\)的条件分布为\(X\sim Bin(n,{\lambda_1\over\lambda_1+\lambda_2})\)。
• 如果\(X\sim Bin(n,p)\)，并令\(n\rightarrow ∞,p\rightarrow 0\)，使得\(\lambda=np\)固定，则\(X\)的概率质量函数收敛于\(Pois(\lambda)\)的概率质量函数。更一般地，如果\(n\rightarrow ∞,p\rightarrow 0\)，使得\(np\rightarrow \lambda\)，则有相同的结论成立。