概率论导论 —— 连续型随机分布
连续型随机变量（定义、期望、方差）
均匀分布
定义
如果连续型随机变量\(U\)的概率密度函数为：
\[f(x)=\begin{cases}{1\over b-a},a<x<b\\0\quad\ ,x <a \ or\ x>b\end{cases} \]则称\(U\)服从区间\((a,b)\)上的均匀分布，记作\(U\sim Unif(a,b)\)
- 直观上，一个服从区间\((a,b)\)均匀分布的随机变量\(X\)是\(a\)和\(b\)之间的一个完全随机数。
- \(U\sim Unif(0,1)\)（标准均匀分布）的\(PDF\)与\(CDF\)图像如下：
期望与方差
- 设\(X\sim Uinf(0,1)\)，则\(Y=(b-a)X+a\sim Uinf(a,b)\)：
- \(E(Y)\)：\[E(X)=\int_0^1 x\cdot f(x)dx=\int_0^1xdx={x^2\over2}|^1_0={1\over2}\tag{1} \]\[E(Y)=(b-a)E(X)+a\xrightarrow{(1)}E(Y)={1\over2}(b-a)+a={a+b\over2} \]
- \(Var(Y)\)：\[E(X^2)=\int_0^1x^2dx={1\over3}\rightarrow Var(X)=E(X^2)-(E(X))^2={1\over 12}\tag{2} \]\[(2)\rightarrow Var(Y)=(b-a)^2\cdot Var(X)={(b-a)^2\over 12} \]
- \(E(Y)\)：
均匀分布的普遍性
- 给定一个服从标准均匀分布(\(Unif(0,1)\))的随机变量，就可以构造一个随机变量，它服从于任何我们想要的连续型随机分布。
令\(F\)是一个累积分布函数，它是一个连续函数并在分布下严格单调递增（保证反函数\(F^{-1}\)存在），它是从\((0,1)\)到\(R\)的一个函数，那么就有以下结果：
- 设\(U\sim Unif(0,1)\)，\(X=F^{-1}(U)\)，那么\(X\)是一个累计函数为\(F\)的随机变量；
- 设\(X\)是一个累积分布函数为\(F\)的随机变量，那么\(F(X)\sim Uinf(0,1)\)。
按照定义有\(F(x)=P(X\leq x)\)，但“\(F(X)=P(X\leq X)=1\)”是错误的。相反，首先应该找到\(X\)的累积分布函数的一个表达式，然后用\(X\)代替\(x\)，从而得到一个随机变量。例如，如果\(X\)的累积分布函数\(F(x)=1-e^{-x}(x>0)\)，那么\(Y=F(X)=1-e^{-X}\sim Uinf(0,1)\)
- 证明如下：
- 设\(U\sim Uinf(0,1)\)，\(X=F^{-1}(U)\)，对于任意的\(x\)有：\[P(X\leq x)=P(F^{-1}(U)\leq x)=P(U\leq F(x))=F(x) \]因此，\(X\)的累积分布函数是\(F\)，定理得证。对于上式中最后一个等号是因为\(P(U\leq u)=u[u\in(0,1)]\)；
- 设\(X\)是一个累积分布函数为\(F\)的随机变量，现求\(Y=F(X)\)的累积分布函数。因为\(Y\)在\((0,1)\)上取值，所以当\(y\leq0\)时，\(P(Y\leq y)=0\)；当\(y\ge 1\)时，\(P(Y\leq y)=1\)；当\(y\in(0,1)\)时，有\[P(Y\leq y)=P(F(X)\leq y)=P(X\leq F^{-1}(y))=F(F^{-1}(y))=y \]因此，\(Y\sim Unif(0,1)\)
- 设\(U\sim Uinf(0,1)\)，\(X=F^{-1}(U)\)，对于任意的\(x\)有：
正态分布
定义
若连续型随机变量\(Z\)的概率密度函数\(\varphi\)为
\[\varphi(z)={1\over\sqrt{2\pi}}\cdot e^{-{z^2\over 2}},-∞<z<+∞ \]则称\(Z\)满足标准正态分布，记作\(Z\sim N(0,1)\)。
-
标准正态分布的\(PDF(\varphi)\)是一个有效的概率密度函数证明，只需证明\(\int_{-∞}^{+∞}e^{-{z^2\over2}}dz=\sqrt{2\pi}\)：
\[(\int_{-∞}^{+∞}e^{-{z^2\over2}}dz)(\int_{-∞}^{+∞}e^{-{z^2\over2}}dz)=(\int_{-∞}^{+∞}e^{-{x^2\over2}}dx)(\int_{-∞}^{+∞}e^{-{y^2\over2}}dy)=\int_{-∞}^{+∞}\int_{-∞}^{+∞}e^{-{(x^2+y^2)\over2}}dxdy \]\[=\int_0^{2\pi}\int_{0}^{+∞} e^{-{r^2\over2}}rdrd\theta \]在第一步中，使用了\(z\)只是每个积分中的虚拟变量这一事实，所以允许给它一个不同的名称。在最后一步出现的额外的\(r\)来自于转换极坐标时的雅可比矩阵。
\[u={r^2\over2}\rightarrow du=rdr\rightarrow\int_0^{2\pi}\int_0^{+∞}e^{-{r^2\over2}}rdrd\theta=\int_0^{2\pi}(\int_0^{+∞}e^{-u}du)d\theta=\int_0^{2\pi}1d\theta=2\pi \]因此，\(\int_{-∞}^{+∞}e^{-{z^2}\over2}dz=\sqrt{2\pi}\)。
-
标准正态分布的\(CDF\)不存在闭合的原函数：
\[\Phi(Z)=\int_{-∞}^z\varphi(t)dt=\int_{-∞}^z{1\over\sqrt{2\pi}}\cdot e^{-{t^2\over2}}dt \] -
标准正态分布的\(PDF\)、\(CDF\)图像：
-
标准正态分布具有以下性质：
- 概率密度函数具有对称性：\(\varphi(z)=\varphi(-z)\)
- 尾部区域具有对称性：\(P(Z\leq -z)=P(Z\ge z)\rightarrow \Phi(z)=1-\Phi(-z)\)
- \(Z\)和\(-Z\)具有对称性：若\(Z\sim N(0,1)\)，那么\(-Z\sim N(0,1)\)
若\(Z\sim N(0,1)\)，那么\(X=\mu+\sigma Z\sim N(\mu, \sigma^2)\)，即\(X\)服从均值为\(\mu\)，方差为\(\sigma^2\)的正态分布。
其中\(X\sim N(\mu,\sigma^2)\)的\(PDF\)与\(CDF\)如下：\[F(x)=P(X\leq x)=P(\mu+\sigma Z\leq x)=P(Z\leq {x-\mu\over\sigma})=\Phi({x-\mu\over\sigma}) \]\[f(x)=F'(x)={1\over \sigma}\cdot\varphi({x-\mu\over\sigma}) \]
- 由\(X\)得到\(Z\)的过程称之为标准化\({X-\mu\over\sigma}\sim N(0,1)\)。
- \(68\%-95\%-99.7\%\)原则：\[P(|X-\mu|<\sigma)≈0.68 \]\[P(|X-\mu|<2\sigma)≈0.95 \]\[P(|X-\mu|<3\sigma)≈0.997 \]
期望与方差
- 设\(Z\sim N(0,1)\)，\(X=\mu+\sigma Z\sim N(\mu,\sigma^2)\)：
- \(E(X)\)：
根据概率密度函数的对称性可知，标准正态分布的期望必为\(0\)，其他平衡点都是无意义的。还可以通过\(E(Z)\)的定义看到这种对称性：\[E(Z)={1\over \sqrt{2\pi}}\int_{-∞}^{+∞}ze^{-{z^2\over2}}dz \]由于\(g(z)=ze^{-{z^2\over2}}\)是一个奇函数，因此积分为\(0\)。因此\(E(Z)=0\)，对于任意正的奇数\(n\)，有\(E(Z^n)=0\)。\[E(X)=E(\mu+\sigma Z)=E(\mu)+\sigma E(Z)=\mu \] - \(Var(X)\)：\[Var(Z)=E(Z^2)-(E(Z))^2=E(Z^2)\xlongequal{LOTUS}{1\over\sqrt{2\pi}}\int_{-∞}^{+∞}z^2e^{-{z^2\over2}}dz={2\over{\sqrt{2\pi}}}\int_{0}^{+∞}z^2e^{-{z^2\over2}}dz \]\[u=z,dv=ze^{-{z^2\over2}}\rightarrow du=dz,v=e^{-{z^2\over2}}\rightarrow Var(Z)={2\over\sqrt{2\pi}}(-ze^{-{z^2\over2}}|^{+∞}_0+\int_0^{+∞}e^{-{z^2}\over2}dz) \]\[={2\over\sqrt{2\pi}}(0+{\sqrt{2\pi}\over2})=1\tag{3} \]因为\(e^{-{z^2\over2}}\)的衰减速度比\(z\)的增长速度快，所以分部积分的第一项为\(0\)。此外分部积分的第二部分积分的记过之所以为\(\sqrt{2\pi}\over2\)是因为它是曲线\(e^{-{z^2\over2}}\)下方总面积的一半，而前面已经证明该总面积为\(\sqrt{2\pi}\)。\[Var(X)=Var(\mu+\sigma Z)=Var(\sigma Z)=\sigma^2Var(Z)=\sigma^2 \]
- \(E(X)\)：
指数分布
指数分布与几何分布的联系
- 指数分布是与几何分布相对应的一种连续型分布。指数分布是在连续的时间内，等待试验成功。其中每单位时间内的成功率是\(\lambda\)。几何分布的随机变量表示第一次成功试验前经历的失败的次数，指数分布的随机变量表示第一次试验成功所用时间。
- 在伯努利试验中，当成功概率越来越小，试验次数越来越大，几何分布收敛到指数分布。
定义
若连续型随机变量\(X\)的概率密度函数(\(PDF\))为：
\[f(x)=\lambda\cdot e^{-\lambda x}(x>0) \]则称\(X\)服从参数为\(\lambda\)的指数分布，记作\(X\sim Expo(\lambda)\)。
相应的累积分布函数(\(CDF\))为：\[F(x)=1-e^{-\lambda x}(x>0) \]
- \(X\sim Expo(1)\)的\(PDF\)与\(CDF\)图像：
期望与方差
- 设\(X\sim Expo(1)\)，则\(Y={X\over\lambda}\sim Expo(\lambda)\)\[X\sim Expo(1)\rightarrow P(X\leq x)=1-e^{-x}\rightarrow P\left(Y\leq y\right)=P\left({X\over\lambda}\leq y\right)=P\left(X\leq\lambda\cdot y\right)=1-e^{-\lambda y} \]
- \(E(Y)\)：\[LOTUS\rightarrow E(X)=\int_0^{+∞}xe^{-x}dx=-(x+1)e^{-x}+C|^{+∞}_0=1 \]由位置-尺度变换/期望的线性性质可知：\[E(Y)={1\over\lambda} E(X)={1\over \lambda} \]事件的成功率\(\lambda\)越大，平均的等待时间越短。
- \(Var(Y)\)：\[LOTUS\rightarrow E(X^2)=\int_0^{+∞}x^2\cdot e^{-x}dx=-(x^2+2x+2)e^{-x}+C|^{+∞}_0=2\tag{1} \]\[(1)\rightarrow Var(X)=E(X^2)-(E(X))^2=1 \]由位置-尺度变换可知：\[Var(Y)=({1\over\lambda})^2\cdot Var(X)={1\over\lambda^2} \]
无记忆性
- 如果服从某一分布的随机变量\(X\)，对所有\(s,t>0\)满足\(P(X\ge s+t|X\ge s)=P(X\ge t)\)，那么则称该分布具有无记忆性。
设\(s\)为你已经等待的时间（单位：\(min\)），按照定义，等到\(s\ min\)之后你必须等待\(t\ min\)事件才发生的概率，与之前不需要等待\(s\ min\)而直接等待\(t\ min\)的概率完全相同。（如果已经等待了几个小时或几天都没有事件发生，那么该事件并不会因此而很快发生） - 若\(X\)是具有无记忆性的正连续型随机变量，则\(X\)服从与指数分布。
几何分布是唯一具有无记忆性的离散分布（其支撑为\(0,1,\cdots\)）；而指数分布是唯一具有无记忆性的连续分布[其支撑为(0,+∞)]
独立同分布的连续型随机变量的对称性
- 设\(X_1,\cdots,X_n\)是服从同一连续分布的独立随机变量序列，则对于\(1,\cdots,n\)的任一排列\(a_1,\cdots,a_n\)，有\(P(X_{a_1}<\cdots<X_{a_n})={1\over n!}\)。
浙公网安备 33010602011771号