【常见分布及其特征(7)】马尔可夫不等式和切比雪夫不等式

马尔可夫不等式

1. 引例:
   已知某市级平均身高为1.6米,那么超过2米的人一定不会很多;(因为一旦多了,那么均值就不可能是1.6米了)那至多有多少呢?
   问题中并未描述分布情况,但有以下条件,设随机变量$X$为班级人员的身高($X>0$);则$E(X)=1.6$,求$P(X>2)$;最极限的分布情况就是大部分人的身高都较高,但是存在极低的人拉低了平均身高才可以使期望$E(X)=1.6$;例如以下的这种极端情况
   $$X_1=2.1;X_2=2.3;X_3=0.4;P(X>2)=1/3$$
   那么最极限情况下,$P(X>2)$是多少呢由期望定义可知;

$$\begin{array}{rl}E(X)& ={\int }_0^{\infty }xf(x)dx\\ & ={\int }_0^{2}xf(x)dx+\boxed{{\int }_2^{\infty }xf(x)dx}\end{array}$$
对于框出来的第二部分,$x$至少等于$2$,所以
$${\int }_2^{\infty }xf(x)dx\ge {\int }_2^{\infty }2f(x)dx=2{\int }_2^{\infty }f(x)dx=2\cdot P(X>2)$$
$$\begin{array}{rl}E(X)& ={\int }_0^{2}xf(x)dx+{\int }_2^{\infty }xf(x)dx\\ 1.6& \ge {\int }_0^{2}xf(x)dx+2\cdot P(X>2)\\ 1.6& \ge 2\cdot P(X>2)\\ P(X>2)& \le 0.8\end{array}$$

---

2. 一般形式
   对于非负的的随机变量$X$,即$X\ge 0$,设期望为$E(X)$,对于任意正数$a>0$,有马尔可夫不等式:
   $$\boxed{P(X\ge a)\le \frac{E(X)}{a}}$$
   证明法1:同引例;
   $$\begin{array}{rl}E(X)& ={\int }_0^{\infty }xf(x)dx\\ E(X)& ={\int }_0^{a}xf(x)dx+{\int }_a^{\infty }xf(x)dx\\ E(X)-{\int }_0^{a}xf(x)dx& =\boxed{{\int }_a^{\infty }xf(x)dx}\ge \boxed{{\int }_a^{\infty }af(x)dx}\\ E(X)-{\int }_0^{a}xf(x)dx& ={\int }_a^{\infty }xf(x)dx\ge a{\int }_a^{\infty }f(x)dx=\boxed{a\cdot P(X\ge a)}\\ 又有:{\int }_0^{a}xf(x)dx& \ge 0\\ E(X)& \ge a\cdot P(X\ge a)\\ P(X\ge a)& \le \frac{E(X)}{a}\end{array}$$
   证明法2:
   设随机变量$Y$,当$X\ge a$时,$Y=a$,否则为0;即:
   $$Y(X)=\{\begin{array}{l}a,X\ge a\\ 0,X<a\end{array}$$
   显然有:
   $$\begin{array}{rl}E(X)& \ge E(Y)\\ E(X)& >a\cdot P(X\ge a)\\ P(X\ge a)& \le \frac{E(X)}{a}\end{array}$$
3. 描述
   马尔可夫不等式（Markov’s Inequality）是概率论中的基础工具，用于估计非负随机变量超过某一阈值的概率上限。其核心思想是：

• 期望值与概率的关系：如果一个非负随机变量的期望值较小，那么它取值较大的概率也会较小。
• 例如平均身高比较低(例如1.5m),那么取值较大(例如2.1m)的概率也会比较小;

切比雪夫不等式

1. 引例
   已知某市人民平均身高为1.8米,标准差为0.05米,则身高大于2米的概率上限是多少(即无论服从何种分布)?

• 若忽略条件中的标准差条件
  那么可以直接使用马尔可夫不等式来解决;
  设随机变量$X$为班级人员的身高($X>0$)
  $$\begin{array}{rl}P(X\ge a)& \le \frac{E(X)}{a}\\ P(X\ge 2)& \le \frac{1.8}{2}=0.9\end{array}$$
  即无论身高是何种分布,身高大于2米的概率最高不会超过0.9;这显然是正确的,但是这个估计太过宽松了,实际意义并不大;但是如果限制了标准差(方差)呢?即数据的波动情况被限制了,至少对于无限制的情况,估计会更准确;

• 考虑标准差限制的情况下

  • 已知马尔可夫不等式以及方差和期望的关系如下,直接联立不等式:
    $$\{\begin{array}{l}\text{Var}(X)=E[(X-E(X){)}^2]=E(X^2)-[E(X){]}^2\\ P(X\ge a)\le \frac{E(X)}{a}\end{array}$$
    由题意知:
    $$\begin{array}{rl}\text{Var}(X)& =E(X^2)-[E(X){]}^2\\ 0.05^2& =E(X^2)-1.8^2\\ E(X^2)& =3.2425\end{array}$$
    令$X\to X^2,a\to 4$代入马尔可夫不等式,则得:
    $$P(X^2\ge 4)\le \frac{E(X^2)}{4}$$
    又$X>0$,所以$P(X^2\ge 4)=P(X\ge 2)$
    $$\begin{array}{rl}P(X\ge 2)& \le \frac{E(X^2)}{4}\\ P(X\ge 2)& \le \frac{3.2425}{4}=0.810625\end{array}$$
    由上面的推论可得以下不等式
    $$\boxed{P(|X|\ge a)\le \frac{[E(X){]}^2+\text{Var}(X)}{a^2}}$$
    这样概率上限从$0.9\to 0.810625$,变得更小了,但是范围依旧太大
  • 考虑方差的定义,将目标距离期望的偏差作为随机变量
    为了写法统一,将方差(标准差)和期望:
    $$\sqrt{\text{Var}(X)}=\sigma ,\text{Var}(X)={\sigma }^2,E(X)=\mu$$
    方差(标准差)${\sigma }^2$是随机变量$X$的取值和期望$\mu$的差值的平均;那么这个偏差即为$|X-\mu |$,则应有马尔可夫不等式中的
    $$\begin{array}{rl}P(X\ge a)& =P(|X-\mu |\ge |a-\mu |)\\ P(X\ge a)& =\boxed{P((X-\mu {)}^2\ge (a-\mu {)}^2)}\end{array}$$
    令左式的$Y\to (X-\mu {)}^2;(a-\mu )\to \epsilon$,就是一个符合马尔可夫不等式的式子,直接代入:
    $$\begin{array}{rl}P(Y\ge {\epsilon }^2)& \le \frac{E(Y)}{{\epsilon }^2}\\ P(Y\ge {\epsilon }^2)& \le \frac{E((X-\mu {)}^2)}{{\epsilon }^2}\end{array}$$
    又有方差定义式:
    $$\text{Var}(X)=E[(X-\mu {)}^2]={\sigma }^2$$
    故得:
    $$P(Y\ge {\epsilon }^2)\le \frac{{\sigma }^2}{{\epsilon }^2}$$
    也可以写为:
    $$P(X\ge a)=P((X-\mu {)}^2\ge {\epsilon }^2)\le \frac{{\sigma }^2}{{\epsilon }^2}$$
    取绝对值就是,切比雪夫不等式的一般形式
    $$\boxed{P(|X-\mu |\ge \epsilon )\le \frac{{\sigma }^2}{{\epsilon }^2}}$$
    代入原题则有
    $$\begin{array}{rl}P(|X-1.8|& \ge 0.2)\le \frac{0.05^2}{0.2^2}=0.0625\end{array}$$
    这样概率上限从$0.810625\to 0.0625$,缩小了一个数量级;

• 再次证明切比雪夫不等式
  基于马尔可夫不等式:
  $$X\ge 0且a>0;\boxed{P(X\ge a)\le \frac{E(X)}{a}}$$
  设随机变量$Y$,有:
  $$E(Y)=\mu ,\text{Var}(Y)={\sigma }^2$$
  令$X=(Y-\mu {)}^2,则X\ge 0$,那么对于任意的$\epsilon >0$,有(同时平方);
  $$P((Y-\mu {)}^2\ge {\epsilon }^2)=P(|Y-\mu |\ge \epsilon )$$
  那么代入马尔可夫不等式:$\boxed{X=(Y-\mu {)}^2,a={\epsilon }^2}$,
  $$\begin{array}{rl}P((Y-\mu {)}^2& \ge {\epsilon }^2)\le \frac{E((Y-\mu {)}^2)}{{\epsilon }^2}\\ P(|Y-\mu |& \ge \epsilon )\le \frac{E((Y-\mu {)}^2)}{{\epsilon }^2}=\frac{{\sigma }^2}{{\epsilon }^2}\\ P(|Y-\mu |& \ge \epsilon )\le \frac{{\sigma }^2}{{\epsilon }^2}\end{array}$$

2. 描述
   切比雪夫不等式（Chebyshev’s Inequality）是概率论中的一个重要工具，用于估计任意随机变量偏离其期望值的概率上限。它的核心思想是：无论随机变量的分布形态如何，只要其方差存在，就可以量化其取值偏离均值的可能性。
   实际与马尔可夫不等式区别,就是将直接求大于目标值$a$的概率上限,变更为偏差大于目标值偏差的概率上限$\epsilon =|a-\mu |$;并且将单侧概率问题转化为对称的偏差问题;