【学习笔记】概率统计

主要都是截屏，不想看可以不看哟。

markov 不等式

证明过程中第一个不等号成立的原因是在 \(|X|>\epsilon\) 时，\(\dfrac{|X|^{\alpha}}{\epsilon^{\alpha}}>1\)；第二个不等号成立的原因是原先只算了 \(|X|>\epsilon\) 的贡献，现在把所有的 \(X\) 的 \(\dfrac{|X|^{\alpha}}{\epsilon^{\alpha}}\) 都算上。

inner product 不等式

多元正态分布

• 多元正态分布和一元正态分布的关系：

  

  此时显然有 \(E X = \mu,Var(X) =a^Ta = \sum_{i=1}^n a_i^2\)

  那么如果 \(a_i\) 不全为 0，那么 \(X \sim N(\mu,a^Ta)\)

  证明似乎使用 mixture of gussian 的一套理论就行了？课本上按照定义描述了密度函数，但是代数过程太过于繁琐了。

多元正态分布有一些性质：

大数律

弱大数律

强大数律

关于这里的定理 2.3，我的理解是 wp1. 把 lim 放到了 P 里面，所以更强。

中心极限定理

因为这个讲义没有配证明，所以我甚至不能理解为啥 CLT 是 make sense 的……

下面讲了一个连续性折衷的问题，还是很有意思的。

随机概念

• 统计量 是样本点的函数，或者说可以理解成数学表达式。
  比如有样本点 \(\{(x_i,y_i)\}\)，那么 \(\frac 1n\sum_{i=1}^nx_i\) 是一个统计量

• 渐进无偏估计
  现在有一个统计量，或者说一个数学表达式。另外有一个描述随机变量分布特性的词，比如方差协方差期望，我们称某个式子是某个词的无偏估计，当且仅当 \(\forall \epsilon >0,n\to \infty\) 时，$Pr(\texttt{absolute difference}>\epsilon) = 0 $

• bessel 修正

  描述：样本方差的系数应该从 \(\frac 1n\) 改成 \(\frac 1{n-1}\) 才能成为总体方差的无偏估计。注意计算样本方差时使用的样本平均值和 \(E(X)\) 不太一样。

  设 \(\mu \overset{def}{=} E(X)\)，把计算样本方差使用的 \(X-\overline X\) 换成 \(X- \mu - (\overline X-\mu)\)，然后推推式子就能证明。中间可能会用到 \(E[(\overline X -\mu)^2] = \frac{\sigma^2}n\) 的性质

参数估计

再复习一下 wp1 和依概率收敛：

依概率收敛：\(\forall \epsilon > 0,\lim\limits_{n\to \infty} P(|X-\mu|\ge \epsilon) = 0\)

wp1：\(P(\lim\limits_{n\to \infty} |X - \mu| = 0) = 1\)