数理统计基础

总体与样本

• 研究对象的全体为总体，组成总体的每个成员为个体。
• 从总体中抽出的部分个体为样本，样本中所含的个体为样品，样本中样品的数量为样本容量。
• 在相同条件下对总体\(X\)，独立的抽取\(n\)次，\(X_1,X_2,...,X_n\)是来自总体\(X\)的样本容量为\(n\)简单随机样本，是独立同分布的随机变量。

样本的二重性

• 样本是从总体中随机抽取的，抽取前无法预知它们的数值，因此样本是随机变量。\(X_1,X_2,...,X_n\)
• 但在抽取之后观测有确定的观测值，\(x_1,x_2,...,x_n\)

样本的联合分布

若总体\(X\sim F(x)\)，则样本\(X_1,X_2,...,X_N\)的 联合分布函数为

\[F(X_1,X_2,...,X_n) = \prod_{i=1}^n F(x_i) \]

经验分布函数

设\(X_1,X_2,...,X_n\) 是一个样本，样本值为\(x_1,x_2,...,x_n\)，经验分布函数为

\[F_n(x) = \frac{x_1,x_2,...,x_n中小于或等于x的个数}{n} \]

• 经验分布函数：频率 \(\rightarrow\) 概率

格里纹科定理

\(x_1,x_2,...,x_n\) 是来自\(F\) 的样本，\(F_n\)为经验分布函数，则当\(n\rightarrow \infty\)时

\[P(\sup_{x\in R}|F_n(x)-F(x)|\rightarrow0)=1 \]

即，当\(n\rightarrow \infty\)时经验分布函数良好近似于分布函数。

统计量

设\(X_1,X_2,...,X_n\) 是来自总体的一个样本，且样本函数\(g(X_1,X_2,...,X_n)\)不含有任何未知参数，则\(g\)为统计量。

常用统计量

样本均值

\[\overline X = \frac{1}{n}\sum_{i=1}^n X_i \]

样本方差

\[S^2 =\frac{1}{n-1}\sum_{i=1}^n (X_i-\overline X)^2=\frac{1}{n-1}(\sum_{i=1}^n X_i^2-n\overline X^2) \]

样本标准差

\[S=\sqrt {S^2} \]

样本k阶原点矩

\[A_k = \frac{1}{n}\sum_{i=1}^n X_i^k \]

样本k阶中心距

\[B_k = \frac{1}{n}\sum_{i=1}^n (X_i-\overline X)^k \]

统计量的数字特征

\(X_1,X_2,...,X_n\) 是来自总体\(X\)的样本，\(EX=\mu\)，\(VarX =\sigma^2\)
则有

\[EX_i=\mu,VarX_i = \sigma^2 \]

\[E\overline X = EX = \mu \]

\[Var \overline X = \frac{\sigma^2}{n} \]

\[ES^2 = \sigma^2 \]

抽样分布

• 统计量的分布为抽样分布

卡方分布

若\(X_1,X_2,...,X_n\) 独立同分布，来自总体\(X\sim N(0,1)\)，都服从标准正态分布。
则随机变量\(\chi^2 = \sum_{i=1}^n X_i^2\) 服从自由度为\(n\)的卡方分布（平方和）
\(\chi^2 \sim \chi^2(n)\)

• \(\chi^2(n)=Ga(\frac{n}{2},\frac{1}{2})\)
• 概率密度函数

\[\left.p(x)=\left\{\begin{array}{ll}\frac{x^{n/2-1}e^{-x/2}}{\Gamma(n/2)2^{n/2}},&x>0;\\0,&\text{否则}.\end{array}\right.\right. \]

• 性质
  • \(E\chi^2 = n\)，\(Var \chi^2 = 2n\)
  • 卡方分布具有可加性：\(\chi_1^2 \sim \chi_1^2(n_1)\)，\(\chi_2^2 \sim \chi_2^2(n_2)\)，且相互独立\(\chi_1^2+\chi_2^2 \sim \chi^2(n_1+n_2)\)
  • 分位数\(\chi^2_{\alpha}(n)\)：\(P(\chi^2 \le \chi^2_{\alpha}(n))=\alpha\)

t分布

随机变量\(X\sim N(0,1)\)，\(Y\sim \chi^2(n)\)，\(X,Y\)相互独立，则\(T\) 服从自由度为n的t分布
（正态/平方和开根号）

\[T=\frac{X}{\sqrt{Y/n}}\sim t(n) \]

\[p(t)=\frac{\Gamma\left(\frac{n+1}2\right)}{\sqrt{n\pi}\Gamma\left(\frac n2\right)}\left(1+\frac{t^2}n\right)^{-\frac{n+1}2},\:-\infty<t<\infty. \]

• 性质
  • \(t\)分布的概率密度函数为偶函数
  • 分位数满足\(t_{\alpha}(n)+t_{1-\alpha}(n)=0\)
  • 自由度\(n=1\)的\(t\)分布是标准柯西分布，不存在期望
  • \(n>1\)的\(t\)分布期望存在且为0
  • 当自由度较大时，t分布与正态分布近似

F分布

设\(X\sim \chi^2(n_1)\)，\(Y\sim \chi^2(n_2)\)，且相互独立则，\(F\) 服从自由度为\((n_1,n_2)\)的\(F\)分布
（平方和/平方和）

\[F=\frac{X/n_1}{Y/n_2}\sim F(n_1,n_2) \]

• 性质
  • \(F\sim F(n,m)\)，则\(\frac{1}{F}\sim F(m,n)\)
  • \(F_{\alpha}(n,m)F_{\alpha}(m,n)=1\)
  • 若\(X\sim t(n)\)，则 \(X^2 \sim F(1,n)\)

正态总体抽样分布

若\(X_1,X_2,...,X_n\)是来自总体\(X\sim N(\mu,\sigma^2)\)的样本，则

• 样本均值\(\overline X\)与样本方差\(S^2\)相互独立

\[\overline X \sim N(\mu,\frac{\sigma^2}{n}) \]

\[\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1) \]

\[\frac{\sum_{i=1}^n(X_i-\mu)^2}{\sigma^2}\sim\chi^2(n) \]

\[T=\frac{\overline X - \mu}{S/\sqrt n}\sim t(n-1) \]