概率统计之统计部分抄ppt

统计基础

统计量

定义：样本不依赖于位置参数的函数

常用统计量：

• 样本均值：\(\bar X = \sum_i X_i / n\)
• 样本方差：\(S^2 = \sum_i (X_i - \bar X)^2 / (n-1)\)，这是对 \(X_i\) 方差的无偏估计量。
• \(k\) 阶矩：\(A_k\)
• \(k\) 阶中心矩：\(B_k\)

重要分布

\(\chi^2\) 分布

设 \(n\) 个服从标准正态分布相互独立随机变量的平方和为 \(\chi^2_n\)，则称 \(\chi^2_n\) 服从自由度为 \(n\) 的 \(\chi^2\) 分布，记为 \(\chi^2_n \sim \chi^2(n)\)。

自由度为 \(n\) 的 \(\chi^2\) 分布的上 \(\alpha\) 分位数记为 \(\chi^2_a(n)\)。

例题结论：

• 正态分布独立样本条件下，\(\bar X\) 与 \(S^2\) 相独立。证明过程大概如下：

• \((n-1)S^2/\sigma^2 \sim \chi^2(n-1)\)

  • 以上两个结论的证明（可以直接看最后一项）：

  • 先取 \(Y_1\) 为均值（即 \(\bar X\)），再取 \(Y_2 \dots Y_n\) 以表示出 \(S^2\)。取 \(Y_2\)，由于要求与 \(Y_1\) 不相关（我们不妨假设 \(Y_2\) 只与 \(X_1, X_2\) 有关），在保证单位向量的情况下系数唯一。接着取 \(Y_3\)，其与 \(Y_1\) 不应当相关（这是与均值独立的要求），与 \(Y_2\) 也不应当相关（保证变量相互独立，以证明下一题），因此可以列出形如 \(A_{31}+A_{32}+A_{33} = 0,A_{31} = A_{32}, A_{31}^2+A_{32}^2+A_{33}^2=1\) 三个方程，这又唯一确定了这三个系数。以此类推得到系数矩阵 \(A\)。

  • 为什么这种方式使得 \(Y_2^2 + \dots + Y_n^2\) 恰好表示出 \(S^2\)？不知道。

  • 看了下lds课件，其实根本没必要以这种方式构造式的给出系数矩阵 \(A\)。直接取系数矩阵 \(A\) 的第一行为 \(\frac{1}{\sqrt{n}}\) 来表示均值，其他任取但保证单位正交。那么有 \(\sum Y_i^2 = Y^TY = X^TA^TAX = X^TX = \sum X_i^2\)。再由 \(Y_1 = \bar X \sqrt{n}\) 可得 \(\sum \limits_{i=2}^nY_i^2 = \sum X_i^2 - n\bar X^2 = \sum(X_i - \bar X)^2\)。因为正交的构造，也可以立得两个结论。

• \(\chi^2_2\sim Exp(1/2)\)

\(t\) 分布

设 \(X \sim N(0,1), Y \sim \chi^2(n)\) 且 \(X, Y\) 相互独立，\(T = \dfrac{X}{\sqrt{\dfrac{Y}{n}}}\)，则称 \(T\) 服从自由度为 \(n\) 的 \(t\) 分布，记作 \(T \sim t(n)\)。

统一量纲：分母应当开根号。

\(t\) 分布在自由度较大时近似为标准正态分布。

例题结论：

• \(\dfrac{\bar X - \mu}{\sqrt{\dfrac{S^2}{n}}} \sim t(n-1)\)
  • 已经证明两个变量相互独立，再根据 \((n-1)S^2/\sigma^2 \sim \chi^2(n-1)\) 凑一下就可以了。
  • 注意下面 \(S\) 除的是 \(n\)，但凑出来的是 \(t(n-1)\)。
• 设 \(T = \dfrac{(\bar X - \bar Y) - (\mu_1 - \mu_2)}{S_w\sqrt{\frac{1}{n_1} + \frac{1}{n_2}}}\)，其中 \(S_w^2 = \dfrac{(n_1-1)S_1^2 + (n_2-1)S_2^2}{n_1 + n_2 - 2}\)。则 \(T \sim t(n_1 + n_2 - 2)\)。
  • 取 \(\bar X - \bar Y\) 为正态分布，标准化。由于 \(\chi^2\) 分布的可加性，将 \(S_1^2, S_2^2\) 分别拿出来凑一个 \(\chi^2\) 分布。

F分布

设 \(X \sim \chi^2(n_1), Y\sim \chi^2(n_2)\) 且 \(X, Y\) 独立。称 \(F = \dfrac{\frac{X}{n_1}}{\frac{Y}{n_2}}\) 服从自由度为 \((n_1, n_2)\) 的 \(F\) 分布，记作 \(F \sim F(n_1, n_2)\)。

\(F(1, n)\) 是 \(t(n)\) 的平方。

例题结论：

• \(F = \dfrac{S_1^2 / \sigma_1^2}{S_2^2 / \sigma_2^2} \sim F(n_1 - 1, n_2 - 1)\)

参数估计

点估计

定义：用简单随机样本统计量估计参数，称为点估计量。样本确定取值，用点估计量估计出的值称为点估计值。

矩法（矩估计）

用前 \(k\) 阶矩或中心矩，估计 \(k\) 个参数。

方法：先用参数表示前 \(k\) 阶（中心）矩，再反解出参数，代入样本即可。

极大似然估计

Bayes 公式：\(P(\theta|A) = \dfrac{P(A|\theta)P(\theta)}{P(A)}\)，现在样本 \(A\) 已知，如果假设 \(P(\theta)\) 是均匀分布的，\(\text{argmax}\ P(\theta|A) = \text{argmax}\ P(A|\theta)\)，因此极大似然。为了方便，取 \(\log\) 是常用的方法。

估计量的标准

无偏性

无偏估计量、渐进无偏估计量

有效性

对于所有的 \(\theta\)，方差都不大。且存在一个 \(\theta\) 方差小，则更有效。

均方误差原则

均方误差。

相合性

\(\hat \theta\) 收敛于 \(\theta\)。

置信区间

定义：两个统计量夹住概率至少为 \(\alpha\) 的参数取值区间，称 \(\alpha\) 为置信度。双侧置信区间、单侧置信区间。

枢轴量

样本和待估参数的函数，但其分布只依赖于样本，不依赖于未知参数。

例如在独立同分布的总体中取样，根据中心极限定理，减均值除标准差后近似服从 \(N(0, 1)\) 分布，这与待估参数无关。

因此如果给定待估参数和样本，可以通过减均值除方差之后落入的点的概率来判断是否可信，即可信区间。

正态分布总体下区间估计

单个正态总体估计 X

已知 \(\sigma^2\)，估计 \(\mu\)

用 \(\bar X\)，\(\dfrac{\bar X - \mu}{\sigma/\sqrt{n}} \sim N(0, 1)\)。

未知 \(\sigma^2\)，估计 \(\mu\)

还要用 \(\bar X\)，但因为 \(\sigma\) 未知，用样本标准差 \(S\) 代替，这也对应着 \(t\) 分布在自由度大时近似标准正态分布。

\(\dfrac{\bar X - \mu}{S / \sqrt{n}} \sim t(n - 1)\)。

未知 \(\mu\)，估计 \(\sigma^2\)

\((n-1)S^2/\sigma^2 \sim \chi^2(n-1)\)

两个正态总体估计 X,Y

已知 \(\sigma_1^2, \sigma_2^2\)，估计 \(\mu_1 - \mu_2\)

把 \(\bar X - \bar Y\) 看成一个正态分布就行了。

\(\sigma_1 = \sigma_2\) 但未知，估计 \(\mu_1 - \mu_2\)

\(T = \dfrac{(\bar X - \bar Y) - (\mu_1 - \mu_2)}{S_w\sqrt{\frac{1}{n_1} + \frac{1}{n_2}}} \sim t(n_1 + n_2 - 2)\)

\(\sigma_1 \neq \sigma_2\) 且未知

如果充分大，用中心极限定理把 \(\bar X - \bar Y\) 近似成标准正态分布做。

对于有限小样本，\(\bar X - \bar Y\) 近似服从 \(t(\min\{n_1 - 1, n_2 - 1\})\)。

\(\mu_1, \mu_2\) 未知，估计 \(\sigma_1^2 / \sigma_2^2\)

\(\dfrac{S_1^2/S_2^2}{\sigma_1^2/\sigma_2^2} = \dfrac{S_1^2 / \sigma_1^2}{S_2^2 / \sigma_2^2} \sim F(n_1 - 1, n_2 - 1)\)

假设检验

原假设：要否定的假设。\(H_0\)

备择假设：与原假设对立的假设。\(H_1\)

拒绝域：如果样本的某个统计量落入拒绝域，我们就拒绝原假设，接受备择假设。

第 \(I\) 类错误：拒绝真实原假设 \(P(拒绝H_0\ |\ H_0真)\)

第 \(II\) 类错误：接受错误原假设 \(P(接受 H_0\ |\ H_0 假)\)

希望同时减少两类错误，但同样样本下往往不可能。

Neyman-Pearson 原则方法

第 \(I\) 类错误拒绝了真实的原假设，这与我们的要求（证否 \(H_0\)）不符。

因此首先控制第 \(I\) 类错误发生概率不超过 \(\alpha\)，再寻找检验使得第 \(II\) 类错误发生概率尽量小。

此处的 \(\alpha\) 被称为显著水平。

\(p\) 值方法

\(p\) 值：当原假设成立时，统计量比观察到的结果更极端的概率。

对于显著水平 \(\alpha\)，若 \(p \leq \alpha\)，则拒绝原假设，称检验结果在水平 \(\alpha\) 下是统计显著的。

否则接受原假设，称检验结果在水平 \(\alpha\) 下是统计不显著的。

假设检验实例

单个正态总体

\(Z\) 检验：\(\sigma^2\) 已知，检验均值

\(t\) 检验：\(\sigma^2\) 未知，检验均值

\(\chi^2\) 检验：\(\mu\) 未知，检验 \(\sigma^2\)

两个正态总体

已知 \(\sigma_1, \sigma_2\)，检验 \(\mu_1 - \mu_2\)

\(\sigma_1 = \sigma_2\) 但未知，检验 \(\mu_1 - \mu_2\)

\(\sigma_1 \neq \sigma_2\) 且未知，检验 \(\mu_1 - \mu_2\)

\(F\) 检验：\(\mu_1, \mu_2\) 未知，检验 \(\dfrac{\sigma_1^2}{\sigma_2^2}\)

回归分析

一元线性回归

假设模型为：

\(Y_i = \alpha + \beta x_i + \varepsilon_i\)

\(\varepsilon \sim N(0, \sigma^2)\)

其中 \(\alpha, \beta, \sigma^2\) 未知

据此知 \(Y_i \sim N(\alpha + \beta x_i, \sigma^2)\).

由样本给出 \(\alpha, \beta\) 的点估计 \(\hat \alpha, \hat \beta\)，称 \(\hat y = \hat \alpha + \hat \beta x\)。

直接定义偏差函数为 \(Q(\alpha, \beta) = \sum (y_i - \hat y_i)^2\)

通过最小化 \(Q(\hat \alpha, \hat \beta)\) 来得到 \(\hat \alpha\) 和 \(\hat \beta\)。

不写了。