参数估计

点估计

• 定义:
  设总体分布函数 \(F(x;\theta)\) 的形式为已知,\(\theta\) 是待估参数, \(X_1,X_2,\cdotp\cdotp\cdotp,X_n\) 为总体 \(X\) 的一个样本,其样本值为 \(x_1,x_2,\cdotp\cdotp\cdotp,x_n.\)
  点估计即构造一个适当的统计量\(\hat{\theta}=\theta(X_1,X_2,\cdots,X_n)\), 用它的观察值 \(\hat{\theta}=\theta(x_1,x_2,\cdots,x_n)\) 作为未知参数 \(\theta\) 的近似值.
  称 \(\hat{\theta}=\theta(X_1,X_2,\cdots,X_n)\)为 \(\theta\) 的估计量,\(\hat{\theta}=\theta(x_1,x_2,\cdots,x_n)\) 为 \(\theta\) 的估计值.

矩估计

用样本矩估计同阶的总体矩，用样本矩的函数估计总体矩的函数，这种估计法称为参数的矩估计

• k 个未知参数，\(\theta_k\)，\(X_1,X_2,...X_n\) 来自总体 \(X\) ,则

\[A_l = \frac1n\sum_{i=1}^nX_i^l=EX^l(l=1,2,...,k) \]

• 矩估计使用前提是有关的总体矩存在；使用中心矩和原点矩均可
• 用样本一阶原点矩\(\bar{X}\) 估计期望 \(EX\) ,用样本二阶中心矩 \(\frac1n\sum_{i=1}^n(X_i-\overline{X})^2\) 估计方差 \(VarX\)

最大似然估计

在数学上，我们假设一组数据 \(X = \{x_1, x_2, ..., x_n\}\) 是独立同分布的（i.i.d.）。我们要估计的参数是 \(\theta\)。

我们引入似然函数 (Likelihood Function)，记作 \(L(\theta)\)。 它表示在参数为 \(\theta\) 时，观测到这组数据 \(X\) 的联合概率：

\[L(\theta) = P(X|\theta) = \prod_{i=1}^{n} P(x_i|\theta) \]

MLE 的目标： 找到一个 \(\hat{\theta}\)，使得 \(L(\theta)\) 的值最大。

操作步骤

• 设样本观测值为\(x_1,x_2,...,x_n\)
• 写出似然函数

\[L(\theta) = \prod_{i=1}^{n} P(x_i|\theta) \]

• 取对数

\[\ln L(\theta) = \ln \left( \prod_{i=1}^{n} P(x_i|\theta) \right) = \sum_{i=1}^{n} \ln P(x_i|\theta) \]

• 求导数

\[\frac{\partial \ln L(\theta)}{\partial \theta} = 0 \]

• 解方程: 得到的 \(\theta\) 值就是最大似然估计值 \(\hat{\theta}_{MLE}\)。

最大似然估计的不变性

如果你算出了参数 \(\theta\) 的最大似然估计值 \(\hat{\theta}\)，那么对于 \(\theta\) 的任意函数 \(g(\theta)\)，它的最大似然估计值就是 \(g(\hat{\theta})\)。

• 模型参数为 \(\theta\)。
• 我们求出了 \(\theta\) 的最大似然估计量 \(\hat{\theta}_{MLE}\)。
• 我们需要估计一个新的参数 \(\eta\)，它是 \(\theta\) 的函数：\(\eta = g(\theta)\)。
  那么，\(\eta\) 的最大似然估计量就是：

\[\hat{\eta}_{MLE} = g(\hat{\theta}_{MLE}) \]

常见分布的MLE

二项分布 (Binomial Distribution)

估计量的评价标准

无偏性

数学定义：
如果估计量的期望等于真实参数，即：

\[E[\hat{\theta}] = \theta \]

则称 \(\hat{\theta}\) 是无偏估计量。

有效性

数学定义：
对于两个无偏估计量 \(\hat{\theta}_1\) 和 \(\hat{\theta}_2\)，如果：

\[\text{Var}(\hat{\theta}_1) < \text{Var}(\hat{\theta}_2) \]

则称 \(\hat{\theta}_1\) 比 \(\hat{\theta}_2\) 更有效。

一致性/相合性

当样本量 \(n\) 趋于无穷大时，估计量 \(\hat{\theta}_n\) 依概率收敛于真实值 \(\theta\)：

\[\lim_{n \to \infty} P(|\hat{\theta}_n - \theta| < \epsilon) = 1 \]

均方误差原则

设 \(\hat{\theta}\) 是对参数 \(\theta\) 的估计量。

MSE 定义为估计值与真实值之差的平方的期望值：

\[MSE(\hat{\theta}) = E[(\hat{\theta} - \theta)^2] \]

通俗地说，它计算的是我们犯错误的“平均平方程度”。值越小，说明估计量越好。

MSE 可以完美分解为两部分：

\[MSE(\hat{\theta}) = \underbrace{\text{Var}(\hat{\theta})}_{\text{方差}} + \underbrace{[\text{Bias}(\hat{\theta})]^2}_{\text{偏差平方}} \]

\[MSE(\hat{\theta}) = Var \hat{\theta} +(E\hat\theta- \theta)^2 \]

这个公式揭示了一个深刻的道理：总误差 = 随机波动的代价 + 系统偏差的代价。

判断标准：

• 如果 \(MSE(\hat{\theta}_1) < MSE(\hat{\theta}_2)\)，则认为 \(\hat{\theta}_1\) 优于 \(\hat{\theta}_2\)。
• 如果比值 \(\frac{MSE(\hat{\theta}_2)}{MSE(\hat{\theta}_1)} > 1\)，我们称 \(\hat{\theta}_1\) 相对于 \(\hat{\theta}_2\) 是相对有效的。
• 通常我们会看谁在大多数合理的参数范围内 MSE 更小。
• 注：实际上，让 MSE 最小的神级系数既不是 \(n\) 也不是 \(n-1\)，而是 \(n+1\)。

区间估计

置信区间 (Confidence Interval, CI)

在数学上，我们要寻找两个统计量 \(\hat{\theta}_L\) (下限) 和 \(\hat{\theta}_U\) (上限)，使得真实参数 \(\theta\) 落在它们中间的概率等于 \(1-\alpha\)：

\[P(\hat{\theta}_L < \theta < \hat{\theta}_U) \ge 1 - \alpha \]

• \(1-\alpha\)：称为置信水平 (Confidence Level)。通常取 0.95 或 0.99。
• \(\alpha\)：称为显著性水平，也就是我们允许“出错”的概率（网漏了的概率）。
• \([\hat{\theta}_L, \hat{\theta}_U]\)：就是置信区间。

枢轴量法

设 \(X_1, X_2, ..., X_n\) 是来自总体 \(F(x; \theta)\) 的样本，\(\theta\) 是我们要估计的未知参数。
如果存在一个函数 \(G(X_1, ..., X_n; \theta)\) 满足以下两个条件：

1. 含参： 函数表达式中必须包含未知参数 \(\theta\) 和样本。
2. 分布已知： 该函数 \(G\) 的概率分布不依赖于任何未知参数 \(\theta\)。

那么，\(G\) 就被称为关于 \(\theta\) 的枢轴量。

• 枢轴量的选取：它的分布是已知的，且与未知参数无关。
• 然后就可以构造\(P(c \le G \le d) \ge 1-\alpha\) 成立
• 将\(c\le G \le d\)等价变形，得到\(\hat \theta_L \le \theta \le \hat \theta_R\)，即可得到置信区间

单个正态总体未知参数的区间估计

情况一：估计均值 \(\mu\)，方差 \(\sigma^2\) 已知

• 枢轴量：

\[Z = \frac{\bar{X} - \mu}{\sigma / \sqrt{n}} \sim N(0, 1) \]

• 推导：
  我们要把 \(Z\) 限制在标准正态分布的下 \(\alpha/2\) 分位数和下 \(1-\alpha/2\) 分位数之间。

\[P\left( z_{\alpha/2} < \frac{\bar{X} - \mu}{\sigma / \sqrt{n}} < z_{1-\alpha/2} \right) = 1 - \alpha \]

利用对称性 \(z_{\alpha/2} = -z_{1-\alpha/2}\)，不等式解出来是：

\[\bar{x} - z_{1-\alpha/2}\frac{\sigma}{\sqrt{n}} < \mu < \bar{x} - z_{\alpha/2}\frac{\sigma}{\sqrt{n}} \]

代入对称关系，右边变成 \(\bar{x} + z_{1-\alpha/2}\frac{\sigma}{\sqrt{n}}\)。

• 置信区间公式：
  \[\left[ \bar{x} - z_{1-\alpha/2}\frac{\sigma}{\sqrt{n}}, \quad \bar{x} + z_{1-\alpha/2}\frac{\sigma}{\sqrt{n}} \right] \]

情况二：估计均值 \(\mu\)，方差 \(\sigma^2\) 未知

• 枢轴量：

\[T = \frac{\bar{X} - \mu}{S / \sqrt{n}} \sim t(n-1) \]

• 推导：

  同理，使用 \(t\) 分布的下分位数。

  \[P\left( t_{\alpha/2}(n-1) < T < t_{1-\alpha/2}(n-1) \right) = 1 - \alpha \]

  因为 \(t_{\alpha/2} = -t_{1-\alpha/2}\)，解出来形式与情况一完全一致，只是换了分布。

• 置信区间公式：

\[\left[ \bar{x} - t_{1-\alpha/2}(n-1)\frac{S}{\sqrt{n}}, \quad \bar{x} + t_{1-\alpha/2}(n-1)\frac{S}{\sqrt{n}} \right] \]

---

情况三：估计方差 \(\sigma^2\)，均值 \(\mu\) 未知

这里最容易搞混，因为 \(\chi^2\) 分布不对称且全为正，倒数运算会改变大小顺序。

• 枢轴量： \(\chi^2 = \frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)\)
• 推导：
  1. 我们要让枢轴量落在“小分位数”和“大分位数”之间：

\[P\left( \chi^2_{\alpha/2}(n-1) < \frac{(n-1)S^2}{\sigma^2} < \chi^2_{1-\alpha/2}(n-1) \right) = 1 - \alpha \]

- \(\chi^2_{\alpha/2}\)：数值较小（靠近 0 的左尾点）。
- \(\chi^2_{1-\alpha/2}\)：数值较大（靠近无穷大的右尾点）。
2. 取倒数（关键步骤）：
对不等式三边取倒数，不等号方向改变！

\[\frac{1}{\chi^2_{\alpha/2}(n-1)} > \frac{\sigma^2}{(n-1)S^2} > \frac{1}{\chi^2_{1-\alpha/2}(n-1)} \]

整理一下顺序（把小的放左边）：

\[\frac{1}{\chi^2_{1-\alpha/2}(n-1)} < \frac{\sigma^2}{(n-1)S^2} < \frac{1}{\chi^2_{\alpha/2}(n-1)} \]

1. 把分子上的 \((n-1)S^2\) 乘出去。

• 置信区间公式：

\[\left[ \frac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)}, \quad \frac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)} \right] \]

提示：
下限的分母是 \(\chi^2_{1-\alpha/2}\)（这是一个大数值），分母大，分数值才小，做下限合情合理。
上限的分母是 \(\chi^2_{\alpha/2}\) （这是一个小数值），分母小，分数值才大，做上限合情合理。

情况四：估计方差 \(\sigma^2\)，均值 \(\mu\) 已知

• 枢轴量： \(\chi^2 = \frac{\sum(X_i-\mu)^2}{\sigma^2} \sim \chi^2(n)\)

• 推导：
  逻辑与情况三完全相同，只是自由度由 \(n-1\) 变为 \(n\)，分子换成真实误差平方和。

• 置信区间公式：

  \[\left[ \frac{\sum(x_i-\mu)^2}{\chi^2_{1-\alpha/2}(n)}, \quad \frac{\sum(x_i-\mu)^2}{\chi^2_{\alpha/2}(n)} \right] \]

单侧置信区间

单侧置信下限 (Lower Confidence Limit)

找一个界限 \(\hat{\theta}_L\)，使得真实参数 \(\theta\) 大于这个界限的概率高达 \(1-\alpha\)。

\[P(\hat{\theta}_L \le \theta) = 1 - \alpha \]

• 结果形式： \([\hat{\theta}_L, +\infty)\)

单侧置信上限 (Upper Confidence Limit)

找一个界限 \(\hat{\theta}_U\)，使得真实参数 \(\theta\) 小于这个界限的概率高达 \(1-\alpha\)。

\[P(\theta \le \hat{\theta}_U) = 1 - \alpha \]

• 结果形式： \((-\infty, \hat{\theta}_U]\)

计算

只要有了双侧区间的公式，只需将分位数下标中的 \(\alpha/2\) 替换为 \(\alpha\)（或者将 \(1-\alpha/2\) 替换为 \(1-\alpha\)），就可以得到对应的单侧区间边界。