4.1.1同变型概念

最小风险同变估计（MREE/最优同变估计）知识点详解与推导

一、核心背景与基础定义

1. 问题的提出

参数估计中，我们除了用无偏性约束估计量（对应一致最小风险无偏估计UMRUE），另一种核心约束是同变性：当样本和参数做有实际意义的变换时，估计量应同步做对应变换，保证估计的物理/统计意义不随测量单位、参考起点的变化而改变。

在所有满足同变性的估计（同变估计）中，均方损失下风险（均方误差MSE）最小的估计，就是最小风险同变估计（Minimum Risk Equivariant Estimator, MREE），也叫最优同变估计。

2. 同变性的严格通用定义

设样本\(X=(X_1,X_2,\dots,X_n)^T \sim f(x,\theta), \theta\in\Theta\)，定义：

• 样本变换群\(\mathcal{G} = \{g\}\)：\(g\)是样本空间到自身的一一映射；
• 参数变换群\(\bar{\mathcal{G}} = \{\bar{g}\}\)：若\(X\sim f(x,\theta)\)，则\(g(X)\sim f(x,\bar{g}(\theta))\)，即样本变换等价于参数同步变换。

若待估函数\(g(\theta)\)的估计量\(\hat{g}(X)\)满足：

\[\hat{g}(g(X)) = \bar{g}(\hat{g}(X)), \quad \forall g\in\mathcal{G} \]

则称\(\hat{g}(X)\)是变换群\((\mathcal{G},\bar{\mathcal{G}})\)下的同变估计。

下面我们重点讲解两类最常用的变换群与对应的MREE。

---

二、平移变换群下，位置参数的MREE推导

1. 位置参数分布族

若样本的联合密度可表示为：

\[f(x_1,x_2,\dots,x_n;\theta) = f(x_1-\theta, x_2-\theta, \dots, x_n-\theta) = f(x - \theta \mathbf{1}) \]

其中\(\mathbf{1}=(1,1,\dots,1)^T\)，\(\theta\in\mathbb{R}\)为未知位置参数，该分布族称为位置参数分布族。

• 典型例子：\(X_i\sim N(\mu,1)\)，\(\mu\)是位置参数，温度、长度的参考起点都属于位置参数。

2. 平移变换与同变条件

我们考虑平移变换：对任意常数\(c\in\mathbb{R}\)，

• 样本变换：\(g_c(X) = X + c\mathbf{1}\)，即每个样本点同步加\(c\)；
• 参数变换：\(\bar{g}_c(\theta) = \theta + c\)，参数同步平移\(c\)。

位置参数\(\theta\)的估计量\(\hat{\theta}(X)\)是平移同变估计，当且仅当满足平移同变条件：

\[\hat{\theta}(X + c\mathbf{1}) = \hat{\theta}(X) + c, \quad \forall c\in\mathbb{R} \tag{1} \]

3. 平移同变估计的通用结构

首先定义位置不变统计量：若统计量\(T(X)\)满足\(T(X + c\mathbf{1}) = T(X), \forall c\in\mathbb{R}\)，则称其为位置不变统计量（如\(X_i - X_j\)、\(X_i - \bar{X}\)、样本方差\(S^2\)）。

取基准同变估计\(\bar{X}\)（显然满足\(\overline{X + c\mathbf{1}} = \bar{X} + c\)），对任意平移同变估计\(\hat{\theta}(X)\)，令\(u(X) = \hat{\theta}(X) - \bar{X}\)，可证：

\[u(X + c\mathbf{1}) = \hat{\theta}(X + c\mathbf{1}) - \overline{X + c\mathbf{1}} = \hat{\theta}(X) - \bar{X} = u(X) \]

即\(u(X)\)是位置不变统计量。

因此得到平移同变估计的通用形式：

所有平移变换群下的同变估计，都可表示为

\[\hat{\theta}(X) = \bar{X} + u(X) \]

其中\(u(X)\)是任意位置不变统计量。

4. 均方损失下MREE的详细推导

我们的目标是最小化均方误差（均方损失下的风险）：

\[R(\theta,\hat{\theta}) = \mathbb{E}_\theta \left[ (\hat{\theta}(X) - \theta)^2 \right] \]

步骤1：风险函数的化简

将同变估计结构\(\hat{\theta} = \bar{X} + u(X)\)代入风险函数，做变量替换\(Y_i = X_i - \theta\)：

• \(Y_i\)的分布与\(\theta\)无关（位置参数分布族的性质）；
• \(\bar{X} = \bar{Y} + \theta\)，且\(u(X) = u(Y + \theta \mathbf{1}) = u(Y)\)（\(u\)是位置不变统计量）。

代入后风险函数化简为：

\[R(\theta,\hat{\theta}) = \mathbb{E} \left[ (\bar{Y} + \theta + u(Y) - \theta)^2 \right] = \mathbb{E} \left[ (\bar{Y} + u(Y))^2 \right] \]

关键结论：平移同变估计的风险是与未知参数\(\theta\)无关的常数，只需最小化这个常数即可。

步骤2：正态分布实例的完整推导（例4.1.1）

已知\(X_1,\dots,X_n \text{ i.i.d.} \sim N(\mu,1)\)，\(\mu\)为位置参数，推导其MREE：

1. 确定充分统计量：\(N(\mu,1)\)的完备充分统计量为\(\bar{X}\)，根据充分性原则，最优估计必为\(\bar{X}\)的函数，设\(\hat{\mu}(X) = \varphi(\bar{X})\)。
2. 代入同变条件：\(\varphi(\bar{X} + c) = \varphi(\bar{X}) + c\)，对任意\(\bar{x}\)取\(c=-\bar{x}\)，得：
   \[\varphi(0) = \varphi(\bar{x}) - \bar{x} \implies \varphi(\bar{x}) = \bar{x} + \varphi(0) \]
   记常数\(b=\varphi(0)\)，则所有满足条件的估计为\(\hat{\mu}(X) = \bar{X} + b\)。
3. 最小化均方误差：展开MSE：
   \[\text{MSE} = \mathbb{E}_\mu \left[ (\bar{X} + b - \mu)^2 \right] = \mathbb{E}(\bar{X}-\mu)^2 + 2b\mathbb{E}(\bar{X}-\mu) + b^2 \]
   由于\(\mathbb{E}(\bar{X}-\mu)=0\)，\(\mathbb{E}(\bar{X}-\mu)^2 = \text{Var}(\bar{X}) = 1/n\)，因此：
   \[\text{MSE} = \frac{1}{n} + b^2 \]
   当\(b=0\)时，MSE取得最小值\(1/n\)。

最终得到正态分布位置参数的MREE：\(\hat{\mu}(X) = \bar{X}\)（样本均值）。

---

三、相似变换群下，尺度参数的MREE推导

1. 尺度参数分布族

若样本的联合密度可表示为：

\[f(x_1,x_2,\dots,x_n;\sigma) = \frac{1}{\sigma^n} f\left( \frac{x_1}{\sigma}, \frac{x_2}{\sigma}, \dots, \frac{x_n}{\sigma} \right) = \frac{1}{\sigma^n} f\left( \frac{x}{\sigma} \right) \]

其中\(\sigma>0\)为未知尺度参数，该分布族称为尺度参数分布族。

• 典型例子：\(X_i\sim N(0,\sigma^2)\)，\(\sigma\)是尺度参数，长度、重量的测量单位都属于尺度参数。

2. 相似变换与同变条件

我们考虑相似（尺度）变换：对任意常数\(k>0\)，

• 样本变换：\(g_k(X) = kX\)，即每个样本点同步乘以\(k\)；
• 参数变换：\(\bar{g}_k(\sigma) = k\sigma\)，参数同步缩放\(k\)。

尺度参数\(\sigma\)的估计量\(\hat{\sigma}(X)\)是相似同变估计，当且仅当满足相似同变条件：

\[\hat{\sigma}(kX) = k\hat{\sigma}(X), \quad \forall k>0 \tag{2} \]

若待估参数为\(\sigma^2\)，则同变条件为：

\[\widehat{\sigma^2}(kX) = k^2 \widehat{\sigma^2}(X), \quad \forall k>0 \]

3. 相似同变估计的通用结构

首先定义尺度不变统计量：若统计量\(T(X)\)满足\(T(kX) = T(X), \forall k>0\)，则称其为尺度不变统计量（如\(X_i/X_j\)、\(X_i/S\)，\(S\)为样本标准差）。

取基准同变估计\(S = \sqrt{\sum_{i=1}^n X_i^2}\)（满足\(S(kX)=kS(X)\)），对任意相似同变估计\(\hat{\sigma}(X)\)，令\(u(X) = \hat{\sigma}(X)/S\)，可证：

\[u(kX) = \frac{\hat{\sigma}(kX)}{S(kX)} = \frac{k\hat{\sigma}(X)}{kS(X)} = u(X) \]

即\(u(X)\)是尺度不变统计量。

因此得到相似同变估计的通用形式：

所有相似变换群下的同变估计，都可表示为

\[\hat{\sigma}(X) = S \cdot u(X) \]

其中\(u(X)\)是任意尺度不变统计量。

4. 均方损失下MREE的详细推导

目标是最小化均方误差：

\[R(\sigma,\hat{\sigma}) = \mathbb{E}_\sigma \left[ (\hat{\sigma}(X) - \sigma)^2 \right] \]

步骤1：风险函数的化简

将同变估计结构\(\hat{\sigma} = S \cdot u(X)\)代入风险函数，做变量替换\(Y_i = X_i/\sigma\)：

• \(Y_i\)的分布与\(\sigma\)无关（尺度参数分布族的性质）；
• \(S(X) = \sigma S(Y)\)，且\(u(X) = u(\sigma Y) = u(Y)\)（\(u\)是尺度不变统计量）。

代入后风险函数化简为：

\[R(\sigma,\hat{\sigma}) = \mathbb{E} \left[ (\sigma S(Y) u(Y) - \sigma)^2 \right] = \sigma^2 \cdot \mathbb{E} \left[ (S(Y) u(Y) - 1)^2 \right] \]

关键结论：尺度同变估计的风险与\(\sigma^2\)成正比，比例系数与\(\sigma\)无关，只需最小化这个比例系数即可。

步骤2：正态分布实例的完整推导（例4.1.2）

已知\(X_1,\dots,X_n \text{ i.i.d.} \sim N(0,\sigma^2)\)，待估参数为\(\sigma^2\)，推导其MREE：

1. 确定充分统计量：\(N(0,\sigma^2)\)的完备充分统计量为\(S^2 = \sum_{i=1}^n X_i^2\)，最优估计必为\(S^2\)的函数，设\(\widehat{\sigma^2}(X) = \varphi(S^2)\)。
2. 代入同变条件：\(\varphi(k^2 S^2) = k^2 \varphi(S^2)\)，对任意\(s^2>0\)取\(k=1/\sqrt{s^2}\)，得：
   \[\varphi(1) = \frac{\varphi(s^2)}{s^2} \implies \varphi(s^2) = s^2 \cdot \varphi(1) \]
   记常数\(b=\varphi(1)\)，则所有满足条件的估计为\(\widehat{\sigma^2}(X) = b S^2\)。
3. 最小化均方误差：
   由卡方分布性质，\(S^2/\sigma^2 = \sum_{i=1}^n (X_i/\sigma)^2 \sim \chi^2(n)\)，记\(W=S^2/\sigma^2\)，则\(\mathbb{E}[W]=n\)，\(\mathbb{E}[W^2] = n^2 + 2n\)。
   展开MSE：
   \[\text{MSE} = \mathbb{E}_\sigma \left[ (b S^2 - \sigma^2)^2 \right] = \sigma^4 \cdot \mathbb{E}\left[ (bW - 1)^2 \right] \]
   \[\mathbb{E}\left[ (bW - 1)^2 \right] = b^2(n^2+2n) - 2bn + 1 \]
   这是关于\(b\)的二次函数，最小值在\(b = \frac{n}{n^2+2n} = \frac{1}{n+2}\)处取得。

最终得到正态分布尺度参数\(\sigma^2\)的MREE：

\[\widehat{\sigma^2}(X) = \frac{1}{n+2}\sum_{i=1}^n X_i^2 \]

步骤3：与无偏估计的对比

估计类型	估计形式	均方误差MSE
MREE（最优同变估计）	\(\frac{1}{n+2}\sum X_i^2\)	\(\frac{2\sigma^4}{n+2}\)
无偏估计/UMRUE/MLE	\(\frac{1}{n}\sum X_i^2\)	\(\frac{2\sigma^4}{n}\)

可见MREE放弃了无偏性，但获得了更小的均方误差，整体风险更优。

---

四、核心知识点归纳总结

对比维度	平移变换群（位置参数\(\theta\)）	相似变换群（尺度参数\(\sigma\)）
分布族形式	\(f(x;\theta) = f(x - \theta \mathbf{1}), \theta\in\mathbb{R}\)	\(f(x;\sigma) = \frac{1}{\sigma^n}f\left( \frac{x}{\sigma} \right), \sigma>0\)
变换群定义	样本变换：\(x_i \to x_i + c, \forall c\in\mathbb{R}\) 参数变换：\(\theta \to \theta + c\)	样本变换：\(x_i \to kx_i, \forall k>0\) 参数变换：\(\sigma \to k\sigma\)
核心同变条件	\(\hat{\theta}(X + c\mathbf{1}) = \hat{\theta}(X) + c\)	\(\hat{\sigma}(kX) = k\hat{\sigma}(X)\) （估计\(\sigma^2\)时：\(\widehat{\sigma^2}(kX) = k^2\widehat{\sigma^2}(X)\)）
不变统计量定义	满足\(T(X + c\mathbf{1}) = T(X)\)的统计量，如\(X_i - \bar{X}\)、样本方差	满足\(T(kX) = T(X)\)的统计量，如\(X_i/X_j\)、\(X_i/S\)
同变估计通用结构	\(\hat{\theta}(X) = \text{基准同变估计} + \text{位置不变统计量}\) 典型形式：\(\hat{\theta}(X) = \bar{X} + u(X)\)	\(\hat{\sigma}(X) = \text{基准同变估计} \times \text{尺度不变统计量}\) 典型形式：\(\hat{\sigma}(X) = S \cdot u(X)\)
风险函数性质	风险是与\(\theta\)无关的常数	风险与\(\sigma^2\)成正比，比例系数与\(\sigma\)无关
正态分布实例的MREE	\(X_i\sim N(\mu,1)\)，MREE为\(\hat{\mu} = \bar{X}\)（样本均值）	\(X_i\sim N(0,\sigma^2)\)，MREE为\(\widehat{\sigma^2} = \frac{1}{n+2}\sum_{i=1}^n X_i^2\)
与无偏估计的关系	本例中MREE与无偏估计完全一致	本例中MREE为有偏估计，但均方误差显著小于无偏估计
核心意义	保证估计量随样本平移同步平移，符合位置参数的参考起点一致性，在约束下最小化风险	保证估计量随样本缩放同步缩放，符合尺度参数的单位一致性，在约束下最小化风险

---

五、补充说明

1. MREE与UMRUE的核心区别：UMRUE的约束是无偏性，在无偏估计中找最小风险；MREE的约束是同变性，在同变估计中找最小风险，二者约束不同，最优结果可能不同。
2. 损失函数的影响：上述推导均基于均方损失，若更换为绝对损失等其他损失函数，MREE的形式会改变，但同变条件和推导的核心逻辑不变。
3. 同变性的实际价值：同变性保证了估计量的实际意义不随测量单位、参考基准的变化而改变，是工程、物理、经济等实际应用中非常重要的估计量性质。