4.2.1位置参数分布族的平移变换群
位置参数分布族的平移变换群 知识点详解与推导证明
我将从基础定义出发,逐层拆解核心概念,完成所有关键结论的严格推导,最后用结构化表格归纳全知识点。
一、位置参数分布族的核心定义与基础性质
1. 位置参数分布族的定义
设n维随机样本 \(X=(X_1,X_2,\dots,X_n)^T\),其联合概率密度(分布)为 \(p(x,\theta)\),若满足:
其中:
- 位置参数 \(\theta \in \Theta = \mathbb{R}=(-\infty,+\infty)\),
- \(\mathbf{1}=(1,1,\dots,1)^T\) 为n维全1向量,
- \(f(\cdot)\) 是与\(\theta\)无关的n元密度函数,
则称分布族 \(\{P_\theta, \theta\in\mathbb{R}\}\) 为位置参数分布族。
直观理解与典型例子
位置参数\(\theta\)仅控制分布在数轴上的“平移”,不改变分布的形状与离散程度。最经典的例子是正态分布族 \(\{N(\theta,1)\}\):
其单样本密度为 \(\frac{1}{\sqrt{2\pi}}e^{-\frac{(x-\theta)^2}{2}}\),符合 \(f(x-\theta)\) 的形式,其中 \(f(t)=\frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}\) 是标准正态分布\(N(0,1)\)的密度,也就是\(\theta=0\)时的标准分布。
2. 位置参数分布族的核心性质与证明
性质:若 \(X \sim P_\theta\),则 \(Y = X - \theta \mathbf{1} \sim P_0\)(标准分布,与\(\theta\)无关);反之,若 \(Y \sim P_0\),则 \(X = Y + \theta \mathbf{1} \sim P_\theta\)。
严格证明
(1)正向证明:\(X \sim P_\theta \implies Y=X-\theta\mathbf{1} \sim P_0\)
对线性变换 \(y_i = x_i - \theta \ (i=1,\dots,n)\),其逆变换为 \(x_i = y_i + \theta\),雅可比矩阵为n阶单位矩阵,行列式的绝对值 \(|J|=1\)。
已知\(X\)的联合密度为 \(p_X(x,\theta)=f(x_1-\theta,x_2-\theta,\dots,x_n-\theta)\),根据随机变量变换的密度公式,\(Y\)的联合密度为:
该式与\(\theta\)完全无关,正是\(\theta=0\)时标准分布\(P_0\)的密度,正向得证。
(2)反向证明:\(Y \sim P_0 \implies X=Y+\theta\mathbf{1} \sim P_\theta\)
同理,对逆变换 \(y_i = x_i - \theta\),雅可比行列式\(|J|=1\),\(Y\)的密度为\(p_Y(y)=f(y_1,\dots,y_n)\),因此\(X\)的联合密度为:
完全符合位置参数分布族\(P_\theta\)的密度定义,反向得证。
性质的核心意义
位置参数分布族的所有分布,都可以通过标准分布\(P_0\)的平移生成,这是“位置参数”的本质,也是后续平移变换群与同变估计的理论基础。
二、平移变换群体系的定义与推导
“群”是满足封闭性、结合律、单位元存在、逆元存在四条公理的变换集合,平移变换天然满足群的定义,我们从样本空间、参数空间、判决空间三个维度完整推导。
1. 样本空间的平移变换群
设样本空间 \(\mathcal{X} = \mathbb{R}^n\)(n维实数空间),定义平移变换集合 \(G = \{g_c: c\in\mathbb{R}\}\),其中每个变换\(g_c\)的作用为:
含义是对样本的每个分量同步加上常数\(c\),实现样本整体平移。
证明\(G\)是一个群
- 封闭性:对任意\(g_c, g_d \in G\),有 \(g_c(g_d x) = g_c(x+d\mathbf{1}) = x + (c+d)\mathbf{1} = g_{c+d}x\),结果仍属于\(G\);
- 结合律:\((g_c g_d)g_e = g_{c+d}g_e = g_{(c+d)+e} = g_{c+(d+e)} = g_c(g_d g_e)\),结合律成立;
- 单位元:取\(c=0\),\(g_0 x = x + 0\cdot\mathbf{1}=x\),为恒等变换,单位元存在;
- 逆元:对任意\(g_c \in G\),取\(g_{-c}\),则\(g_c g_{-c} x = x = g_0 x\),逆元存在。
因此\(G\)是样本空间上的平移变换群。
2. 参数空间的导出群
样本做平移变换后,我们需要推导对应参数的变换规律,这就是参数空间导出群的来源。
设\(X \sim P_\theta\),令\(Y = g_c X = X + c\mathbf{1}\)(即\(Y_i=X_i+c\)),我们推导\(Y\)的分布:
对变换\(y_i = x_i + c\),逆变换\(x_i = y_i - c\),雅可比行列式\(|J|=1\),因此\(Y\)的联合密度为:
该式正是位置参数分布族中,参数为\(\theta' = \theta + c\)时的密度,即\(Y \sim P_{\theta + c}\)。
核心结论
- 样本平移\(c\)后,分布仍属于原位置参数分布族,因此\(\{P_\theta, \theta\in\mathbb{R}\}\)是平移不变分布族;
- 样本的平移\(c\),对应参数同步平移\(c\),因此定义参数空间\(\Theta=\mathbb{R}\)上的导出群 \(\overline{G} = \{\overline{g}_c: c\in\mathbb{R}\}\),其中变换规则为:
\(\overline{G}\)同样满足群的四条公理,与样本空间的变换群\(G\)同态。
3. 判决空间的导出群
我们的目标是估计位置参数\(\theta\),因此判决空间\(\mathcal{D}\)(估计量的取值空间)就是参数空间\(\Theta=\mathbb{R}\)。
为了保证估计的协调性:样本平移\(c\)、参数平移\(c\),估计值也应同步平移\(c\),因此定义判决空间上的导出群 \(G^* = \overline{G} = \{g_c^*: c\in\mathbb{R}\}\),变换规则为:
特别地,对估计量\(\hat{\theta}(x)\),有 \(g_c^* \hat{\theta}(x) = \hat{\theta}(x) + c\)。
三、平移同变估计与同变损失函数
1. 平移同变估计与同变条件
同变估计的核心思想:统计推断的结果应与变换群保持协调,样本做平移变换时,估计值同步平移,不改变推断的逻辑。
同变条件的推导
同变估计的通用定义:对样本空间群\(G\)、参数空间导出群\(\overline{G}\)、判决空间导出群\(G^*\),若估计量\(\hat{\theta}(x)\)满足:
则称\(\hat{\theta}(x)\)为同变估计量。
将平移变换\(g=g_c\)、\(g^*=g_c^*\)代入,结合\(g_c x = x + c\mathbf{1}\)、\(g_c^* \hat{\theta}(x)=\hat{\theta}(x)+c\),直接得到平移同变条件:
这是平移同变估计必须满足的充要条件。
2. 核心推论与证明
推论:若\(\hat{\theta}(X)\)是\(\theta\)的平移同变估计,则必有
严格证明
同变条件(4.2.1)对任意实数\(c\)均成立,因此取\(c=-\theta\),代入式(4.2.1):
- 左边:\(\hat{\theta}(x + c\mathbf{1}) = \hat{\theta}(x - \theta \mathbf{1})\)
- 右边:\(\hat{\theta}(x) + c = \hat{\theta}(x) - \theta\)
左右两边恒等,因此\(\hat{\theta}(X - \theta \mathbf{1}) = \hat{\theta}(X) - \theta\),推论得证。
推论的核心意义
我们已经证明\(X - \theta \mathbf{1} \sim P_0\),其分布与\(\theta\)无关,因此\(\hat{\theta}(X - \theta \mathbf{1})\)的分布也与\(\theta\)无关。结合推论可得:
平移同变估计的估计误差\(\hat{\theta}(X)-\theta\),其分布与未知参数\(\theta\)完全无关。
这是同变估计最核心的性质,也是求解最小风险同变估计(MREE)的关键基础。
3. 平移同变损失函数
为了保证风险函数与变换群协调,损失函数也需要满足平移同变性。
平移同变损失的定义
损失函数\(L(\theta,d)\)满足:对任意\(c\in\mathbb{R}\),有
直观含义:参数和估计值同步平移\(c\)时,估计误差不变,损失也保持不变。
同变损失函数的标准形式推导
对任意\(\theta,d\),取\(c=-\theta\),代入同变条件得:
令\(\rho(t) = L(0, t)\)(\(t=d-\theta\)为估计误差),则平移同变损失函数的充要标准形式为:
常见例子
- 均方损失(平方误差损失):\(L(\theta,d)=(d-\theta)^2\),对应\(\rho(t)=t^2\);
- 绝对误差损失:\(L(\theta,d)=|d-\theta|\),对应\(\rho(t)=|t|\)。
核心结论
结合同变估计的性质,平移同变估计的风险函数为:
由于\(\hat{\theta}(X)-\theta\)的分布与\(\theta\)无关,因此风险\(R(\theta,\hat{\theta})\)是与\(\theta\)无关的常数。这意味着:求解最小风险同变估计(MREE)时,只需在同变估计类中找到使该常数风险最小的估计量,无需考虑\(\theta\)的取值,极大简化了估计问题。
四、知识点结构化归纳总结
| 模块分类 | 核心概念 | 数学表达式 | 核心意义与说明 |
|---|---|---|---|
| 基础定义 | 位置参数分布族 | 样本\(X=(X_1,\dots,X_n)^T\)的联合密度\(p(x,\theta)=f(x-\theta\mathbf{1})=f(x_1-\theta,\dots,x_n-\theta)\),\(\theta\in\mathbb{R}\) | 分布族由标准分布\(f(\cdot)\)平移生成,\(\theta\)仅控制分布位置,不改变形状;典型例子:\(N(\theta,1)\)分布族 |
| 基础定义 | 标准分布 | \(\theta=0\)时,\(X\sim P_0\),密度为\(f(x_1,\dots,x_n)\) | 分布族的基准分布,与\(\theta\)无关,所有\(P_\theta\)均可由\(P_0\)平移得到 |
| 变换群体系 | 样本空间平移变换群\(G\) | \(G=\{g_c:c\in\mathbb{R}\}\),\(g_c x = x + c\mathbf{1}\),即\(g_c x_i = x_i + c\) | 对样本做同步平移,满足群的封闭性、结合律、单位元、逆元四条公理 |
| 变换群体系 | 参数空间导出群\(\overline{G}\) | \(\overline{G}=\{\overline{g}_c:c\in\mathbb{R}\}\),\(\overline{g}_c \theta = \theta + c\) | 样本平移\(c\)对应参数同步平移\(c\),证明位置参数分布族是平移不变分布族 |
| 变换群体系 | 判决空间导出群\(G^*\) | \(G^*=\{g_c^*:c\in\mathbb{R}\}\),\(g_c^* d = d + c\),即\(g_c^* \hat{\theta}(x)=\hat{\theta}(x)+c\) | 保证估计值与样本、参数同步平移,是同变估计的核心前提 |
| 同变估计 | 平移同变条件 | \(\hat{\theta}(x + c\mathbf{1}) = \hat{\theta}(x) + c\),\(\forall c\in\mathbb{R},x\in\mathcal{X}\) | 平移同变估计的充要条件,直观含义:样本整体平移\(c\),估计值同步平移\(c\) |
| 同变估计 | 核心推论 | 若\(\hat{\theta}(X)\)是平移同变估计,则\(\hat{\theta}(X - \theta\mathbf{1}) = \hat{\theta}(X) - \theta\) | 1. 由同变条件取\(c=-\theta\)直接推导; 2. 核心结论:估计误差\(\hat{\theta}(X)-\theta\)的分布与\(\theta\)无关 |
| 同变损失函数 | 平移同变损失条件 | \(L(\theta,d) = L(\theta + c, d + c)\),\(\forall c\in\mathbb{R}\) | 损失仅与估计误差有关,与参数、估计值的绝对位置无关 |
| 同变损失函数 | 同变损失标准形式 | \(L(\theta,d) = \rho(d - \theta)\),其中\(\rho(t)=L(0,t)\) | 平移同变损失的充要形式,常见例子:均方损失\(\rho(t)=t^2\)、绝对损失\(\rho(t)=|t|\) |
| 最终核心结论 | 同变估计的风险性质 | 平移同变估计的风险\(R(\theta,\hat{\theta})=E_\theta[\rho(\hat{\theta}(X)-\theta)]\)为与\(\theta\)无关的常数 | 风险不依赖未知参数\(\theta\),为求解最小风险同变估计(MREE)提供了核心简化依据 |
位置参数的最优同变估计(MREE)知识点详解与完整推导
本节承接上一节平移变换群与同变估计的基础,核心目标是:在平移同变估计类中,找到使平移同变损失下风险最小的估计量——最小风险同变估计(MREE,也叫最优同变估计),最终推导出经典的Pitman估计公式,并完成所有结论的严格证明与应用讲解。
一、核心前置概念:平移不变量与最大不变量
要刻画所有平移同变估计的通用结构,首先需要明确平移不变量的定义与性质,它是连接所有同变估计的核心桥梁。
1. 平移不变量的定义
设\(g_c\)为样本空间的平移变换(\(g_c x = x + c\mathbf{1}\)),若统计量\(u(x)\)满足:
即样本整体平移后,统计量的取值保持不变,则称\(u(x)\)为平移不变量。
- 直观例子:样本分量的差\(x_2-x_1, x_{(n)}-x_{(1)}\)等,都是平移不变量——所有分量同步加\(c\)后,差值完全不变。
2. 核心引理与证明
引理4.2.1 同变估计与不变量的关系
设\(\hat{\theta}_1(x)\)和\(\hat{\theta}_2(x)\)都是\(\theta\)的平移同变估计,则\(u(x)=\hat{\theta}_1(x)-\hat{\theta}_2(x)\)为平移不变量;
反之,若\(\hat{\theta}_1(x)\)为平移同变估计,\(u(x)\)为平移不变量,则\(\hat{\theta}_2(x)=\hat{\theta}_1(x)+u(x)\)也是\(\theta\)的平移同变估计。
严格证明
- 正向证明(同变估计的差是不变量)
由平移同变条件\(\hat{\theta}(x + c\mathbf{1}) = \hat{\theta}(x) + c\),对\(u(x)=\hat{\theta}_1(x)-\hat{\theta}_2(x)\)有:
满足平移不变量的定义,正向得证。
- 反向证明(同变估计+不变量仍是同变估计)
已知\(\hat{\theta}_1(x)\)满足同变条件,\(u(x + c\mathbf{1})=u(x)\),则对\(\hat{\theta}_2(x)=\hat{\theta}_1(x)+u(x)\)有:
满足平移同变条件,反向得证。
引理核心意义
该引理完全刻画了平移同变估计类的结构:
只要找到任意一个「基准平移同变估计」,所有平移同变估计都可以表示为「基准估计 + 一个平移不变量」。这为我们求解MREE提供了核心思路:无需遍历所有同变估计,只需在基准估计+不变量的通用结构中,找到使风险最小的不变量即可。
引理4.2.2 平移不变量的充要条件
\(u(x)\)为平移不变量的充要条件是:存在函数\(\psi(\cdot)\),使得\(u(x)=\psi(y)\),其中
且平移不变量\(u(X)\)的分布仅与标准分布\(P_0\)(\(\theta=0\)时的分布)有关,与未知参数\(\theta\)无关。
严格证明
- 必要性(不变量必为\(y\)的函数)
若\(u(x)\)是平移不变量,则对任意\(c\)有\(u(x + c\mathbf{1})=u(x)\)。取\(c=-x_1\),代入得:
该式仅与\(y=(x_2-x_1,\dots,x_n-x_1)^T\)有关,因此存在\(\psi(\cdot)\)使得\(u(x)=\psi(y)\),必要性得证。
同时,取\(c=-\theta\),则\(u(x)=u(x - \theta\mathbf{1})\),而\(X - \theta\mathbf{1} \sim P_0\)(与\(\theta\)无关),因此\(u(X)\)的分布仅由\(P_0\)决定,与\(\theta\)无关。
- 充分性(\(y\)的函数必为不变量)
若\(u(x)=\psi(y)\),对\(y\)的任意分量\(y_i = x_i - x_1\),样本平移后有:
即\(y(x + c\mathbf{1})=y(x)\),因此\(u(x + c\mathbf{1})=\psi(y(x + c\mathbf{1}))=\psi(y(x))=u(x)\),满足平移不变量的定义,充分性得证。
定义4.2.1 最大平移不变量
称\(y=y(x)\)为最大平移不变量,若满足:
- \(y(x)\)本身是平移不变量;
- 任意一个平移不变量\(u(x)\),都可以表示为\(y(x)\)的函数,即存在\(\psi(\cdot)\)使得\(u(x)=\psi(y(x))\)。
关键说明
- 引理4.2.2中的\(y=(x_2-x_1,\dots,x_n-x_1)^T\)是最常用的最大平移不变量;
- 最大不变量不唯一:例如以\(x_n\)为基准,\(z=(x_1-x_n, x_2-x_n, \dots, x_{n-1}-x_n)^T\)也是最大平移不变量;
- 核心性质:所有最大不变量都能完全刻画平移不变量的全部信息,任意不变量都可由其生成。
引理4.2.3 平移同变估计的通用表达式
设\(\hat{\theta}(x)\)为\(\theta\)的某一基准平移同变估计,则任意一个平移同变估计\(\hat{\theta}^*(x)\)都可表示为:
其中\(\psi(\cdot)\)是关于最大不变量\(y\)的任意函数。
严格证明
由引理4.2.1,\(\hat{\theta}^*(x) - \hat{\theta}(x)\)是平移不变量;再由引理4.2.2,该不变量必为最大不变量\(y\)的函数,记为\(\psi(y)\),即:
移项后即得\(\hat{\theta}^*(x) = \hat{\theta}(x) - \psi(y)\),引理得证。
3. 求解MREE的通用步骤
基于上述3个引理,我们得到了求解位置参数最优同变估计的标准化流程:
- 选取一个合适的基准平移同变估计\(\hat{\theta}(X)\)(如\(X_1\)、样本均值\(\bar{X}\)、最小次序统计量\(X_{(1)}\)等);
- 写出所有平移同变估计的通用形式:\(\hat{\theta}^*(X) = \hat{\theta}(X) - \psi(Y)\),其中\(Y\)为最大平移不变量;
- 针对给定的平移同变损失函数,求解最优的\(\psi(\cdot)\),使得估计量的风险函数最小。
二、核心定理:Pitman(皮特曼)估计(均方损失下的MREE)
我们以统计中最常用的均方损失\(L(\theta,d)=(d-\theta)^2\)为例,推导位置参数的最优同变估计,即经典的Pitman估计。
定理4.2.1 Pitman定理
设\(\hat{\theta}(X)\)为\(\theta\)的任意一个平移同变估计,损失函数为均方损失\(L(\theta,d)=(d-\theta)^2\),则\(\theta\)的最优同变估计(MREE)为:
其中:
- \(\mathrm{E}_0\)表示对标准分布\(P_0\)(\(\theta=0\)时的分布)求期望;
- \(Y=(X_2-X_1,\dots,X_n-X_1)^T\)为最大平移不变量;
- 该最优估计唯一,与基准同变估计\(\hat{\theta}(X)\)的选取无关。
完整证明(分最优性、唯一性两部分)
第一部分:最优性证明(式4.2.4使风险最小)
我们的目标是:在同变估计类\(\hat{\theta}^*(X)=\hat{\theta}(X)-\psi(Y)\)中,找到\(\psi(\cdot)\)使均方损失下的风险最小。
- 步骤1:风险函数的初始形式
均方损失下,估计量的风险即为均方误差(MSE):
- 步骤2:利用同变条件化简误差项
由平移同变条件\(\hat{\theta}(x + c\mathbf{1})=\hat{\theta}(x)+c\),取\(c=-\theta\),可得:
将其代入风险函数,得:
- 步骤3:将期望转换为标准分布\(P_0\)下的期望
由位置参数分布族的核心性质,\(X - \theta\mathbf{1} \sim P_0\)(与\(\theta\)无关);同时\(Y\)是平移不变量,\(Y(X)=Y(X - \theta\mathbf{1})\),其分布也仅与\(P_0\)有关,与\(\theta\)无关。因此,风险函数可完全转换为\(\theta=0\)时的期望:
关键结论:平移同变估计的风险是与\(\theta\)无关的常数,只需最小化该常数即可,无需考虑\(\theta\)的取值。
- 步骤4:利用条件期望最小化均方误差
根据重期望公式(全期望公式),对任意随机变量\(Z\)有\(\mathrm{E}[Z^2] = \mathrm{E}\left[\mathrm{E}[Z^2 \mid Y]\right]\),因此:
在条件期望中,\(Y\)是已知的,因此\(\psi(Y)\)是一个常数。我们知道:对随机变量\(Z\),\(\mathrm{E}\left[(Z - \lambda)^2\right]\)在\(\lambda=\mathrm{E}[Z]\)时取得最小值(二次函数极小值性质)。
将该结论应用于式(4.2.5),令\(Z=\hat{\theta}(X)\),\(\lambda=\psi(Y)\),则当\(\psi(Y)=\mathrm{E}_0\left[\hat{\theta}(X) \mid Y\right]\)时,内层条件期望取得最小值,整个风险函数也随之最小。
将最优的\(\psi(Y)\)代入同变估计的通用形式,即得Pitman公式(4.2.4),最优性得证。
第二部分:唯一性证明(最优估计与基准估计的选取无关)
假设我们选取另一个基准平移同变估计\(\tilde{\theta}(X)\),代入Pitman公式得到对应的最优估计:
我们需要证明\(\tilde{\theta}^*(X) = \hat{\theta}^*(X)\)。
- 由引理4.2.3,任意同变估计都可表示为基准估计加不变量,因此\(\tilde{\theta}(X)\)可写为:
其中\(\varphi(Y)\)是最大不变量\(Y\)的某个函数。
- 将其代入\(\tilde{\theta}^*(X)\)的表达式,展开条件期望:
由于\(\varphi(Y)\)是\(Y\)的函数,条件期望下\(\mathrm{E}_0\left[\varphi(Y) \mid Y\right] = \varphi(Y)\),因此:
即无论选取哪个基准同变估计,最终得到的最优估计完全相同,唯一性得证。
三、Pitman估计的核心推论与证明
基于Pitman定理,我们可以得到3个极具实用价值的推论,大幅简化最优同变估计的计算。
推论1 最简基准估计的Pitman形式
\(\theta\)的最优同变估计可表示为:
证明与说明
\(X_1\)(第一个样本分量)、\(X_{(1)}\)(最小次序统计量)都是天然的平移同变估计:
- \(X_1(x + c\mathbf{1}) = x_1 + c = X_1(x) + c\),满足同变条件;
- \(X_{(1)}(x + c\mathbf{1}) = x_{(1)} + c = X_{(1)}(x) + c\),满足同变条件。
将其代入Pitman公式(4.2.4),直接得到式(4.2.6)。该推论的意义是:我们可以选取最简单的同变估计作为基准,无需构造复杂的估计量。
推论2 完备充分统计量下的简化公式
若\(T\)为\(\theta\)的完备充分统计量,且\(\hat{\theta}(X)=\varphi(T)\)为\(\theta\)的平移同变估计,则最优同变估计为:
严格证明
- 首先,最大不变量\(Y\)的分布与\(\theta\)无关,因此\(Y\)是辅助统计量;
- 根据Basu定理:完备充分统计量与任意辅助统计量独立,因此\(T\)与\(Y\)独立,进而\(\varphi(T)\)与\(Y\)独立;
- 独立随机变量的条件期望等于无条件期望,因此\(\mathrm{E}_0\left[\varphi(T) \mid Y\right] = \mathrm{E}_0\left[\varphi(T)\right]\);
- 将其代入Pitman公式(4.2.4),即得式(4.2.7)。
核心意义
该推论是Pitman估计最常用的简化形式:当分布存在完备充分统计量时,无需计算复杂的条件期望,只需计算一个无条件期望即可得到最优同变估计,计算量大幅降低。
推论3 Pitman估计是无偏估计
即对Pitman估计\(\hat{\theta}^*(X)\),有\(\mathrm{E}_\theta\left[\hat{\theta}^*(X)\right] = \theta\),偏差\(\mathrm{bias}(\hat{\theta}^*)=0\)。
严格证明
估计量的偏差定义为:
将Pitman公式代入,得:
- 由同变条件,\(\hat{\theta}(X) - \theta = \hat{\theta}(X - \theta\mathbf{1})\),且\(X - \theta\mathbf{1} \sim P_0\),\(Y\)的分布也仅与\(P_0\)有关,因此期望可转换为\(P_0\)下的期望:
- 再次应用重期望公式,\(\mathrm{E}_0\left[\mathrm{E}_0\left(\hat{\theta}(X) \mid Y\right)\right] = \mathrm{E}_0\left[\hat{\theta}(X)\right]\),因此:
Pitman估计的偏差为0,是无偏估计,推论得证。
四、应用实例详解
例4.2.1 位置参数最优同变估计的计算
设\(X_1,X_2,\dots,X_n\)为独立同分布样本,分别求解以下两种分布下位置参数\(\mu\)的最优同变估计:
- \(X_1 \sim N(\mu, 1)\)(正态分布,位置参数\(\mu\),方差1);
- \(X_1 \sim \mu + \Gamma(1,1)\)(平移指数分布,\(X=\mu+Z\),\(Z\sim\mathrm{Exp}(1)\))。
解(1) 正态分布\(N(\mu,1)\)的最优同变估计
- 选取基准同变估计与完备充分统计量
选取样本均值\(\hat{\mu}(X)=\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i\),它满足平移同变条件:
同时,对于\(N(\mu,1)\)分布,样本均值\(\bar{X}\)是\(\mu\)的完备充分统计量。
- 应用推论2计算最优估计
需要计算\(\mathrm{E}_0[\bar{X}]\),即\(\mu=0\)时\(\bar{X}\)的期望:当\(\mu=0\)时,\(X_i \sim N(0,1)\),因此\(\mathrm{E}[\bar{X}]=0\)。
代入推论2的公式,得最优同变估计:
该结果与\(\mu\)的一致最小方差无偏估计(UMVUE)完全一致。
解(2) 平移指数分布\(\mu + \Gamma(1,1)\)的最优同变估计
- 选取基准同变估计与完备充分统计量
该分布的密度为\(f(x,\mu)=e^{-(x-\mu)}, x>\mu\),选取最小次序统计量\(\hat{\mu}(X)=X_{(1)}\),它满足平移同变条件:
同时,对于该平移指数分布,最小次序统计量\(X_{(1)}\)是\(\mu\)的完备充分统计量。
- 应用推论2计算最优估计
需要计算\(\mathrm{E}_0[X_{(1)}]\),即\(\mu=0\)时\(X_{(1)}\)的期望:
当\(\mu=0\)时,\(X_i \sim \mathrm{Exp}(1)\)(即\(\Gamma(1,1)\)),\(n\)个独立\(\mathrm{Exp}(1)\)变量的最小次序统计量\(X_{(1)} \sim \mathrm{Exp}(n)\)(即\(\Gamma(1,n)\)),其期望为\(\mathrm{E}[X_{(1)}] = \frac{1}{n}\)。
代入推论2的公式,得最优同变估计:
该结果同样与\(\mu\)的UMVUE完全一致。
五、知识点结构化归纳总结
| 模块分类 | 核心内容 | 数学表达式/核心结论 | 关键意义与说明 |
|---|---|---|---|
| 核心概念 | 平移不变量 | 满足\(u(g_c x)=u(x)\)的统计量,即样本平移后取值不变 | 刻画了平移变换下保持不变的信息,是连接所有同变估计的桥梁 |
| 核心概念 | 最大平移不变量 | 常用形式\(Y=(X_2-X_1,\dots,X_n-X_1)^T\),所有不变量都可表示为它的函数 | 完全刻画了平移不变量的全部信息,是同变估计通用结构的核心 |
| 基础引理 | 引理4.2.1 | 两个同变估计的差是不变量;同变估计+不变量仍是同变估计 | 揭示了同变估计类的基本结构,为通用表达式奠定基础 |
| 基础引理 | 引理4.2.2 | 平移不变量的充要条件是可表示为最大不变量的函数,且分布与\(\theta\)无关 | 给出了不变量的显式表达,证明了不变量是辅助统计量 |
| 基础引理 | 引理4.2.3 | 任意同变估计可表示为\(\hat{\theta}^*(x)=\hat{\theta}(x)-\psi(Y)\) | 给出了所有平移同变估计的通用形式,将MREE求解转化为最优\(\psi\)的求解 |
| 核心定理 | Pitman定理(均方损失下的MREE) | \(\hat{\theta}^*(X) = \hat{\theta}(X) - \mathrm{E}_0\left[\hat{\theta}(X) \mid Y\right]\) | 给出了位置参数最优同变估计的显式公式,解唯一,与基准估计无关 |
| 实用推论 | 推论1(最简形式) | \(\hat{\theta}^*(X) = X_1 - \mathrm{E}_0(X_1 \mid Y) = X_{(1)} - \mathrm{E}_0[X_{(1)} \mid Y]\) | 可选取最简单的同变估计作为基准,无需构造复杂估计量 |
| 实用推论 | 推论2(完备充分统计量简化) | \(\hat{\theta}^*(X) = \varphi(T) - \mathrm{E}_0[\varphi(T)]\)(\(T\)为完备充分统计量) | 利用Basu定理将条件期望转化为无条件期望,大幅简化计算 |
| 实用推论 | 推论3(无偏性) | Pitman估计满足\(\mathrm{E}_\theta[\hat{\theta}^*(X)]=\theta\),偏差为0 | 最优同变估计同时是无偏估计,与UMVUE具有一致性 |
| 求解流程 | MREE求解三步法 | 1. 选取基准同变估计;2. 写出同变估计通用形式;3. 求解最优\(\psi\)使风险最小 | 标准化的最优同变估计求解流程,适用于所有位置参数分布族 |
Pitman积分公式 知识点详解与完整推导
Pitman积分公式是位置参数最优同变估计(MREE)的显式积分表达形式,它将上一节中需要计算条件期望的Pitman定理,转化为仅依赖样本联合密度的积分运算,彻底解决了无完备充分统计量时最优同变估计的求解问题,是位置参数MREE最具实用性的计算公式。
一、Pitman积分公式(定理4.2.2)
设n维样本\(X=(X_1,X_2,\dots,X_n)^T\)服从位置参数分布族,联合密度为
其中\(\mathbf{1}=(1,1,\dots,1)^T\)为n维全1向量,\(f(\cdot)\)为\(\theta=0\)时标准分布\(P_0\)的联合密度。
则位置参数\(\theta\)的平移最优同变估计(均方损失下的MREE)可表示为:
或等价地(积分哑元替换\(t\to\theta\)):
公式核心价值
- 无需求解条件期望:直接通过标准分布的密度\(f(\cdot)\)的积分计算最优估计,避开了最大不变量\(Y\)的条件分布推导;
- 适用范围极广:无论分布是否存在完备充分统计量,只要是位置参数分布族,均可代入计算;
- 直观统计意义:该公式本质是\(\theta\)在给定样本\(X\)下的后验期望(贝叶斯估计),对应\(\theta\)取无信息先验\(\pi(\theta)\equiv1\)时的贝叶斯解,兼具频率派最优性与贝叶斯优良性。
二、Pitman积分公式的完整证明
证明核心思路:基于上一节Pitman定理的最简形式\(\hat{\theta}^*(X) = X_1 - \mathrm{E}_0(X_1 | Y)\),先推导\(\theta=0\)时\(X_1\)关于最大不变量\(Y\)的条件分布,再计算条件期望,最后通过变量替换化简得到积分公式。
步骤1:确定基准估计与最大不变量
根据上一节推论1,选取最简单的基准平移同变估计\(\hat{\theta}(X)=X_1\),对应的最大平移不变量为:
此时最优同变估计可写为:
其中\(\mathrm{E}_0\)表示对标准分布\(P_0\)(\(\theta=0\)时\(X\sim f(x_1,\dots,x_n)\))求期望。
我们的目标转化为:计算条件期望\(\mathrm{E}_0(X_1 | Y)\),为此需要先推导\(\theta=0\)时\(X_1\)关于\(Y\)的条件分布\(p(x_1 | Y)\)。
步骤2:构造变量变换,推导联合分布
为得到\((X_1, Y)\)的联合分布,构造从\(X=(X_1,X_2,\dots,X_n)\)到\((Y_1,Y_2,\dots,Y_n)\)的一一变换:
其逆变换为:
计算变换的Jacobi行列式
该线性变换的Jacobi矩阵为n阶方阵,对角线元素全为1,第一行除第一个元素外全为0,第\(i\)行(\(i\geq2\))第一个元素为1、第\(i\)个元素为1,其余为0,因此Jacobi行列式的绝对值为:
推导\((Y_1,Y)\)的联合分布
当\(\theta=0\)时,\(X\sim f(x_1,x_2,\dots,x_n)\),根据随机变量变换的密度公式,\((Y_1,Y_2,\dots,Y_n)\)的联合密度为:
其中\(Y_1=X_1\),\(Y=(Y_2,\dots,Y_n)\),因此\((X_1,Y)\)的联合密度为\(p(x_1, y) = f(x_1, x_1+y_2, \dots, x_1+y_n)\)。
步骤3:推导\(X_1\)关于\(Y\)的条件密度
根据条件密度的定义,\(X_1 | Y\)的条件密度为联合密度除以\(Y\)的边缘密度:
其中\(Y\)的边缘密度为联合密度对\(x_1\)积分:
(积分哑元\(x_1\)替换为\(u\),避免后续混淆)
因此条件密度的显式表达式为:
步骤4:计算条件期望\(\mathrm{E}_0(X_1 | Y)\)
根据连续型随机变量条件期望的定义:
将步骤3的条件密度代入,得:
步骤5:变量替换,化简积分形式
对积分做变量替换,转化为关于样本\(X\)的对称形式。注意到\(Y_i = X_i - X_1\)(\(i=2,\dots,n\)),因此\(u + Y_i = u + X_i - X_1\)。
令变量替换:\(X_1 - u = t\),即\(u = X_1 - t\),则:
- 积分上下限:\(u\to-\infty\)时\(t\to+\infty\),\(u\to+\infty\)时\(t\to-\infty\),因此\(\int_{-\infty}^{+\infty} \dots \mathrm{d}u = \int_{+\infty}^{-\infty} \dots (-1)\mathrm{d}t = \int_{-\infty}^{+\infty} \dots \mathrm{d}t\);
- 被积函数:\(u + Y_i = (X_1 - t) + (X_i - X_1) = X_i - t\),因此\(f(u, u+Y_2, \dots, u+Y_n) = f(X_1 - t, X_2 - t, \dots, X_n - t) = f(X - t\mathbf{1})\)。
将变量替换代入条件期望,分子分母分别化简:
分子化简
分母化简
条件期望的最终形式
步骤6:代入最优估计公式,完成证明
将化简后的条件期望代入\(\hat{\theta}^*(X) = X_1 - \mathrm{E}_0(X_1 | Y)\),得:
将积分哑元\(t\)替换为\(\theta\),即可得到等价形式,Pitman积分公式得证。
三、Pitman积分公式的应用实例
例:均匀分布\(U(\theta, \theta+1)\)的位置参数最优同变估计
设\(X_1,X_2,\dots,X_n\)为独立同分布样本,\(X_1 \sim U(\theta, \theta+1)\),\(\theta\in\mathbb{R}\)为位置参数,求\(\theta\)的最优同变估计。
背景说明
该分布的充分统计量为\(T=(X_{(1)}, X_{(n)})\)(最小、最大次序统计量),但不是完备充分统计量,无法通过常规方法求解UMVUE,而Pitman积分公式可直接求解其MREE。
步骤1:写出样本的联合密度
\(X_i \sim U(\theta, \theta+1)\)的密度为\(p(x_i,\theta) = I\{\theta \leq x_i \leq \theta+1\}\)(\(I\{\cdot\}\)为示性函数,条件满足时取1,否则取0)。
n个样本的联合密度为:
其中\(x_{(1)}=\min\{x_1,\dots,x_n\}\),\(x_{(n)}=\max\{x_1,\dots,x_n\}\)。
对示性函数做等价变形,分离\(\theta\):
因此联合密度可简化为:
步骤2:计算Pitman公式的分子和分母
(1)分母计算
积分仅在\(\theta\in[X_{(n)}-1, X_{(1)}]\)上非零,因此:
(2)分子计算
步骤3:代入公式得到最优估计
将分子分母代入Pitman公式,利用平方差公式化简:
结果说明
该结果是均匀分布\(U(\theta,\theta+1)\)位置参数的最小风险同变估计,同时也是无偏估计,完美解决了该分布因充分统计量不完备而无法直接求解UMVUE的问题,充分体现了Pitman积分公式的强大适用性。
四、知识点结构化归纳总结
| 模块分类 | 核心内容 | 关键公式/结论 | 核心意义与说明 |
|---|---|---|---|
| 核心定理 | Pitman积分公式 | \(\hat{\theta}^*(X) = \frac{\int_{-\infty}^{+\infty} t f(X - t\mathbf{1}) \mathrm{d}t}{\int_{-\infty}^{+\infty} f(X - t\mathbf{1}) \mathrm{d}t}\) | 位置参数MREE的显式积分形式,均方损失下的最优同变估计 |
| 公式本质 | 统计意义 | 对应\(\theta\)取无信息先验\(\pi(\theta)\equiv1\)时的贝叶斯后验期望 | 兼具频率派最优性(最小风险同变)与贝叶斯优良性 |
| 证明核心 | 关键步骤 | 1. 推导\(X_1\)关于最大不变量\(Y\)的条件分布;2. 计算条件期望;3. 变量替换化简积分 | 从条件期望形式的Pitman定理,推导出直接可计算的积分形式 |
| 核心优势 | 适用性 | 无论分布是否存在完备充分统计量,只要是位置参数分布族均可使用 | 解决了非完备充分统计量分布的最优估计求解问题 |
| 计算要点 | 示性函数处理 | 对带支撑限制的分布,先通过示性函数确定积分区间,再计算积分 | Pitman公式最常用的计算技巧,适用于均匀分布、平移指数分布等 |
| 实例结论 | 均匀分布\(U(\theta,\theta+1)\)的MREE | \(\hat{\theta}^*(X) = \frac{1}{2}\left(X_{(1)} + X_{(n)} - 1\right)\) | 经典应用案例,验证了公式在非完备充分统计量场景下的有效性 |
补充说明与注意事项
- 损失函数适用性:该积分公式是均方损失下的最优同变估计,若损失函数为其他形式(如绝对损失),则积分公式会对应调整为加权积分形式;
- 积分存在性:使用时需保证分子分母的积分绝对可积,正态、均匀、指数、拉普拉斯等常见位置参数分布均满足该条件;
- 与其他估计的关系:当分布存在完备充分统计量时,Pitman积分公式的结果与UMVUE完全一致,与极大似然估计(MLE)也通常具有一致性。
posted on 2026-02-25 22:15 Indian_Mysore 阅读(0) 评论(0) 收藏 举报
浙公网安备 33010602011771号