3.2.2Lehmann-Scheffe定理
Lehmann-Scheffe定理 深度讲解与完整推导
作为参数估计中求解一致最小风险无偏估计(UMRUE)、尤其是一致最小方差无偏估计(UMVUE)的核心定理,Lehmann-Scheffe定理建立在充分统计量、完备统计量的基础上,我们将从基础概念、引理证明、定理推导、实例解析到归纳总结,进行完整且严谨的讲解。
一、前置核心概念铺垫
要理解该定理,必须先掌握以下6个核心概念,这是所有推导的基础:
1. 无偏估计
对于待估参数\(g(\theta)\),若估计量\(\hat{g}(X)\)满足:
则称\(\hat{g}(X)\)是\(g(\theta)\)的无偏估计,要求对参数空间\(\Theta\)内的所有\(\theta\)都成立,也叫“处处无偏”。
直观意义:估计量的平均取值等于参数的真实值,无系统性偏差。
2. 充分统计量
统计量\(T=T(X)\)称为\(\theta\)的充分统计量,若给定\(T(X)=t\)时,样本\(X\)的条件分布与\(\theta\)无关。
- 核心意义:充分统计量包含了样本中关于\(\theta\)的全部信息,用它代替原始样本不会损失任何关于参数的信息,同时大幅降维简化计算。
- 判定方法:因子分解定理——样本联合密度可分解为\(f(x;\theta)=g(T(x);\theta)\cdot h(x)\),其中\(g\)仅通过\(T(x)\)依赖样本且与\(\theta\)有关,\(h(x)\)与\(\theta\)无关。
3. 完备统计量
统计量\(T=T(X)\)称为完备统计量,若对任意可测函数\(h(T)\),满足:
就必有\(P_\theta(h(T)=0)=1\)(几乎处处等于0,记为a.e.)。
- 核心意义:完备性保证了基于\(T\)的无偏估计是几乎处处唯一的——不会存在两个不同的、关于\(T\)的函数,同时是同一个参数的无偏估计。
4. 完备充分统计量
同时满足充分性和完备性的统计量,是Lehmann-Scheffe定理的核心研究对象,也是求解UMVUE的关键。
5. 损失函数与风险函数
- 损失函数\(L(\theta,d)\):参数真值为\(\theta\)时,用\(d\)估计\(g(\theta)\)产生的损失,是衡量估计误差的标准。
常见类型:- 平方损失(\(L_2\)损失):\(L(\theta,d)=(d-g(\theta))^2\),严凸函数;
- 绝对值损失(\(L_1\)损失):\(L(\theta,d)=|d-g(\theta)|\),凸但非严凸函数。
- 风险函数\(R(\theta,\hat{g})\):损失函数的期望,即\(R(\theta,\hat{g})=\mathbb{E}_\theta[L(\theta,\hat{g}(X))]\),衡量估计量的平均损失,风险越小,估计量性能越好。
平方损失下,风险函数就是估计量的方差:\(R(\theta,\hat{g})=\text{Var}_\theta(\hat{g}(X))\)。
6. UMRUE与UMVUE
- 一致最小风险无偏估计(UMRUE):若\(\hat{g}^*\)是\(g(\theta)\)的无偏估计,且对任意其他无偏估计\(\hat{g}\),都有\[R(\theta,\hat{g}^*) \leq R(\theta,\hat{g}), \quad \forall \theta \in \Theta \]则称\(\hat{g}^*\)为UMRUE,即无偏估计类中风险最小的估计量。
- 一致最小方差无偏估计(UMVUE):平方损失下的UMRUE,是无偏估计类中方差最小的估计量,也是实际应用中最常用的形式。
二、先导实例:充分统计量的估计优势
我们先通过教材中的例3.2.3,直观理解“基于充分统计量的估计更优”,为后续定理建立直观认知。
例3.2.3 完整推导
设\(X_1,X_2,\dots,X_n \stackrel{i.i.d.}{\sim} R(0,\theta)\)(均匀分布\(U(0,\theta)\)),概率密度为\(f(x;\theta)=\frac{1}{\theta}I\{0<x<\theta\}\),求\(\theta\)的无偏估计并比较性能。
1. 非充分统计量的无偏估计\(\hat{g}_1=2\bar{X}\)
- 无偏性验证:
均匀分布的期望\(\mathbb{E}(X_1)=\int_0^\theta x\cdot\frac{1}{\theta}dx=\frac{\theta}{2}\),因此\(\mathbb{E}(\bar{X})=\frac{\theta}{2}\),故\(\mathbb{E}(2\bar{X})=\theta\),满足无偏性。 - 方差(平方损失下的风险)计算:
\(\text{Var}(X_1)=\mathbb{E}(X_1^2)-[\mathbb{E}(X_1)]^2=\frac{\theta^2}{3}-\frac{\theta^2}{4}=\frac{\theta^2}{12}\),因此\[\text{Var}(\hat{g}_1)=\text{Var}(2\bar{X})=4\cdot\frac{\text{Var}(X_1)}{n}=\frac{\theta^2}{3n} \]
2. 充分统计量的无偏估计\(\hat{g}_2=\frac{n+1}{n}X_{(n)}\)
\(X_{(n)}=\max\{X_1,\dots,X_n\}\)是样本最大值,首先证明它是\(\theta\)的充分统计量:
样本联合密度为
根据因子分解定理,\(T=X_{(n)}\)是\(\theta\)的充分统计量。
- 分布与期望计算:
\(X_{(n)}\)的分布函数\(F(t)=P(X_{(n)}\leq t)=(\frac{t}{\theta})^n, 0<t<\theta\),概率密度\(f(t)=\frac{nt^{n-1}}{\theta^n}\)。
因此\(\mathbb{E}(X_{(n)})=\int_0^\theta t\cdot\frac{nt^{n-1}}{\theta^n}dt=\frac{n}{n+1}\theta\),调整后得到无偏估计\(\hat{g}_2=\frac{n+1}{n}X_{(n)}\),满足\(\mathbb{E}(\hat{g}_2)=\theta\)。 - 方差(平方损失下的风险)计算:
\(\mathbb{E}(X_{(n)}^2)=\int_0^\theta t^2\cdot\frac{nt^{n-1}}{\theta^n}dt=\frac{n}{n+2}\theta^2\),因此\[\text{Var}(X_{(n)})=\frac{n}{n+2}\theta^2 - \left(\frac{n}{n+1}\theta\right)^2=\frac{n\theta^2}{(n+2)(n+1)^2} \]\[\text{Var}(\hat{g}_2)=\left(\frac{n+1}{n}\right)^2\text{Var}(X_{(n)})=\frac{\theta^2}{n(n+2)} \]
3. 性能比较
当\(n\geq2\)时,\(\frac{\theta^2}{n(n+2)} < \frac{\theta^2}{3n}\),即\(\text{Var}(\hat{g}_2) < \text{Var}(\hat{g}_1)\)。
核心结论:基于充分统计量的无偏估计,性能显著优于非充分统计量的无偏估计。
三、核心引理证明
Lehmann-Scheffe定理的推导完全建立在两个引理之上,我们先对两个引理进行严谨的证明。
引理3.2.1 唯一性引理
命题:设\(T=T(X)\)为完备统计量(不必为充分统计量),若\(\varphi_1(T(X))\)和\(\varphi_2(T(X))\)都是\(g(\theta)\)的无偏估计,则必有\(\varphi_1(T(X))=\varphi_2(T(X)) \ \text{a.e.}\)。
即:若\(g(\theta)\)的无偏估计存在且为\(T\)的函数,则该无偏估计几乎处处唯一。
完整证明:
- 由无偏估计的定义,对任意\(\theta \in \Theta\),有:\[\mathbb{E}_\theta[\varphi_1(T)] = g(\theta), \quad \mathbb{E}_\theta[\varphi_2(T)] = g(\theta) \]
- 构造函数\(h(T)=\varphi_1(T)-\varphi_2(T)\),计算其期望:\[\mathbb{E}_\theta[h(T)] = \mathbb{E}_\theta[\varphi_1(T)] - \mathbb{E}_\theta[\varphi_2(T)] = g(\theta)-g(\theta)=0, \quad \forall \theta \in \Theta \]
- 由于\(T\)是完备统计量,根据完备统计量的定义,满足\(\mathbb{E}_\theta[h(T)]=0\)对所有\(\theta\)成立时,必有\(h(T)=0 \ \text{a.e.}\),即\[\varphi_1(T(X))=\varphi_2(T(X)) \ \text{a.e.} \]
引理得证。
关键注记:无偏性必须是“处处无偏”,否则无法满足完备性定义中“对所有\(\theta\in\Theta\)期望为0”的要求,也就无法推出唯一性。
引理3.2.2 最优性引理(Rao-Blackwell定理的推广)
命题:设\(\tilde{g}(X)\)为\(g(\theta)\)的无偏估计,损失函数\(L(\theta,d)\)为凸函数,\(T=T(X)\)为充分统计量(不必为完备的),令
则:
- \(\hat{g}(X)\)也是\(g(\theta)\)的无偏估计;
- 风险满足\(R(\theta,\hat{g}) \leq R(\theta,\tilde{g}), \forall \theta \in \Theta\);
- 若\(L(\theta,d)\)为严凸函数,则等号成立的充要条件是\(\tilde{g}(X)\)是\(T(X)\)的函数,即\(\tilde{g}(X)=h(T(X))\)。
完整证明:
步骤1:证明\(\hat{g}(X)\)的无偏性
根据重期望公式(全期望公式):对任意随机变量\(X,Y\),有\(\mathbb{E}[\mathbb{E}(Y|X)]=\mathbb{E}(Y)\)。
因此对任意\(\theta \in \Theta\):
故\(\hat{g}(X)\)是\(g(\theta)\)的无偏估计。
补充说明:由于\(T\)是充分统计量,给定\(T\)时样本的条件分布与\(\theta\)无关,因此\(\mathbb{E}_\theta[\tilde{g}(X)|T]\)的结果仅与\(T\)有关,与\(\theta\)无关,确实是\(T\)的函数\(\varphi(T)\)。
步骤2:证明风险不等式
风险函数是损失的期望,因此:
由于\(L(\theta,d)\)是关于\(d\)的凸函数,对条件期望应用Jensen不等式:对凸函数\(L\),有
令\(Y=\tilde{g}(X)\),代入得:
对不等式两边同时取期望,结合重期望公式:
即
步骤3:严凸损失下等号成立的充要条件
Jensen不等式对严凸函数,等号成立的充要条件是\(Y\)在给定\(T\)时几乎处处为常数,即
也就是\(\tilde{g}(X)\)是\(T\)的函数。
反之,若\(\tilde{g}(X)\)是\(T\)的函数,则\(\mathbb{E}_\theta[\tilde{g}(X)|T]=\tilde{g}(X)\),此时\(\hat{g}=\tilde{g}\),风险自然相等。
引理得证。
推论(平方损失下的Rao-Blackwell定理):
当损失为平方损失\(L(\theta,d)=(d-g(\theta))^2\)(严凸),则
等号成立当且仅当\(\tilde{g}(X)\)是\(T\)的函数。
即:任何无偏估计对充分统计量取条件期望后,方差不会增大,性能更优。
四、Lehmann-Scheffe定理 完整证明
结合上述两个引理,我们正式给出Lehmann-Scheffe定理的完整表述与严谨证明。
定理3.2.1 Lehmann-Scheffe(莱曼-谢费)定理
给定样本\(X_1,\dots,X_n\),设\(X=(X_1,\dots,X_n)^T \sim f(x;\theta), \theta \in \Theta\)。考虑\(g(\theta)\)的无偏估计,损失函数\(L(\theta,d)\)为凸函数,\(T=T(X)\)为\(\theta\)的完备充分统计量,则有:
- 若\(\hat{g}(X)\)是\(g(\theta)\)的无偏估计,且\(\hat{g}(X)=h(T(X))\)(是\(T\)的函数),则\(\hat{g}(X)\)必为\(g(\theta)\)的一致最小风险无偏估计(UMRUE)。
- 若\(\tilde{g}(X)\)是\(g(\theta)\)的任意无偏估计,则\(\hat{g}(X)=\mathbb{E}_\theta[\tilde{g}(X)|T]\)必为\(g(\theta)\)的UMRUE。
- 若\(L(\theta,d)\)为严凸函数,且\(g(\theta)\)的UMRUE存在,则UMRUE必为\(T(X)\)的函数,且几乎处处唯一。
结论(1)的证明
目标:证明对任意无偏估计\(\tilde{g}(X)\),都有\(R(\theta,\hat{g}) \leq R(\theta,\tilde{g}), \forall \theta \in \Theta\)。
- 对任意无偏估计\(\tilde{g}(X)\),构造\(g^*(X)=\mathbb{E}_\theta[\tilde{g}(X)|T]\)。
- 由引理3.2.2,\(g^*(X)\)是\(g(\theta)\)的无偏估计,且\(R(\theta,g^*) \leq R(\theta,\tilde{g}), \forall \theta \in \Theta\)。
- \(g^*(X)\)是\(T\)的函数,而\(\hat{g}(X)=h(T(X))\)也是\(T\)的函数,且两者都是\(g(\theta)\)的无偏估计。
- 由于\(T\)是完备统计量,由引理3.2.1(唯一性引理),得\(\hat{g}(X)=g^*(X) \ \text{a.e.}\),因此两者风险相等:\(R(\theta,\hat{g})=R(\theta,g^*)\)。
- 结合不等式得:\(R(\theta,\hat{g})=R(\theta,g^*) \leq R(\theta,\tilde{g}), \forall \theta \in \Theta\)。
由于\(\tilde{g}(X)\)是任意无偏估计,因此\(\hat{g}(X)\)是\(g(\theta)\)的UMRUE,结论(1)得证。
结论(2)的证明
目标:证明\(\hat{g}(X)=\mathbb{E}_\theta[\tilde{g}(X)|T]\)是UMRUE。
- 由充分统计量的性质,\(\hat{g}(X)\)是\(T\)的函数;
- 由引理3.2.2,\(\mathbb{E}_\theta[\hat{g}(X)]=g(\theta)\),即\(\hat{g}(X)\)是\(g(\theta)\)的无偏估计;
- 结合结论(1),作为完备充分统计量\(T\)的无偏估计函数,\(\hat{g}(X)\)必为UMRUE,结论(2)得证。
结论(3)的证明
目标:严凸损失下,UMRUE必为\(T\)的函数,且几乎处处唯一。
- 设\(\hat{g}(X)\)是\(g(\theta)\)的UMRUE,构造\(g^*(X)=\mathbb{E}_\theta[\hat{g}(X)|T]\)。
- 由引理3.2.2,\(g^*(X)\)是无偏估计,且\(R(\theta,g^*) \leq R(\theta,\hat{g}), \forall \theta \in \Theta\)。
- 由于\(\hat{g}(X)\)是UMRUE,其风险是无偏估计中的最小值,因此必有\(R(\theta,\hat{g}) \leq R(\theta,g^*), \forall \theta \in \Theta\)。
- 结合两个不等式得\(R(\theta,\hat{g})=R(\theta,g^*), \forall \theta \in \Theta\)。
- 由于损失函数是严凸的,由引理3.2.2,等号成立的充要条件是\(\hat{g}(X)\)是\(T\)的函数,即\(\hat{g}(X)=h(T(X))\)。
- 再由引理3.2.1,基于完备统计量\(T\)的无偏估计几乎处处唯一,因此UMRUE是唯一的,结论(3)得证。
定理的常用推论
| 损失函数类型 | 定理适用性 | 核心结论 |
|---|---|---|
| 平方损失(\(L_2\),严凸) | 结论(1)(2)(3)全部成立 | UMRUE即UMVUE,是无偏估计类中方差最小的估计量,且必为完备充分统计量的函数,几乎处处唯一 |
| 绝对值损失(\(L_1\),凸非严凸) | 结论(1)(2)成立,(3)不成立 | 可通过定理构造UMRUE,但UMRUE不一定唯一,也不一定是完备充分统计量的函数 |
五、定理的核心应用:UMVUE的两种求解方法
Lehmann-Scheffe定理给出了平方损失下求解UMVUE的两种标准方法,也是参数估计的核心实用技巧:
方法1:直接构造法
- 找到参数\(\theta\)的完备充分统计量\(T(X)\);
- 构造\(T\)的函数\(h(T)\),使得\(\mathbb{E}_\theta[h(T)]=g(\theta)\)(即\(h(T)\)是\(g(\theta)\)的无偏估计);
- 由定理结论(1),\(h(T)\)就是\(g(\theta)\)的UMVUE。
示例:例3.2.3中,完备充分统计量是\(X_{(n)}\),构造\(h(X_{(n)})=\frac{n+1}{n}X_{(n)}\),其期望为\(\theta\),因此它就是\(\theta\)的UMVUE。
方法2:条件期望法(Rao-Blackwell化)
- 找到参数\(\theta\)的完备充分统计量\(T(X)\);
- 先找\(g(\theta)\)的任意一个简单无偏估计\(\tilde{g}(X)\)(通常取仅依赖单个样本的估计量);
- 计算条件期望\(\hat{g}(X)=\mathbb{E}_\theta[\tilde{g}(X)|T]\),由定理结论(2),该结果就是\(g(\theta)\)的UMVUE。
示例:仍以\(X_1,\dots,X_n \sim U(0,\theta)\)为例,取简单无偏估计\(\tilde{g}(X)=2X_1\),计算条件期望\(\mathbb{E}[2X_1 | X_{(n)}=t]=\frac{n+1}{n}t\),因此\(\hat{g}(X)=\frac{n+1}{n}X_{(n)}\),与直接构造法结果一致,即为\(\theta\)的UMVUE。
六、知识点完整归纳总结
| 模块 | 核心内容 | 关键结论与要点 |
|---|---|---|
| 基础概念 | 无偏估计 | 满足\(\mathbb{E}_\theta[\hat{g}]=g(\theta), \forall \theta\in\Theta\),无系统性偏差,要求处处无偏 |
| 充分统计量 | 给定\(T\)时样本条件分布与\(\theta\)无关,包含样本关于\(\theta\)的全部信息,因子分解定理判定 | |
| 完备统计量 | 若\(\mathbb{E}_\theta[h(T)]=0,\forall\theta\),则\(h(T)=0 \ \text{a.e.}\),保证基于\(T\)的无偏估计唯一 | |
| 完备充分统计量 | 同时满足充分性与完备性,是Lehmann-Scheffe定理的核心对象 | |
| 损失与风险 | 凸损失:平方损失(严凸)、绝对值损失(凸非严凸);风险是损失的期望,平方损失下风险即方差 | |
| UMRUE/UMVUE | UMRUE:无偏估计类中风险最小;UMVUE:平方损失下的UMRUE,无偏估计类中方差最小 | |
| 核心引理 | 唯一性引理 | 条件:\(T\)完备,\(\varphi_1(T),\varphi_2(T)\)均为\(g(\theta)\)的无偏估计 结论:\(\varphi_1(T)=\varphi_2(T) \ \text{a.e.}\),基于完备统计量的无偏估计唯一 |
| 最优性引理 | 条件:\(\tilde{g}\)无偏,\(T\)充分,\(L\)凸,$\hat{g}=\mathbb{E}[\tilde | |
| Lehmann-Scheffe定理 | 结论(1) | 条件:\(T\)是完备充分统计量,\(\hat{g}=h(T)\)是\(g(\theta)\)的无偏估计 结论:\(\hat{g}\)是\(g(\theta)\)的UMRUE |
| 结论(2) | 条件:\(T\)是完备充分统计量,\(\tilde{g}\)是任意无偏估计,$\hat{g}=\mathbb{E}[\tilde | |
| 结论(3) | 条件:\(L\)严凸,\(g(\theta)\)的UMRUE存在 结论:UMRUE必为\(T\)的函数,且几乎处处唯一 |
|
| 实用方法 | 直接构造法 | 1. 找完备充分统计量\(T\);2. 构造\(T\)的无偏函数\(h(T)\);3. \(h(T)\)即为UMVUE |
| 条件期望法 | 1. 找完备充分统计量\(T\);2. 找简单无偏估计\(\tilde{g}\);3. 计算$\mathbb{E}[\tilde | |
| 易错点提醒 | 完备性+充分性缺一不可 | 仅充分无完备:无法保证估计量是最小风险;仅完备无充分:无法保证估计量最优 |
| 无偏性要求 | 必须处处无偏,仅对部分\(\theta\)无偏无法应用定理 | |
| 最优性范围 | UMVUE是无偏估计类中的最优,有偏估计可能有更小的均方误差 |
补充说明
对于指数族分布,我们有通用的完备充分统计量判定方法:自然指数族\(f(x;\theta)=C(\theta)\exp\left\{\sum_{i=1}^k Q_i(\theta)T_i(x)\right\}h(x)\),若参数空间\(\Theta\)包含内点,则\(T(X)=(T_1(X),\dots,T_k(X))\)就是完备充分统计量,这是实际应用中寻找完备充分统计量的最常用方法。
Lehmann-Scheffe定理例题 深度讲解与完整推导
作为参数估计的核心应用,Lehmann-Scheffe定理的价值完全体现在各类分布的UMRUE/UMVUE求解中。我将以60余年的教研经验,从方法本质、逐题完整推导、细节补全、逻辑拆解四个维度,把所有例题讲透,最后用表格归纳所有核心结论。
一、先回顾:Lehmann-Scheffe定理的核心逻辑与求解方法
所有例题的求解都完全遵循定理的核心结论,我们先把底层逻辑讲透,避免陷入无意义的公式计算。
定理核心结论
若\(T(X)\)是参数\(\theta\)的完备充分统计量,则:
- 任何基于\(T\)的无偏估计\(\hat{g}(T)\),都是\(g(\theta)\)的一致最小风险无偏估计(UMRUE);
- 平方损失下,UMRUE就是一致最小方差无偏估计(UMVUE),且几乎处处唯一。
两种标准求解方法的本质
| 方法 | 核心逻辑 | 适用场景 | 通用步骤 |
|---|---|---|---|
| 直接法 | 直接构造完备充分统计量\(T\)的函数\(h(T)\),使其满足无偏性\(E[h(T)]=g(\theta)\) | 待估函数形式简单,容易通过期望变形构造无偏估计 | 1. 找完备充分统计量\(T\);2. 构造\(h(T)\)并验证无偏性;3. 由定理得UMRUE |
| 条件期望法 | 先找一个简单无偏估计,再对完备充分统计量\(T\)求条件期望,得到最优估计 | 待估函数形式复杂,直接构造无偏函数困难 | 1. 找完备充分统计量\(T\);2. 构造简单无偏估计\(\tilde{g}\);3. 计算\(E[\tilde{g}|T]\);4. 由定理得UMRUE |
核心提醒:所有例题的第一步,永远是找到并验证完备充分统计量,这是Lehmann-Scheffe定理应用的前提,也是教材中最容易省略的关键步骤。
二、例题逐题详细讲解与完整推导
例3.2.4 基础指数族分布的UMRUE
题目:设\(X_1,\dots,X_n \stackrel{i.i.d.}{\sim}\) 以下分布,求对应参数的UMRUE:
(1) \(X_1 \sim b(1,\theta)\)(伯努利分布),待估参数\(\theta\);
(2) \(X_1 \sim P(\lambda)\)(泊松分布),待估参数\(\lambda\);
(3) \(X_1 \sim N(\mu,1)\)(方差已知的正态分布),待估参数\(\mu\)。
完整推导与讲解
步骤1:确定完备充分统计量
这三个分布都属于自然指数族分布,对于指数族分布,若参数空间包含内点,则其自然充分统计量就是完备充分统计量。
(1) 伯努利分布\(b(1,\theta)\):
样本联合概率质量函数为:
自然充分统计量为\(T=\sum_{i=1}^n X_i\),参数空间\(\Theta=(0,1)\)包含内点,因此\(T\)是\(\theta\)的完备充分统计量,样本均值\(\bar{X}=\frac{1}{n}T\)是\(T\)的一一对应函数,也是完备充分统计量。
(2) 泊松分布\(P(\lambda)\):
样本联合概率质量函数为:
自然充分统计量为\(T=\sum_{i=1}^n X_i\),参数空间\(\Theta=(0,+\infty)\)包含内点,因此\(T\)是\(\lambda\)的完备充分统计量,\(\bar{X}=\frac{1}{n}T\)也是完备充分统计量。
(3) 正态分布\(N(\mu,1)\):
样本联合概率密度为:
自然充分统计量为\(T=\sum_{i=1}^n X_i\),参数空间\(\Theta=(-\infty,+\infty)\)包含内点,因此\(T\)是\(\mu\)的完备充分统计量,\(\bar{X}=\frac{1}{n}T\)也是完备充分统计量。
步骤2:验证无偏性
(1) 伯努利分布:\(E(X_1)=\theta\),因此\(E(\bar{X})=\frac{1}{n}\sum E(X_i)=\theta\),\(\bar{X}\)是\(\theta\)的无偏估计;
(2) 泊松分布:\(E(X_1)=\lambda\),因此\(E(\bar{X})=\lambda\),\(\bar{X}\)是\(\lambda\)的无偏估计;
(3) 正态分布:\(E(X_1)=\mu\),因此\(E(\bar{X})=\mu\),\(\bar{X}\)是\(\mu\)的无偏估计。
步骤3:最终结论
\(\bar{X}\)是完备充分统计量,且是待估参数的无偏估计,由Lehmann-Scheffe定理,\(\bar{X}\)分别是\(\theta、\lambda、\mu\)的UMRUE。
教学提醒:这个例题是定理最基础的应用,核心是让大家理解:指数族分布的位置参数,样本均值本身就是完备充分统计量+无偏估计,因此直接就是UMRUE。
例3.2.5 均匀分布\(R(0,\theta)\)的UMRUE
题目:设\(X_1,\dots,X_n \stackrel{i.i.d.}{\sim} R(0,\theta)\)(均匀分布,也记\(U(0,\theta)\)),
(1) 求\(\theta\)和\(\theta^{-1}\)的UMRUE;
(2) 求任意可导函数\(g(\theta)\)的UMRUE。
完整推导与讲解
均匀分布\(R(0,\theta)\)的概率密度为:\(f(x;\theta)=\frac{1}{\theta}I\{0<x<\theta\}\),\(I\{\cdot\}\)为示性函数。
步骤1:确定完备充分统计量
-
充分性验证(因子分解定理):
样本联合密度为:\[f(x;\theta)=\prod_{i=1}^n \frac{1}{\theta}I\{0<x_i<\theta\} = \frac{1}{\theta^n} I\{X_{(n)}<\theta\} \cdot I\{\min X_i>0\} \]其中\(X_{(n)}=\max\{X_1,\dots,X_n\}\)是样本最大值。联合密度可分解为\(g(T;\theta)\cdot h(x)\),其中\(g(T;\theta)=\frac{1}{\theta^n}I\{T<\theta\}\)仅通过\(T=X_{(n)}\)依赖样本,\(h(x)=I\{\min X_i>0\}\)与\(\theta\)无关,因此\(T=X_{(n)}\)是\(\theta\)的充分统计量。
-
完备性验证:
\(T=X_{(n)}\)的概率密度为:\(f_T(t;\theta)=\frac{n t^{n-1}}{\theta^n} I\{0<t<\theta\}\)(分布函数\(F_T(t)=(t/\theta)^n\),求导得密度)。
对任意可测函数\(h(T)\),若\(E_\theta[h(T)]=0\)对所有\(\theta>0\)成立,即:\[\int_0^\theta h(t) \cdot \frac{n t^{n-1}}{\theta^n} dt = 0 \implies n\int_0^\theta h(t) t^{n-1} dt = 0, \forall \theta>0 \]对\(\theta\)求导得\(n h(\theta) \theta^{n-1}=0\),即\(h(\theta)=0\) a.e.,因此\(T=X_{(n)}\)是完备统计量。
综上,\(T=X_{(n)}\)是\(\theta\)的完备充分统计量。
(1) 求\(\theta\)和\(\theta^{-1}\)的UMRUE
① \(\theta\)的UMRUE
计算\(T\)的期望:
变形得到无偏估计:
因此\(\hat{\theta}=\frac{n+1}{n}X_{(n)}\)是完备充分统计量的函数,且是\(\theta\)的无偏估计。由Lehmann-Scheffe定理,\(\hat{\theta}=\frac{n+1}{n}X_{(n)}\)是\(\theta\)的UMRUE。
② \(\theta^{-1}\)的UMRUE
教材直接给出了结果,这里补全推导(要求\(n\geq2\),否则期望不存在):
变形得到无偏估计:
因此\(\widehat{\theta^{-1}}=\frac{n-1}{n}X_{(n)}^{-1}\)是\(\theta^{-1}\)的UMRUE。
(2) 求可导函数\(g(\theta)\)的UMRUE
设\(g(\theta)\)的UMRUE为\(h(T)\),由无偏性要求:
代入\(T\)的密度,得到积分方程:
对等式两边关于\(\theta\)求导(左边变上限积分求导,右边乘积求导):
- 左边:\(\frac{d}{d\theta}\left(n\int_0^\theta h(t)t^{n-1}dt\right) = n h(\theta) \theta^{n-1}\)
- 右边:\(\frac{d}{d\theta}\left(\theta^n g(\theta)\right) = n\theta^{n-1}g(\theta) + \theta^n g'(\theta)\)
等式两边除以\(\theta^{n-1}\),化简得:
将\(\theta\)替换为\(T=X_{(n)}\),得到\(g(\theta)\)的UMRUE:
验证:代入\(g(\theta)=\theta\),得\(\hat{g}=\frac{n+1}{n}X_{(n)}\);代入\(g(\theta)=\theta^{-1}\),得\(\hat{g}=\frac{n-1}{n}X_{(n)}^{-1}\),和(1)的结果完全一致,验证了公式的正确性。
例3.2.6 伯努利分布方差的UMRUE
题目:设\(X_1,\dots,X_n \stackrel{i.i.d.}{\sim} b(1,\theta)\),求\(\sigma^2(\theta)=\theta(1-\theta)\)的UMRUE。
完整推导与讲解
步骤1:确定完备充分统计量
和例3.2.4一致,伯努利分布的完备充分统计量为\(T=\sum_{i=1}^n X_i \sim b(n,\theta)\)(二项分布)。
步骤2:待定系数法构造无偏估计
待估函数\(\sigma^2(\theta)=\theta-\theta^2\)是\(\theta\)的二次多项式,而二项分布的一阶矩、二阶矩都是\(\theta\)的多项式,因此设无偏估计为\(\varphi(T)=\alpha T + \beta T^2\)(\(\alpha、\beta\)为待定系数)。
首先计算\(T\)的矩:
- 一阶矩:\(E(T)=n\theta\)
- 二阶矩:\(E(T^2)=\text{Var}(T)+[E(T)]^2 = n\theta(1-\theta) + n^2\theta^2\)
因此\(\varphi(T)\)的期望为:
要求\(E[\varphi(T)]=\theta-\theta^2\),因此同次项系数必须相等,得到方程组:
- 一次项:\(n(\alpha+\beta)=1\)
- 二次项:\(n\beta(n-1)=-1\)
步骤3:解方程组得UMRUE
解第二个方程得:\(\beta=-\frac{1}{n(n-1)}\)
代入第一个方程得:\(\alpha=\frac{1}{n-1}\)
因此无偏估计为:
\(\varphi(T)\)是完备充分统计量的函数,且无偏,由Lehmann-Scheffe定理,\(\widehat{\sigma^2}=\frac{1}{n(n-1)}(nT-T^2)\)是\(\sigma^2(\theta)\)的UMRUE。
补充验证:样本方差\(S^2=\frac{1}{n-1}\sum(X_i-\bar{X})^2\),展开后恰好等于\(\frac{1}{n(n-1)}(nT-T^2)\),说明样本方差就是伯努利分布方差的UMVUE,符合我们的直观认知。
例3.2.7 异方差正态分布的UMRUE
题目:设\(X_1,\dots,X_n\)相互独立,\(X_j \sim N(0,\sigma^2), j\neq i\),求:
(1) 若\(X_i \sim N(\gamma,\sigma^2)\),求\(\gamma、\sigma^2\)的UMRUE;
(2) 若\(X_i \sim N(0,\omega\sigma^2) (n>3)\),求\(\sigma^2、\omega\)的UMRUE。
完整推导与讲解
这个例题的核心是:样本非同分布,需先找到完备充分统计量,再利用\(\chi^2\)分布的性质构造无偏估计。
(1) 情形1:\(X_i \sim N(\gamma,\sigma^2)\),其余\(X_j \sim N(0,\sigma^2)\)
步骤1:确定完备充分统计量
样本联合密度为:
这是自然指数族,自然充分统计量为\(T=\left(\sum_{j=1}^n X_j^2, X_i\right)\),参数空间包含内点,因此\(T\)是完备充分统计量。令\(T_1=\sum_{j\neq i}X_j^2\),则\((T_1,X_i)\)也是完备充分统计量。
步骤2:构造无偏估计
- \(\gamma\)的UMRUE:\(E(X_i)=\gamma\),\(X_i\)是完备充分统计量的函数且无偏,因此\(\hat{\gamma}=X_i\)是\(\gamma\)的UMRUE。
- \(\sigma^2\)的UMRUE:\(\frac{T_1}{\sigma^2}=\sum_{j\neq i}\frac{X_j^2}{\sigma^2} \sim \chi^2(n-1)\),\(\chi^2(k)\)的期望为\(k\),因此\(E\left(\frac{T_1}{n-1}\right)=\sigma^2\),故\(\widehat{\sigma^2}=\frac{1}{n-1}\sum_{j\neq i}X_j^2\)是\(\sigma^2\)的UMRUE。
(2) 情形2:\(X_i \sim N(0,\omega\sigma^2)\),其余\(X_j \sim N(0,\sigma^2)\),\(n>3\)
步骤1:确定完备充分统计量
样本联合密度为:
自然充分统计量为\(T=\left(\sum_{j\neq i}X_j^2, X_i^2\right)\),参数空间包含内点,因此\(T\)是完备充分统计量。令\(T_1=\sum_{j\neq i}X_j^2\),则\(\frac{T_1}{\sigma^2}\sim\chi^2(n-1)\),\(\frac{X_i^2}{\omega\sigma^2}\sim\chi^2(1)\),且\(T_1\)与\(X_i^2\)独立。
步骤2:构造无偏估计
- \(\sigma^2\)的UMRUE:和情形1一致,\(\widehat{\sigma^2}=\frac{1}{n-1}T_1\)。
- \(\omega\)的UMRUE:首先用到\(\chi^2\)分布的核心性质:若\(Y\sim\chi^2(k)\),则\(k>2\)时,\(E(Y^{-1})=\frac{1}{k-2}\)。
题目中\(n>3\),因此\(n-1>2\),满足条件,故:\[E\left( \left(\frac{T_1}{\sigma^2}\right)^{-1} \right) = \frac{1}{n-3} \implies E\left( \frac{n-3}{T_1} \right) = \sigma^{-2} \]又\(E(X_i^2)=\omega\sigma^2\),且\(X_i^2\)与\(T_1\)独立,因此:\[E\left( X_i^2 \cdot \frac{n-3}{T_1} \right) = E(X_i^2)E\left( \frac{n-3}{T_1} \right) = \omega\sigma^2 \cdot \sigma^{-2} = \omega \]因此\(\hat{\omega}=\frac{(n-3)X_i^2}{\sum_{j\neq i}X_j^2}\)是\(\omega\)的UMRUE。
例3.2.8 正态分布\(N(\mu,\sigma^2)\)的UMRUE
题目:设\(X_1,\dots,X_n \stackrel{i.i.d.}{\sim} N(\mu,\sigma^2)\),求以下参数的UMRUE:
(1) \(\mu, \sigma^2\);(2) \(\mu^2, \mu^3\);(3) \(\sigma, \sigma^k, \mu/\sigma\)(\(n>2\));(4) \(p\)分位数\(x_p=\mu+z_p\sigma\)。
完整推导与讲解
步骤1:确定完备充分统计量
正态分布的样本联合密度为:
自然充分统计量为\(T=\left(\sum X_i, \sum X_i^2\right)\),参数空间包含内点,因此\(T\)是完备充分统计量。样本均值\(\bar{X}=\frac{1}{n}\sum X_i\)、样本方差\(S^2=\frac{1}{n-1}\sum(X_i-\bar{X})^2\)是\(T\)的一一对应函数,因此\((\bar{X},S^2)\)也是\((\mu,\sigma^2)\)的完备充分统计量。
同时,正态分布有两个核心性质,后续推导反复用到:
- \(\bar{X} \sim N\left(\mu, \frac{\sigma^2}{n}\right)\),\(\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)\);
- \(\bar{X}\)与\(S^2\)相互独立。
(1) \(\mu、\sigma^2\)的UMRUE
- \(\mu\)的UMRUE:\(E(\bar{X})=\mu\),因此\(\hat{\mu}=\bar{X}\)是\(\mu\)的UMRUE;
- \(\sigma^2\)的UMRUE:\(E(S^2)=\sigma^2\),因此\(\widehat{\sigma^2}=S^2\)是\(\sigma^2\)的UMRUE。
(2) \(\mu^2、\mu^3\)的UMRUE
① \(\mu^2\)的UMRUE
计算\(\bar{X}^2\)的期望:
我们需要消去\(\frac{\sigma^2}{n}\),而\(E\left(\frac{S^2}{n}\right)=\frac{\sigma^2}{n}\),因此构造估计量:
其期望为\(E\left(\bar{X}^2 - \frac{S^2}{n}\right)=\mu^2\),因此是\(\mu^2\)的UMRUE。
② \(\mu^3\)的UMRUE
令\(\bar{Y}=\bar{X}-\mu \sim N(0,\sigma^2/n)\),则\(\bar{X}=\bar{Y}+\mu\),展开\(\bar{X}^3\):
正态分布的奇数阶中心矩为0,即\(E(\bar{Y})=E(\bar{Y}^3)=0\),\(E(\bar{Y}^2)=\frac{\sigma^2}{n}\),因此:
利用\(\bar{X}\)与\(S^2\)独立,\(E(\bar{X}S^2)=E(\bar{X})E(S^2)=\mu\sigma^2\),因此构造估计量:
其期望为\(\mu^3\),因此是\(\mu^3\)的UMRUE。
(3) \(\sigma、\sigma^k、\mu/\sigma\)的UMRUE
这里的核心是:\(S^2\)是\(\sigma^2\)的无偏估计,但\(S\)不是\(\sigma\)的无偏估计,需要通过\(\Gamma\)函数修正。
首先推导\(\sigma^k\)的通用公式:
已知\(\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1) = \Gamma\left(\frac{n-1}{2},\frac{1}{2}\right)\),Gamma分布\(\Gamma(\alpha,\lambda)\)的\(k\)阶矩为\(E(Y^k)=\frac{\Gamma(\alpha+k)}{\lambda^k \Gamma(\alpha)}\)。
令\(Y=\frac{(n-1)S^2}{\sigma^2}\),则\(Y^{k/2}=\frac{(n-1)^{k/2}S^k}{\sigma^k}\),因此:
变形得到\(E(S^k)\):
因此,\(\sigma^k\)的UMRUE为:
要求\(n+k-1>0\),保证\(\Gamma\)函数有意义。
① \(\sigma\)的UMRUE
令\(k=1\),代入通用公式,记修正系数\(K(n)=\sqrt{\frac{n-1}{2}} \cdot \frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}\),则\(\hat{\sigma}=K(n)S\),是\(\sigma\)的UMRUE。
② \(\sigma^{-1}\)的UMRUE
令\(k=-1\)(\(n>2\)),代入得\(\widehat{\sigma^{-1}}=\frac{n-2}{n-1}K(n)S^{-1}\)。
③ 信噪比\(\mu/\sigma\)的UMRUE
\(\bar{X}\)与\(S\)独立,因此:
因此\(\widehat{\mu/\sigma}=\frac{n-2}{n-1}K(n)\cdot\frac{\bar{X}}{S}\)是信噪比的UMRUE。
(4) \(p\)分位数\(x_p=\mu+z_p\sigma\)的UMRUE
\(p\)分位数满足\(P(X_1\leq x_p)=p\),标准化得\(\frac{x_p-\mu}{\sigma}=z_p\)(\(z_p\)是标准正态分布的\(p\)分位数,已知常数),因此\(x_p=\mu+z_p\sigma\)。
构造估计量\(\hat{x}_p=\bar{X} + K(n)S z_p\),其期望为:
因此\(\hat{x}_p=\bar{X} + K(n)S z_p\)是\(p\)分位数的UMRUE。
例3.2.9 平移Gamma分布的UMRUE
题目:设\(X_1,\dots,X_n \stackrel{i.i.d.}{\sim} \mu + \Gamma(\lambda,1)\)(\(X_i-\mu \sim \text{Exp}(\lambda)\),平移指数分布),求以下参数的UMRUE:
(1) \(\mu\);(2) \(\lambda、\lambda^{-1}\);(3) \(\lambda\mu\);(4) \(\lambda^2\);(5) \(\mu/\lambda\)。
完整推导与讲解
步骤1:确定完备充分统计量
平移Gamma分布的完备充分统计量为\(T=(X_{(1)}, S)\),其中:
- \(X_{(1)}=\min\{X_1,\dots,X_n\}\)(样本最小值),\(X_{(1)} \sim \mu + \Gamma(n\lambda,1)\);
- \(S=\sum_{i=1}^n (X_i - X_{(1)})\),\(S \sim \Gamma(\lambda, n-1)\);
- \(X_{(1)}\)与\(S\)相互独立。
教材给出核心期望结果:
- \(E(X_{(1)})=\mu + \frac{1}{n\lambda}\);
- \(E(S)=\frac{n-1}{\lambda}\),\(E(S^{-1})=\frac{\lambda}{n-2}\)(\(n>2\)),\(E(S^{-2})=\frac{\lambda^2}{(n-2)(n-3)}\)(\(n>3\))。
各参数UMRUE的推导
(1) \(\mu\)的UMRUE:
由\(E(X_{(1)})=\mu + \frac{1}{n\lambda}\),\(E\left(\frac{S}{n(n-1)}\right)=\frac{1}{n\lambda}\),因此:
故\(\hat{\mu}=X_{(1)} - \frac{S}{n(n-1)}\)是\(\mu\)的UMRUE。
(2) \(\lambda、\lambda^{-1}\)的UMRUE:
- \(\lambda^{-1}\):\(E\left(\frac{S}{n-1}\right)=\frac{1}{\lambda}\),故\(\widehat{\lambda^{-1}}=\frac{S}{n-1}\);
- \(\lambda\):\(E\left((n-2)S^{-1}\right)=\lambda\),故\(\hat{\lambda}=(n-2)S^{-1}\)(\(n>2\))。
(3) \(\lambda\mu\)的UMRUE:
\(X_{(1)}\)与\(S\)独立,因此:
变形得:
故\(\widehat{\lambda\mu}=(n-2)X_{(1)}S^{-1} - \frac{1}{n}\)是\(\lambda\mu\)的UMRUE。
(4) \(\lambda^2\)的UMRUE:
\(E\left((n-2)(n-3)S^{-2}\right)=\lambda^2\),故\(\widehat{\lambda^2}=(n-2)(n-3)S^{-2}\)(\(n>3\))。
(5) \(\mu/\lambda\)的UMRUE:
又\(E(S^2)=\frac{n(n-1)}{\lambda^2}\),因此\(E\left(\frac{S^2}{n^2(n-1)}\right)=\frac{1}{n\lambda^2}\),构造估计量:
故\(\widehat{\mu/\lambda}=\frac{1}{n-1}\left(X_{(1)}S - \frac{S^2}{n^2}\right)\)是\(\mu/\lambda\)的UMRUE。
三、所有例题核心结论归纳总结表
| 例题编号 | 分布类型 | 待估参数 | 完备充分统计量 | UMRUE(UMVUE) | 适用条件 |
|---|---|---|---|---|---|
| 例3.2.4(1) | 伯努利分布\(b(1,\theta)\) | \(\theta\) | \(\bar{X}\)(或\(\sum X_i\)) | \(\hat{\theta}=\bar{X}\) | - |
| 例3.2.4(2) | 泊松分布\(P(\lambda)\) | \(\lambda\) | \(\bar{X}\)(或\(\sum X_i\)) | \(\hat{\lambda}=\bar{X}\) | - |
| 例3.2.4(3) | 正态分布\(N(\mu,1)\) | \(\mu\) | \(\bar{X}\)(或\(\sum X_i\)) | \(\hat{\mu}=\bar{X}\) | - |
| 例3.2.5(1) | 均匀分布\(R(0,\theta)\) | \(\theta\) | \(X_{(n)}=\max X_i\) | \(\hat{\theta}=\frac{n+1}{n}X_{(n)}\) | - |
| 例3.2.5(1) | 均匀分布\(R(0,\theta)\) | \(\theta^{-1}\) | \(X_{(n)}\) | \(\widehat{\theta^{-1}}=\frac{n-1}{n}X_{(n)}^{-1}\) | \(n\geq2\) |
| 例3.2.5(2) | 均匀分布\(R(0,\theta)\) | 可导函数\(g(\theta)\) | \(X_{(n)}\) | \(\widehat{g(\theta)}=g(X_{(n)})+\frac{1}{n}X_{(n)}g'(X_{(n)})\) | \(g(\theta)\)可导 |
| 例3.2.6 | 伯努利分布\(b(1,\theta)\) | \(\sigma^2=\theta(1-\theta)\) | \(T=\sum X_i\) | \(\widehat{\sigma^2}=\frac{1}{n(n-1)}(nT-T^2)=S^2\) | - |
| 例3.2.7(1) | 异方差正态\(X_i\sim N(\gamma,\sigma^2),X_j\sim N(0,\sigma^2)\) | \(\gamma\) | \((\sum_{j\neq i}X_j^2,X_i)\) | \(\hat{\gamma}=X_i\) | - |
| 例3.2.7(1) | 同上 | \(\sigma^2\) | \((\sum_{j\neq i}X_j^2,X_i)\) | \(\widehat{\sigma^2}=\frac{1}{n-1}\sum_{j\neq i}X_j^2\) | - |
| 例3.2.7(2) | 异方差正态\(X_i\sim N(0,\omega\sigma^2),X_j\sim N(0,\sigma^2)\) | \(\sigma^2\) | \((\sum_{j\neq i}X_j^2,X_i^2)\) | \(\widehat{\sigma^2}=\frac{1}{n-1}\sum_{j\neq i}X_j^2\) | - |
| 例3.2.7(2) | 同上 | \(\omega\) | \((\sum_{j\neq i}X_j^2,X_i^2)\) | \(\hat{\omega}=\frac{(n-3)X_i^2}{\sum_{j\neq i}X_j^2}\) | \(n>3\) |
| 例3.2.8(1) | 正态分布\(N(\mu,\sigma^2)\) | \(\mu\) | \((\bar{X},S^2)\) | \(\hat{\mu}=\bar{X}\) | - |
| 例3.2.8(1) | 正态分布\(N(\mu,\sigma^2)\) | \(\sigma^2\) | \((\bar{X},S^2)\) | \(\widehat{\sigma^2}=S^2\) | - |
| 例3.2.8(2) | 正态分布\(N(\mu,\sigma^2)\) | \(\mu^2\) | \((\bar{X},S^2)\) | \(\widehat{\mu^2}=\bar{X}^2-\frac{S^2}{n}\) | - |
| 例3.2.8(2) | 正态分布\(N(\mu,\sigma^2)\) | \(\mu^3\) | \((\bar{X},S^2)\) | \(\widehat{\mu^3}=\bar{X}^3-\frac{3\bar{X}S^2}{n}\) | - |
| 例3.2.8(3) | 正态分布\(N(\mu,\sigma^2)\) | \(\sigma^k\) | \((\bar{X},S^2)\) | \(\widehat{\sigma^k}=\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n+k-1}{2}\right)}2^{-k/2}(\sqrt{n-1}S)^k\) | \(n+k-1>0\) |
| 例3.2.8(3) | 正态分布\(N(\mu,\sigma^2)\) | \(\sigma\) | \((\bar{X},S^2)\) | \(\hat{\sigma}=K(n)S,K(n)=\sqrt{\frac{n-1}{2}}\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}\) | - |
| 例3.2.8(3) | 正态分布\(N(\mu,\sigma^2)\) | \(\mu/\sigma\)(信噪比) | \((\bar{X},S^2)\) | \(\widehat{\mu/\sigma}=\frac{n-2}{n-1}K(n)\frac{\bar{X}}{S}\) | \(n>2\) |
| 例3.2.8(4) | 正态分布\(N(\mu,\sigma^2)\) | \(p\)分位数\(x_p=\mu+z_p\sigma\) | \((\bar{X},S^2)\) | \(\hat{x}_p=\bar{X}+K(n)S z_p\) | - |
| 例3.2.9(1) | 平移Gamma分布\(\mu+\Gamma(\lambda,1)\) | \(\mu\) | \((X_{(1)},S=\sum(X_i-X_{(1)}))\) | \(\hat{\mu}=X_{(1)}-\frac{S}{n(n-1)}\) | - |
| 例3.2.9(2) | 平移Gamma分布\(\mu+\Gamma(\lambda,1)\) | \(\lambda\) | \((X_{(1)},S)\) | \(\hat{\lambda}=(n-2)S^{-1}\) | \(n>2\) |
| 例3.2.9(2) | 平移Gamma分布\(\mu+\Gamma(\lambda,1)\) | \(\lambda^{-1}\) | \((X_{(1)},S)\) | \(\widehat{\lambda^{-1}}=\frac{S}{n-1}\) | - |
| 例3.2.9(3) | 平移Gamma分布\(\mu+\Gamma(\lambda,1)\) | \(\lambda\mu\) | \((X_{(1)},S)\) | \(\widehat{\lambda\mu}=(n-2)X_{(1)}S^{-1}-\frac{1}{n}\) | \(n>2\) |
| 例3.2.9(4) | 平移Gamma分布\(\mu+\Gamma(\lambda,1)\) | \(\lambda^2\) | \((X_{(1)},S)\) | \(\widehat{\lambda^2}=(n-2)(n-3)S^{-2}\) | \(n>3\) |
| 例3.2.9(5) | 平移Gamma分布\(\mu+\Gamma(\lambda,1)\) | \(\mu/\lambda\) | \((X_{(1)},S)\) | \(\widehat{\mu/\lambda}=\frac{1}{n-1}\left(X_{(1)}S-\frac{S^2}{n^2}\right)\) | - |
四、教学核心总结
所有例题的求解,都遵循Lehmann-Scheffe定理的四步通用流程,这也是求解UMRUE/UMVUE的万能方法:
- 找:找到待估参数对应的完备充分统计量(指数族用自然充分统计量,非指数族用因子分解定理+完备性定义验证);
- 构:构造完备充分统计量的函数,或找一个简单的无偏估计;
- 验:通过期望计算、待定系数法、积分方程求解等方式,验证估计量的无偏性;
- 定:由Lehmann-Scheffe定理,该估计量就是唯一的UMRUE(平方损失下为UMVUE)。
条件期望法求解UMRUE 深度讲解与完整推导
条件期望法是Lehmann-Scheffe定理最具实用价值的应用,专门解决直接构造无偏函数困难的估计问题。我将从方法本质、逐题完整推导、核心知识点拆解、结果验证四个维度,把所有例题讲透,最后用表格归纳核心结论。
一、先回顾:条件期望法的核心原理与通用流程
1. 方法的理论依据
根据Lehmann-Scheffe定理:
若\(T(X)\)是参数\(\theta\)的完备充分统计量,\(\tilde{g}(X)\)是待估函数\(g(\theta)\)的任意一个无偏估计,则
必为\(g(\theta)\)的一致最小风险无偏估计(UMRUE)。
2. 方法的核心优势
当待估函数\(g(\theta)\)包含指数项、分布函数、非线性项时,直接构造完备充分统计量的无偏函数需要解复杂的积分/期望方程,难度极高。
而条件期望法可以绕开这个难题:我们只需要构造一个极其简单的无偏估计(通常是示性函数),再通过条件期望计算,就能直接得到最优估计。
3. 通用四步流程
- 找:确定待估参数的完备充分统计量\(T\);
- 构:构造简单无偏估计\(\tilde{g}\)(最常用示性函数,天然满足无偏性);
- 算:计算条件期望\(\hat{g}=\mathbb{E}[\tilde{g}|T]\),利用分布性质、Basu定理简化计算;
- 定:由Lehmann-Scheffe定理,\(\hat{g}\)即为UMRUE。
二、例题逐题详细讲解与完整推导
例3.2.10 泊松分布取指定值概率的UMRUE
题目:设\(X_1,\dots,X_n \stackrel{i.i.d.}{\sim} P(\lambda)\)(泊松分布),求\(\mu_k = P(X_1=k) = e^{-\lambda}\frac{\lambda^k}{k!}\)的UMRUE。
步骤1:为什么用条件期望法?
待估函数包含指数项\(e^{-\lambda}\),若用直接法,需要找\(\varphi(T)\)使得\(\mathbb{E}[\varphi(T)]=e^{-\lambda}\frac{\lambda^k}{k!}\),需要解泊松分布的无穷级数期望方程,计算复杂;而条件期望法可以轻松绕开这个问题。
步骤2:确定完备充分统计量
泊松分布是自然指数族,样本联合概率质量函数为:
自然充分统计量为\(T=\sum_{i=1}^n X_i\),参数空间\(\lambda>0\)包含内点,因此\(T\)是\(\lambda\)的完备充分统计量,且\(T \sim P(n\lambda)\)。
步骤3:构造简单无偏估计
取示性函数:
其中\(I\{\cdot\}\)为示性函数,事件发生时取1,否则取0。
无偏性验证:
完美满足无偏性,且构造极其简单。
步骤4:计算条件期望
示性函数的条件期望等于条件概率,因此:
分情况计算条件概率
-
边界情况:\(T < k\)
若总和\(T < k\),则\(X_1\)不可能等于\(k\),因此条件概率为0,即\(\hat{\mu}_k=0\)。 -
常规情况:\(T \geq k\)
根据条件概率定义:\[P\left(X_1=k \bigg| \sum_{i=1}^n X_i = t\right) = \frac{P\left(X_1=k, \sum_{i=1}^n X_i = t\right)}{P\left(\sum_{i=1}^n X_i = t\right)} \]分子利用独立性拆分:\(X_1\)与\(X_2,\dots,X_n\)独立,因此
\[P\left(X_1=k, \sum_{i=1}^n X_i = t\right) = P(X_1=k) \cdot P\left(\sum_{i=2}^n X_i = t-k\right) \]代入泊松分布的概率质量函数:
- \(P(X_1=k) = e^{-\lambda}\frac{\lambda^k}{k!}\)
- \(\sum_{i=2}^n X_i \sim P((n-1)\lambda)\),因此\(P\left(\sum_{i=2}^n X_i = t-k\right) = e^{-(n-1)\lambda}\frac{[(n-1)\lambda]^{t-k}}{(t-k)!}\)
- 分母\(\sum_{i=1}^n X_i \sim P(n\lambda)\),因此\(P\left(\sum_{i=1}^n X_i = t\right) = e^{-n\lambda}\frac{(n\lambda)^t}{t!}\)
分子分母代入后化简:
\[\begin{align*} \text{分子} &= e^{-\lambda}\frac{\lambda^k}{k!} \cdot e^{-(n-1)\lambda}\frac{[(n-1)\lambda]^{t-k}}{(t-k)!} = e^{-n\lambda} \cdot \frac{(n-1)^{t-k} \lambda^t}{k! (t-k)!} \\ \text{分母} &= e^{-n\lambda}\frac{(n\lambda)^t}{t!} \end{align*} \]约去公共项\(e^{-n\lambda}\)和\(\lambda^t\),最终得到:
\[P\left(X_1=k \bigg| \sum_{i=1}^n X_i = t\right) = \binom{t}{k} \left( \frac{1}{n} \right)^k \left( 1-\frac{1}{n} \right)^{t-k} \]这正是二项分布\(b(k; t, 1/n)\)的概率质量函数。
步骤5:最终结果与验证
\(\mu_k\)的UMRUE为:
特殊情况验证(k=0):
当\(k=0\)时,\(\mu_0=P(X_1=0)=e^{-\lambda}\),代入公式得\(\hat{\mu}_0=\left(1-\frac{1}{n}\right)^T\)。
无偏性验证:泊松分布的矩生成函数为\(\mathbb{E}[a^T]=e^{n\lambda(a-1)}\),代入\(a=1-\frac{1}{n}\),得\(\mathbb{E}\left[\left(1-\frac{1}{n}\right)^T\right]=e^{n\lambda(-1/n)}=e^{-\lambda}\),完全符合无偏性。
例3.2.11 正态分布累积概率的UMRUE
题目:设\(X_1,\dots,X_n \stackrel{i.i.d.}{\sim} N(\mu,1)\)(方差已知的正态分布),\(\xi\)为已知常数,求\(p=P(X_1 \leq \xi)\)的UMRUE。
步骤1:为什么用条件期望法?
待估函数\(p=\Phi(\xi-\mu)\)(\(\Phi(\cdot)\)为标准正态分布函数),是\(\mu\)的非线性函数。若用直接法,需要找\(\varphi(\bar{X})\)使得\(\mathbb{E}[\varphi(\bar{X})]=\Phi(\xi-\mu)\),需要解正态分布的积分方程,难度极大;条件期望法可以轻松解决。
步骤2:确定完备充分统计量
正态分布\(N(\mu,1)\)是自然指数族,样本联合密度为:
自然充分统计量为\(\bar{X}=\frac{1}{n}\sum_{i=1}^n X_i\),参数空间\(\mu \in \mathbb{R}\)包含内点,因此\(\bar{X}\)是\(\mu\)的完备充分统计量,且\(\bar{X} \sim N\left(\mu, \frac{1}{n}\right)\)。
步骤3:构造简单无偏估计
取示性函数:
无偏性验证:\(\mathbb{E}[\tilde{p}] = P(X_1 \leq \xi) = p\),天然无偏。
步骤4:计算条件期望(核心:Basu定理的应用)
首先,条件期望转化为条件概率:
关键变形与Basu定理
将条件概率变形:
Basu定理:完备充分统计量与辅助统计量(分布与未知参数无关的统计量)相互独立。
我们分析统计量\(Y=X_1 - \bar{X}\):
-
分布计算:
\(Y = X_1 - \frac{X_1+X_2+\dots+X_n}{n} = \frac{(n-1)X_1 - X_2 - \dots - X_n}{n}\)
由于\(X_i\)独立正态,\(Y\)服从正态分布,计算期望和方差:- 期望:\(\mathbb{E}[Y] = \mathbb{E}[X_1] - \mathbb{E}[\bar{X}] = \mu - \mu = 0\)
- 协方差:\(\text{Cov}(X_1, \bar{X}) = \frac{1}{n}\text{Var}(X_1) = \frac{1}{n}\)
- 方差:\(\text{Var}(Y) = \text{Var}(X_1) + \text{Var}(\bar{X}) - 2\text{Cov}(X_1,\bar{X}) = 1 + \frac{1}{n} - \frac{2}{n} = \frac{n-1}{n}\)
因此\(Y \sim N\left(0, \frac{n-1}{n}\right)\),其分布与\(\mu\)完全无关,是辅助统计量。
-
独立性应用:
\(\bar{X}\)是完备充分统计量,\(Y\)是辅助统计量,由Basu定理,\(Y\)与\(\bar{X}\)相互独立。因此条件概率等于无条件概率:\[P\left(Y \leq \xi - \bar{x} \bigg| \bar{X} = \bar{x}\right) = P(Y \leq \xi - \bar{x}) \]
最终概率计算
对\(Y\)标准化,令\(Z = \sqrt{\frac{n}{n-1}} Y\),则\(Z \sim N(0,1)\),因此:
步骤5:最终结果
将\(\bar{x}\)换回\(\bar{X}\),得到\(p\)的UMRUE:
关键提醒:不能直接用\(\Phi(\xi - \bar{X})\)作为估计量,因为\(\mathbb{E}[\Phi(\xi - \bar{X})] \neq \Phi(\xi - \mu)\),正态分布的分布函数的期望不等于期望的分布函数,必须通过\(\sqrt{\frac{n}{n-1}}\)修正。
例3.2.12 指数分布累积概率的UMRUE
题目:设\(X_1,\dots,X_n \stackrel{i.i.d.}{\sim} \Gamma(\lambda,1)\)(指数分布,概率密度\(f(x;\lambda)=\lambda e^{-\lambda x}, x>0\)),\(\xi>0\)为已知常数,求\(p=P(X_1 \leq \xi)\)的UMRUE。
步骤1:为什么用条件期望法?
待估函数\(p=1-e^{-\lambda \xi}\)包含指数项,直接构造\(T\)的无偏函数需要解Gamma分布的积分方程,计算复杂;条件期望法可以快速求解。
步骤2:确定完备充分统计量
指数分布是自然指数族,样本联合密度为:
自然充分统计量为\(T=\sum_{i=1}^n X_i\),参数空间\(\lambda>0\)包含内点,因此\(T\)是\(\lambda\)的完备充分统计量,且\(T \sim \Gamma(\lambda,n)\)(Gamma分布,形状参数\(n\),率参数\(\lambda\)),概率密度为\(f_T(t)=\frac{\lambda^n t^{n-1} e^{-\lambda t}}{(n-1)!}, t>0\)。
步骤3:构造简单无偏估计
取示性函数:
无偏性验证:\(\mathbb{E}[\tilde{p}] = P(X_1 \leq \xi) = p\),天然无偏。
步骤4:计算条件期望(Basu定理的再次应用)
条件期望转化为条件概率:
分情况计算
-
边界情况:\(T=t < \xi\)
由于\(X_1 \leq \sum_{i=1}^n X_i = T = t < \xi\),因此\(X_1 \leq \xi\)必然成立,条件概率为1,即\(\hat{p}=1\)。 -
常规情况:\(T=t \geq \xi\)
变形条件概率:\[P\left(X_1 \leq \xi \bigg| T = t\right) = P\left( \frac{X_1}{T} \leq \frac{\xi}{t} \bigg| T = t \right) \]分析统计量\(Y=\frac{X_1}{T}\):
\(X_1 \sim \Gamma(\lambda,1)\),\(X_2+\dots+X_n \sim \Gamma(\lambda,n-1)\),两者独立。根据Beta-Gamma分布关系:若\(X\sim\Gamma(\alpha,\lambda), Y\sim\Gamma(\beta,\lambda)\)独立,则\(\frac{X}{X+Y} \sim \text{Beta}(\alpha,\beta)\)。
因此\(Y=\frac{X_1}{X_1+(X_2+\dots+X_n)} \sim \text{Beta}(1, n-1)\),概率密度为\(f_Y(y)=(n-1)(1-y)^{n-2}, 0<y<1\),其分布与\(\lambda\)完全无关,是辅助统计量。由Basu定理,\(Y\)与完备充分统计量\(T\)独立,因此条件概率等于无条件概率:
\[P\left( Y \leq \frac{\xi}{t} \bigg| T = t \right) = P\left(Y \leq \frac{\xi}{t}\right) \]
计算Beta分布的分布函数
代入\(y=\frac{\xi}{t}\),得:
步骤5:最终结果与验证
综合两种情况,用正部函数\(a^+ = \max(a,0)\)统一表示,\(p\)的UMRUE为:
即:
无偏性验证(以n=2为例):
\(T\sim\Gamma(\lambda,2)\),密度为\(\lambda^2 t e^{-\lambda t}\),则
计算积分得\(\int_\xi^\infty (t-\xi)e^{-\lambda t} dt = \frac{e^{-\lambda \xi}}{\lambda^2}\),因此\(\mathbb{E}[\hat{p}]=1 - e^{-\lambda \xi}=p\),完全符合无偏性。
三、核心知识点与例题归纳总结表
| 例题编号 | 分布类型 | 待估参数 | 完备充分统计量 | 简单无偏估计 | UMRUE最终结果 | 核心技巧 |
|---|---|---|---|---|---|---|
| 例3.2.10 | 泊松分布\(P(\lambda)\) | \(\mu_k=P(X_1=k)=e^{-\lambda}\frac{\lambda^k}{k!}\) | \(T=\sum_{i=1}^n X_i \sim P(n\lambda)\) | \(\tilde{\mu}_k=I\{X_1=k\}\) | \(\hat{\mu}_k=\begin{cases}\dbinom{T}{k}\left(\dfrac{1}{n}\right)^k\left(1-\dfrac{1}{n}\right)^{T-k}, & T\geq k \\ 0, & T<k\end{cases}\) | 泊松分布的可加性、条件概率化简 |
| 例3.2.11 | 正态分布\(N(\mu,1)\) | \(p=P(X_1\leq\xi)=\Phi(\xi-\mu)\) | \(\bar{X} \sim N\left(\mu,\dfrac{1}{n}\right)\) | \(\tilde{p}=I\{X_1\leq\xi\}\) | \(\hat{p}=\Phi\left( \sqrt{\dfrac{n}{n-1}}(\xi-\bar{X}) \right)\) | Basu定理、辅助统计量构造、正态分布标准化 |
| 例3.2.12 | 指数分布\(\Gamma(\lambda,1)\) | \(p=P(X_1\leq\xi)=1-e^{-\lambda\xi}\) | \(T=\sum_{i=1}^n X_i \sim \Gamma(\lambda,n)\) | \(\tilde{p}=I\{X_1\leq\xi\}\) | \(\hat{p}=1 - \left[ \left(1 - \dfrac{\xi}{T}\right)^+ \right]^{n-1}\) | Basu定理、Beta-Gamma分布关系、Beta分布积分 |
四、教学核心总结
- 示性函数是万能的简单无偏估计:对于待估的概率\(P(A)\),直接取示性函数\(I\{A\}\),其期望就是\(P(A)\),天然满足无偏性,无需任何复杂构造。
- Basu定理是简化条件期望的核心工具:通过构造与未知参数无关的辅助统计量,利用完备充分统计量与辅助统计量的独立性,将复杂的条件概率转化为无条件概率,大幅降低计算难度。
- 条件期望法的本质是Rao-Blackwell化:将一个粗糙的无偏估计,通过对充分统计量求条件期望,得到方差更小的无偏估计;再结合完备性,保证这个估计是唯一的UMRUE。
posted on 2026-02-24 08:20 Indian_Mysore 阅读(0) 评论(0) 收藏 举报
浙公网安备 33010602011771号