昆仑山:眼中无形心中有穴之穴人合一

夫君子之行,静以修身,俭以养德;非澹泊无以明志,非宁静无以致远。夫学须静也,才须学也;非学无以广才,非志无以成学。怠慢则不能励精,险躁则不能冶性。年与时驰,意与岁去,遂成枯落,多不接世。悲守穷庐,将复何及!

 

3.2.2Lehmann-Scheffe定理

Lehmann-Scheffe定理 深度讲解与完整推导

作为参数估计中求解一致最小风险无偏估计(UMRUE)、尤其是一致最小方差无偏估计(UMVUE)的核心定理,Lehmann-Scheffe定理建立在充分统计量、完备统计量的基础上,我们将从基础概念、引理证明、定理推导、实例解析到归纳总结,进行完整且严谨的讲解。


一、前置核心概念铺垫

要理解该定理,必须先掌握以下6个核心概念,这是所有推导的基础:

1. 无偏估计

对于待估参数\(g(\theta)\),若估计量\(\hat{g}(X)\)满足:

\[\mathbb{E}_\theta[\hat{g}(X)] = g(\theta), \quad \forall \theta \in \Theta \]

则称\(\hat{g}(X)\)\(g(\theta)\)无偏估计,要求对参数空间\(\Theta\)内的所有\(\theta\)都成立,也叫“处处无偏”。
直观意义:估计量的平均取值等于参数的真实值,无系统性偏差。

2. 充分统计量

统计量\(T=T(X)\)称为\(\theta\)充分统计量,若给定\(T(X)=t\)时,样本\(X\)的条件分布与\(\theta\)无关。

  • 核心意义:充分统计量包含了样本中关于\(\theta\)全部信息,用它代替原始样本不会损失任何关于参数的信息,同时大幅降维简化计算。
  • 判定方法:因子分解定理——样本联合密度可分解为\(f(x;\theta)=g(T(x);\theta)\cdot h(x)\),其中\(g\)仅通过\(T(x)\)依赖样本且与\(\theta\)有关,\(h(x)\)\(\theta\)无关。

3. 完备统计量

统计量\(T=T(X)\)称为完备统计量,若对任意可测函数\(h(T)\),满足:

\[\mathbb{E}_\theta[h(T)] = 0, \quad \forall \theta \in \Theta \]

就必有\(P_\theta(h(T)=0)=1\)(几乎处处等于0,记为a.e.)。

  • 核心意义:完备性保证了基于\(T\)的无偏估计是几乎处处唯一的——不会存在两个不同的、关于\(T\)的函数,同时是同一个参数的无偏估计。

4. 完备充分统计量

同时满足充分性完备性的统计量,是Lehmann-Scheffe定理的核心研究对象,也是求解UMVUE的关键。

5. 损失函数与风险函数

  • 损失函数\(L(\theta,d)\):参数真值为\(\theta\)时,用\(d\)估计\(g(\theta)\)产生的损失,是衡量估计误差的标准。
    常见类型:
    • 平方损失(\(L_2\)损失):\(L(\theta,d)=(d-g(\theta))^2\),严凸函数;
    • 绝对值损失(\(L_1\)损失):\(L(\theta,d)=|d-g(\theta)|\),凸但非严凸函数。
  • 风险函数\(R(\theta,\hat{g})\):损失函数的期望,即\(R(\theta,\hat{g})=\mathbb{E}_\theta[L(\theta,\hat{g}(X))]\),衡量估计量的平均损失,风险越小,估计量性能越好。
    平方损失下,风险函数就是估计量的方差:\(R(\theta,\hat{g})=\text{Var}_\theta(\hat{g}(X))\)

6. UMRUE与UMVUE

  • 一致最小风险无偏估计(UMRUE):若\(\hat{g}^*\)\(g(\theta)\)的无偏估计,且对任意其他无偏估计\(\hat{g}\),都有

    \[R(\theta,\hat{g}^*) \leq R(\theta,\hat{g}), \quad \forall \theta \in \Theta \]

    则称\(\hat{g}^*\)为UMRUE,即无偏估计类中风险最小的估计量。
  • 一致最小方差无偏估计(UMVUE):平方损失下的UMRUE,是无偏估计类中方差最小的估计量,也是实际应用中最常用的形式。

二、先导实例:充分统计量的估计优势

我们先通过教材中的例3.2.3,直观理解“基于充分统计量的估计更优”,为后续定理建立直观认知。

例3.2.3 完整推导

\(X_1,X_2,\dots,X_n \stackrel{i.i.d.}{\sim} R(0,\theta)\)(均匀分布\(U(0,\theta)\)),概率密度为\(f(x;\theta)=\frac{1}{\theta}I\{0<x<\theta\}\),求\(\theta\)的无偏估计并比较性能。

1. 非充分统计量的无偏估计\(\hat{g}_1=2\bar{X}\)

  • 无偏性验证:
    均匀分布的期望\(\mathbb{E}(X_1)=\int_0^\theta x\cdot\frac{1}{\theta}dx=\frac{\theta}{2}\),因此\(\mathbb{E}(\bar{X})=\frac{\theta}{2}\),故\(\mathbb{E}(2\bar{X})=\theta\),满足无偏性。
  • 方差(平方损失下的风险)计算:
    \(\text{Var}(X_1)=\mathbb{E}(X_1^2)-[\mathbb{E}(X_1)]^2=\frac{\theta^2}{3}-\frac{\theta^2}{4}=\frac{\theta^2}{12}\),因此

    \[\text{Var}(\hat{g}_1)=\text{Var}(2\bar{X})=4\cdot\frac{\text{Var}(X_1)}{n}=\frac{\theta^2}{3n} \]

2. 充分统计量的无偏估计\(\hat{g}_2=\frac{n+1}{n}X_{(n)}\)

\(X_{(n)}=\max\{X_1,\dots,X_n\}\)是样本最大值,首先证明它是\(\theta\)的充分统计量:
样本联合密度为

\[f(x_1,\dots,x_n;\theta)=\prod_{i=1}^n \frac{1}{\theta}I\{0<x_i<\theta\}=\frac{1}{\theta^n}I\{X_{(n)}<\theta\}\cdot I\{\min x_i>0\} \]

根据因子分解定理,\(T=X_{(n)}\)\(\theta\)的充分统计量。

  • 分布与期望计算:
    \(X_{(n)}\)的分布函数\(F(t)=P(X_{(n)}\leq t)=(\frac{t}{\theta})^n, 0<t<\theta\),概率密度\(f(t)=\frac{nt^{n-1}}{\theta^n}\)
    因此\(\mathbb{E}(X_{(n)})=\int_0^\theta t\cdot\frac{nt^{n-1}}{\theta^n}dt=\frac{n}{n+1}\theta\),调整后得到无偏估计\(\hat{g}_2=\frac{n+1}{n}X_{(n)}\),满足\(\mathbb{E}(\hat{g}_2)=\theta\)
  • 方差(平方损失下的风险)计算:
    \(\mathbb{E}(X_{(n)}^2)=\int_0^\theta t^2\cdot\frac{nt^{n-1}}{\theta^n}dt=\frac{n}{n+2}\theta^2\),因此

    \[\text{Var}(X_{(n)})=\frac{n}{n+2}\theta^2 - \left(\frac{n}{n+1}\theta\right)^2=\frac{n\theta^2}{(n+2)(n+1)^2} \]

    \[\text{Var}(\hat{g}_2)=\left(\frac{n+1}{n}\right)^2\text{Var}(X_{(n)})=\frac{\theta^2}{n(n+2)} \]

3. 性能比较

\(n\geq2\)时,\(\frac{\theta^2}{n(n+2)} < \frac{\theta^2}{3n}\),即\(\text{Var}(\hat{g}_2) < \text{Var}(\hat{g}_1)\)
核心结论:基于充分统计量的无偏估计,性能显著优于非充分统计量的无偏估计。


三、核心引理证明

Lehmann-Scheffe定理的推导完全建立在两个引理之上,我们先对两个引理进行严谨的证明。

引理3.2.1 唯一性引理

命题:设\(T=T(X)\)为完备统计量(不必为充分统计量),若\(\varphi_1(T(X))\)\(\varphi_2(T(X))\)都是\(g(\theta)\)的无偏估计,则必有\(\varphi_1(T(X))=\varphi_2(T(X)) \ \text{a.e.}\)
即:若\(g(\theta)\)的无偏估计存在且为\(T\)的函数,则该无偏估计几乎处处唯一。

完整证明

  1. 由无偏估计的定义,对任意\(\theta \in \Theta\),有:

    \[\mathbb{E}_\theta[\varphi_1(T)] = g(\theta), \quad \mathbb{E}_\theta[\varphi_2(T)] = g(\theta) \]

  2. 构造函数\(h(T)=\varphi_1(T)-\varphi_2(T)\),计算其期望:

    \[\mathbb{E}_\theta[h(T)] = \mathbb{E}_\theta[\varphi_1(T)] - \mathbb{E}_\theta[\varphi_2(T)] = g(\theta)-g(\theta)=0, \quad \forall \theta \in \Theta \]

  3. 由于\(T\)是完备统计量,根据完备统计量的定义,满足\(\mathbb{E}_\theta[h(T)]=0\)对所有\(\theta\)成立时,必有\(h(T)=0 \ \text{a.e.}\),即

    \[\varphi_1(T(X))=\varphi_2(T(X)) \ \text{a.e.} \]

引理得证。

关键注记:无偏性必须是“处处无偏”,否则无法满足完备性定义中“对所有\(\theta\in\Theta\)期望为0”的要求,也就无法推出唯一性。


引理3.2.2 最优性引理(Rao-Blackwell定理的推广)

命题:设\(\tilde{g}(X)\)\(g(\theta)\)的无偏估计,损失函数\(L(\theta,d)\)为凸函数,\(T=T(X)\)为充分统计量(不必为完备的),令

\[\hat{g}(X) = \mathbb{E}_\theta[\tilde{g}(X)|T] = \varphi(T(X)) \]

则:

  1. \(\hat{g}(X)\)也是\(g(\theta)\)的无偏估计;
  2. 风险满足\(R(\theta,\hat{g}) \leq R(\theta,\tilde{g}), \forall \theta \in \Theta\)
  3. \(L(\theta,d)\)为严凸函数,则等号成立的充要条件是\(\tilde{g}(X)\)\(T(X)\)的函数,即\(\tilde{g}(X)=h(T(X))\)

完整证明

步骤1:证明\(\hat{g}(X)\)的无偏性

根据重期望公式(全期望公式):对任意随机变量\(X,Y\),有\(\mathbb{E}[\mathbb{E}(Y|X)]=\mathbb{E}(Y)\)
因此对任意\(\theta \in \Theta\)

\[\mathbb{E}_\theta[\hat{g}(X)] = \mathbb{E}_\theta\left[\mathbb{E}_\theta[\tilde{g}(X)|T]\right] = \mathbb{E}_\theta[\tilde{g}(X)] = g(\theta) \]

\(\hat{g}(X)\)\(g(\theta)\)的无偏估计。

补充说明:由于\(T\)是充分统计量,给定\(T\)时样本的条件分布与\(\theta\)无关,因此\(\mathbb{E}_\theta[\tilde{g}(X)|T]\)的结果仅与\(T\)有关,与\(\theta\)无关,确实是\(T\)的函数\(\varphi(T)\)

步骤2:证明风险不等式

风险函数是损失的期望,因此:

\[R(\theta,\hat{g}) = \mathbb{E}_\theta\left[L\left(\theta, \mathbb{E}_\theta[\tilde{g}(X)|T]\right)\right] \]

由于\(L(\theta,d)\)是关于\(d\)的凸函数,对条件期望应用Jensen不等式:对凸函数\(L\),有

\[L\left(\theta, \mathbb{E}[Y|T]\right) \leq \mathbb{E}\left[L(\theta,Y) | T\right] \]

\(Y=\tilde{g}(X)\),代入得:

\[L\left(\theta, \mathbb{E}_\theta[\tilde{g}(X)|T]\right) \leq \mathbb{E}_\theta\left[L(\theta,\tilde{g}(X)) | T\right] \]

对不等式两边同时取期望,结合重期望公式:

\[\mathbb{E}_\theta\left[L\left(\theta, \mathbb{E}_\theta[\tilde{g}(X)|T]\right)\right] \leq \mathbb{E}_\theta\left[\mathbb{E}_\theta\left[L(\theta,\tilde{g}(X)) | T\right]\right] = \mathbb{E}_\theta\left[L(\theta,\tilde{g}(X))\right] \]

\[R(\theta,\hat{g}) \leq R(\theta,\tilde{g}), \quad \forall \theta \in \Theta \]

步骤3:严凸损失下等号成立的充要条件

Jensen不等式对严凸函数,等号成立的充要条件是\(Y\)在给定\(T\)时几乎处处为常数,即

\[\tilde{g}(X) = \mathbb{E}_\theta[\tilde{g}(X)|T] = \varphi(T) \ \text{a.e.} \]

也就是\(\tilde{g}(X)\)\(T\)的函数。
反之,若\(\tilde{g}(X)\)\(T\)的函数,则\(\mathbb{E}_\theta[\tilde{g}(X)|T]=\tilde{g}(X)\),此时\(\hat{g}=\tilde{g}\),风险自然相等。
引理得证。

推论(平方损失下的Rao-Blackwell定理)
当损失为平方损失\(L(\theta,d)=(d-g(\theta))^2\)(严凸),则

\[\text{Var}(\hat{g}) \leq \text{Var}(\tilde{g}), \quad \forall \theta \in \Theta \]

等号成立当且仅当\(\tilde{g}(X)\)\(T\)的函数。
即:任何无偏估计对充分统计量取条件期望后,方差不会增大,性能更优。


四、Lehmann-Scheffe定理 完整证明

结合上述两个引理,我们正式给出Lehmann-Scheffe定理的完整表述与严谨证明。

定理3.2.1 Lehmann-Scheffe(莱曼-谢费)定理

给定样本\(X_1,\dots,X_n\),设\(X=(X_1,\dots,X_n)^T \sim f(x;\theta), \theta \in \Theta\)。考虑\(g(\theta)\)的无偏估计,损失函数\(L(\theta,d)\)为凸函数,\(T=T(X)\)\(\theta\)的完备充分统计量,则有:

  1. \(\hat{g}(X)\)\(g(\theta)\)的无偏估计,且\(\hat{g}(X)=h(T(X))\)(是\(T\)的函数),则\(\hat{g}(X)\)必为\(g(\theta)\)的一致最小风险无偏估计(UMRUE)。
  2. \(\tilde{g}(X)\)\(g(\theta)\)的任意无偏估计,则\(\hat{g}(X)=\mathbb{E}_\theta[\tilde{g}(X)|T]\)必为\(g(\theta)\)的UMRUE。
  3. \(L(\theta,d)\)为严凸函数,且\(g(\theta)\)的UMRUE存在,则UMRUE必为\(T(X)\)的函数,且几乎处处唯一。

结论(1)的证明

目标:证明对任意无偏估计\(\tilde{g}(X)\),都有\(R(\theta,\hat{g}) \leq R(\theta,\tilde{g}), \forall \theta \in \Theta\)

  1. 对任意无偏估计\(\tilde{g}(X)\),构造\(g^*(X)=\mathbb{E}_\theta[\tilde{g}(X)|T]\)
  2. 由引理3.2.2,\(g^*(X)\)\(g(\theta)\)的无偏估计,且\(R(\theta,g^*) \leq R(\theta,\tilde{g}), \forall \theta \in \Theta\)
  3. \(g^*(X)\)\(T\)的函数,而\(\hat{g}(X)=h(T(X))\)也是\(T\)的函数,且两者都是\(g(\theta)\)的无偏估计。
  4. 由于\(T\)是完备统计量,由引理3.2.1(唯一性引理),得\(\hat{g}(X)=g^*(X) \ \text{a.e.}\),因此两者风险相等:\(R(\theta,\hat{g})=R(\theta,g^*)\)
  5. 结合不等式得:\(R(\theta,\hat{g})=R(\theta,g^*) \leq R(\theta,\tilde{g}), \forall \theta \in \Theta\)

由于\(\tilde{g}(X)\)是任意无偏估计,因此\(\hat{g}(X)\)\(g(\theta)\)的UMRUE,结论(1)得证。


结论(2)的证明

目标:证明\(\hat{g}(X)=\mathbb{E}_\theta[\tilde{g}(X)|T]\)是UMRUE。

  1. 由充分统计量的性质,\(\hat{g}(X)\)\(T\)的函数;
  2. 由引理3.2.2,\(\mathbb{E}_\theta[\hat{g}(X)]=g(\theta)\),即\(\hat{g}(X)\)\(g(\theta)\)的无偏估计;
  3. 结合结论(1),作为完备充分统计量\(T\)的无偏估计函数,\(\hat{g}(X)\)必为UMRUE,结论(2)得证。

结论(3)的证明

目标:严凸损失下,UMRUE必为\(T\)的函数,且几乎处处唯一。

  1. \(\hat{g}(X)\)\(g(\theta)\)的UMRUE,构造\(g^*(X)=\mathbb{E}_\theta[\hat{g}(X)|T]\)
  2. 由引理3.2.2,\(g^*(X)\)是无偏估计,且\(R(\theta,g^*) \leq R(\theta,\hat{g}), \forall \theta \in \Theta\)
  3. 由于\(\hat{g}(X)\)是UMRUE,其风险是无偏估计中的最小值,因此必有\(R(\theta,\hat{g}) \leq R(\theta,g^*), \forall \theta \in \Theta\)
  4. 结合两个不等式得\(R(\theta,\hat{g})=R(\theta,g^*), \forall \theta \in \Theta\)
  5. 由于损失函数是严凸的,由引理3.2.2,等号成立的充要条件是\(\hat{g}(X)\)\(T\)的函数,即\(\hat{g}(X)=h(T(X))\)
  6. 再由引理3.2.1,基于完备统计量\(T\)的无偏估计几乎处处唯一,因此UMRUE是唯一的,结论(3)得证。

定理的常用推论

损失函数类型 定理适用性 核心结论
平方损失(\(L_2\),严凸) 结论(1)(2)(3)全部成立 UMRUE即UMVUE,是无偏估计类中方差最小的估计量,且必为完备充分统计量的函数,几乎处处唯一
绝对值损失(\(L_1\),凸非严凸) 结论(1)(2)成立,(3)不成立 可通过定理构造UMRUE,但UMRUE不一定唯一,也不一定是完备充分统计量的函数

五、定理的核心应用:UMVUE的两种求解方法

Lehmann-Scheffe定理给出了平方损失下求解UMVUE的两种标准方法,也是参数估计的核心实用技巧:

方法1:直接构造法

  1. 找到参数\(\theta\)的完备充分统计量\(T(X)\)
  2. 构造\(T\)的函数\(h(T)\),使得\(\mathbb{E}_\theta[h(T)]=g(\theta)\)(即\(h(T)\)\(g(\theta)\)的无偏估计);
  3. 由定理结论(1),\(h(T)\)就是\(g(\theta)\)的UMVUE。

示例:例3.2.3中,完备充分统计量是\(X_{(n)}\),构造\(h(X_{(n)})=\frac{n+1}{n}X_{(n)}\),其期望为\(\theta\),因此它就是\(\theta\)的UMVUE。

方法2:条件期望法(Rao-Blackwell化)

  1. 找到参数\(\theta\)的完备充分统计量\(T(X)\)
  2. 先找\(g(\theta)\)的任意一个简单无偏估计\(\tilde{g}(X)\)(通常取仅依赖单个样本的估计量);
  3. 计算条件期望\(\hat{g}(X)=\mathbb{E}_\theta[\tilde{g}(X)|T]\),由定理结论(2),该结果就是\(g(\theta)\)的UMVUE。

示例:仍以\(X_1,\dots,X_n \sim U(0,\theta)\)为例,取简单无偏估计\(\tilde{g}(X)=2X_1\),计算条件期望\(\mathbb{E}[2X_1 | X_{(n)}=t]=\frac{n+1}{n}t\),因此\(\hat{g}(X)=\frac{n+1}{n}X_{(n)}\),与直接构造法结果一致,即为\(\theta\)的UMVUE。


六、知识点完整归纳总结

模块 核心内容 关键结论与要点
基础概念 无偏估计 满足\(\mathbb{E}_\theta[\hat{g}]=g(\theta), \forall \theta\in\Theta\),无系统性偏差,要求处处无偏
充分统计量 给定\(T\)时样本条件分布与\(\theta\)无关,包含样本关于\(\theta\)的全部信息,因子分解定理判定
完备统计量 \(\mathbb{E}_\theta[h(T)]=0,\forall\theta\),则\(h(T)=0 \ \text{a.e.}\),保证基于\(T\)的无偏估计唯一
完备充分统计量 同时满足充分性与完备性,是Lehmann-Scheffe定理的核心对象
损失与风险 凸损失:平方损失(严凸)、绝对值损失(凸非严凸);风险是损失的期望,平方损失下风险即方差
UMRUE/UMVUE UMRUE:无偏估计类中风险最小;UMVUE:平方损失下的UMRUE,无偏估计类中方差最小
核心引理 唯一性引理 条件:\(T\)完备,\(\varphi_1(T),\varphi_2(T)\)均为\(g(\theta)\)的无偏估计
结论:\(\varphi_1(T)=\varphi_2(T) \ \text{a.e.}\),基于完备统计量的无偏估计唯一
最优性引理 条件:\(\tilde{g}\)无偏,\(T\)充分,\(L\)凸,$\hat{g}=\mathbb{E}[\tilde
Lehmann-Scheffe定理 结论(1) 条件:\(T\)是完备充分统计量,\(\hat{g}=h(T)\)\(g(\theta)\)的无偏估计
结论:\(\hat{g}\)\(g(\theta)\)的UMRUE
结论(2) 条件:\(T\)是完备充分统计量,\(\tilde{g}\)是任意无偏估计,$\hat{g}=\mathbb{E}[\tilde
结论(3) 条件:\(L\)严凸,\(g(\theta)\)的UMRUE存在
结论:UMRUE必为\(T\)的函数,且几乎处处唯一
实用方法 直接构造法 1. 找完备充分统计量\(T\);2. 构造\(T\)的无偏函数\(h(T)\);3. \(h(T)\)即为UMVUE
条件期望法 1. 找完备充分统计量\(T\);2. 找简单无偏估计\(\tilde{g}\);3. 计算$\mathbb{E}[\tilde
易错点提醒 完备性+充分性缺一不可 仅充分无完备:无法保证估计量是最小风险;仅完备无充分:无法保证估计量最优
无偏性要求 必须处处无偏,仅对部分\(\theta\)无偏无法应用定理
最优性范围 UMVUE是无偏估计类中的最优,有偏估计可能有更小的均方误差

补充说明

对于指数族分布,我们有通用的完备充分统计量判定方法:自然指数族\(f(x;\theta)=C(\theta)\exp\left\{\sum_{i=1}^k Q_i(\theta)T_i(x)\right\}h(x)\),若参数空间\(\Theta\)包含内点,则\(T(X)=(T_1(X),\dots,T_k(X))\)就是完备充分统计量,这是实际应用中寻找完备充分统计量的最常用方法。



Lehmann-Scheffe定理例题 深度讲解与完整推导

作为参数估计的核心应用,Lehmann-Scheffe定理的价值完全体现在各类分布的UMRUE/UMVUE求解中。我将以60余年的教研经验,从方法本质、逐题完整推导、细节补全、逻辑拆解四个维度,把所有例题讲透,最后用表格归纳所有核心结论。


一、先回顾:Lehmann-Scheffe定理的核心逻辑与求解方法

所有例题的求解都完全遵循定理的核心结论,我们先把底层逻辑讲透,避免陷入无意义的公式计算。

定理核心结论

\(T(X)\)是参数\(\theta\)完备充分统计量,则:

  1. 任何基于\(T\)的无偏估计\(\hat{g}(T)\),都是\(g(\theta)\)一致最小风险无偏估计(UMRUE)
  2. 平方损失下,UMRUE就是一致最小方差无偏估计(UMVUE),且几乎处处唯一。

两种标准求解方法的本质

方法 核心逻辑 适用场景 通用步骤
直接法 直接构造完备充分统计量\(T\)的函数\(h(T)\),使其满足无偏性\(E[h(T)]=g(\theta)\) 待估函数形式简单,容易通过期望变形构造无偏估计 1. 找完备充分统计量\(T\);2. 构造\(h(T)\)并验证无偏性;3. 由定理得UMRUE
条件期望法 先找一个简单无偏估计,再对完备充分统计量\(T\)求条件期望,得到最优估计 待估函数形式复杂,直接构造无偏函数困难 1. 找完备充分统计量\(T\);2. 构造简单无偏估计\(\tilde{g}\);3. 计算\(E[\tilde{g}|T]\);4. 由定理得UMRUE

核心提醒:所有例题的第一步,永远是找到并验证完备充分统计量,这是Lehmann-Scheffe定理应用的前提,也是教材中最容易省略的关键步骤。


二、例题逐题详细讲解与完整推导

例3.2.4 基础指数族分布的UMRUE

题目:设\(X_1,\dots,X_n \stackrel{i.i.d.}{\sim}\) 以下分布,求对应参数的UMRUE:
(1) \(X_1 \sim b(1,\theta)\)(伯努利分布),待估参数\(\theta\)
(2) \(X_1 \sim P(\lambda)\)(泊松分布),待估参数\(\lambda\)
(3) \(X_1 \sim N(\mu,1)\)(方差已知的正态分布),待估参数\(\mu\)

完整推导与讲解

步骤1:确定完备充分统计量

这三个分布都属于自然指数族分布,对于指数族分布,若参数空间包含内点,则其自然充分统计量就是完备充分统计量。

(1) 伯努利分布\(b(1,\theta)\)
样本联合概率质量函数为:

\[f(x;\theta)=(1-\theta)^n \cdot \exp\left\{ \ln\left(\frac{\theta}{1-\theta}\right) \cdot \sum_{i=1}^n x_i \right\} \]

自然充分统计量为\(T=\sum_{i=1}^n X_i\),参数空间\(\Theta=(0,1)\)包含内点,因此\(T\)\(\theta\)的完备充分统计量,样本均值\(\bar{X}=\frac{1}{n}T\)\(T\)的一一对应函数,也是完备充分统计量。

(2) 泊松分布\(P(\lambda)\)
样本联合概率质量函数为:

\[f(x;\lambda)=e^{-n\lambda} \cdot \exp\left\{ \ln\lambda \cdot \sum_{i=1}^n x_i \right\} \cdot \prod_{i=1}^n \frac{1}{x_i!} \]

自然充分统计量为\(T=\sum_{i=1}^n X_i\),参数空间\(\Theta=(0,+\infty)\)包含内点,因此\(T\)\(\lambda\)的完备充分统计量,\(\bar{X}=\frac{1}{n}T\)也是完备充分统计量。

(3) 正态分布\(N(\mu,1)\)
样本联合概率密度为:

\[f(x;\mu)=(2\pi)^{-n/2}e^{-\frac{n\mu^2}{2}} \cdot \exp\left\{ \mu \cdot \sum_{i=1}^n x_i \right\} \cdot e^{-\frac{1}{2}\sum x_i^2} \]

自然充分统计量为\(T=\sum_{i=1}^n X_i\),参数空间\(\Theta=(-\infty,+\infty)\)包含内点,因此\(T\)\(\mu\)的完备充分统计量,\(\bar{X}=\frac{1}{n}T\)也是完备充分统计量。

步骤2:验证无偏性

(1) 伯努利分布:\(E(X_1)=\theta\),因此\(E(\bar{X})=\frac{1}{n}\sum E(X_i)=\theta\)\(\bar{X}\)\(\theta\)的无偏估计;
(2) 泊松分布:\(E(X_1)=\lambda\),因此\(E(\bar{X})=\lambda\)\(\bar{X}\)\(\lambda\)的无偏估计;
(3) 正态分布:\(E(X_1)=\mu\),因此\(E(\bar{X})=\mu\)\(\bar{X}\)\(\mu\)的无偏估计。

步骤3:最终结论

\(\bar{X}\)是完备充分统计量,且是待估参数的无偏估计,由Lehmann-Scheffe定理,\(\bar{X}\)分别是\(\theta、\lambda、\mu\)的UMRUE。

教学提醒:这个例题是定理最基础的应用,核心是让大家理解:指数族分布的位置参数,样本均值本身就是完备充分统计量+无偏估计,因此直接就是UMRUE


例3.2.5 均匀分布\(R(0,\theta)\)的UMRUE

题目:设\(X_1,\dots,X_n \stackrel{i.i.d.}{\sim} R(0,\theta)\)(均匀分布,也记\(U(0,\theta)\)),
(1) 求\(\theta\)\(\theta^{-1}\)的UMRUE;
(2) 求任意可导函数\(g(\theta)\)的UMRUE。

完整推导与讲解

均匀分布\(R(0,\theta)\)的概率密度为:\(f(x;\theta)=\frac{1}{\theta}I\{0<x<\theta\}\)\(I\{\cdot\}\)为示性函数。

步骤1:确定完备充分统计量
  • 充分性验证(因子分解定理)
    样本联合密度为:

    \[f(x;\theta)=\prod_{i=1}^n \frac{1}{\theta}I\{0<x_i<\theta\} = \frac{1}{\theta^n} I\{X_{(n)}<\theta\} \cdot I\{\min X_i>0\} \]

    其中\(X_{(n)}=\max\{X_1,\dots,X_n\}\)是样本最大值。联合密度可分解为\(g(T;\theta)\cdot h(x)\),其中\(g(T;\theta)=\frac{1}{\theta^n}I\{T<\theta\}\)仅通过\(T=X_{(n)}\)依赖样本,\(h(x)=I\{\min X_i>0\}\)\(\theta\)无关,因此\(T=X_{(n)}\)\(\theta\)的充分统计量。

  • 完备性验证
    \(T=X_{(n)}\)的概率密度为:\(f_T(t;\theta)=\frac{n t^{n-1}}{\theta^n} I\{0<t<\theta\}\)(分布函数\(F_T(t)=(t/\theta)^n\),求导得密度)。
    对任意可测函数\(h(T)\),若\(E_\theta[h(T)]=0\)对所有\(\theta>0\)成立,即:

    \[\int_0^\theta h(t) \cdot \frac{n t^{n-1}}{\theta^n} dt = 0 \implies n\int_0^\theta h(t) t^{n-1} dt = 0, \forall \theta>0 \]

    \(\theta\)求导得\(n h(\theta) \theta^{n-1}=0\),即\(h(\theta)=0\) a.e.,因此\(T=X_{(n)}\)是完备统计量。

综上,\(T=X_{(n)}\)\(\theta\)完备充分统计量


(1) 求\(\theta\)\(\theta^{-1}\)的UMRUE
\(\theta\)的UMRUE

计算\(T\)的期望:

\[E_\theta(T) = \int_0^\theta t \cdot \frac{n t^{n-1}}{\theta^n} dt = \frac{n}{\theta^n} \cdot \frac{\theta^{n+1}}{n+1} = \frac{n}{n+1}\theta \]

变形得到无偏估计:

\[E\left( \frac{n+1}{n} T \right) = \theta \]

因此\(\hat{\theta}=\frac{n+1}{n}X_{(n)}\)是完备充分统计量的函数,且是\(\theta\)的无偏估计。由Lehmann-Scheffe定理,\(\hat{\theta}=\frac{n+1}{n}X_{(n)}\)\(\theta\)的UMRUE。

\(\theta^{-1}\)的UMRUE

教材直接给出了结果,这里补全推导(要求\(n\geq2\),否则期望不存在):

\[E_\theta(T^{-1}) = \int_0^\theta \frac{1}{t} \cdot \frac{n t^{n-1}}{\theta^n} dt = \frac{n}{\theta^n} \int_0^\theta t^{n-2} dt = \frac{n}{\theta^n} \cdot \frac{\theta^{n-1}}{n-1} = \frac{n}{n-1}\theta^{-1} \]

变形得到无偏估计:

\[E\left( \frac{n-1}{n} T^{-1} \right) = \theta^{-1} \]

因此\(\widehat{\theta^{-1}}=\frac{n-1}{n}X_{(n)}^{-1}\)\(\theta^{-1}\)的UMRUE。


(2) 求可导函数\(g(\theta)\)的UMRUE

\(g(\theta)\)的UMRUE为\(h(T)\),由无偏性要求:

\[E_\theta[h(T)] = g(\theta), \forall \theta>0 \]

代入\(T\)的密度,得到积分方程:

\[\int_0^\theta h(t) \cdot \frac{n t^{n-1}}{\theta^n} dt = g(\theta) \implies n\int_0^\theta h(t) t^{n-1} dt = \theta^n g(\theta), \forall \theta>0 \]

对等式两边关于\(\theta\)求导(左边变上限积分求导,右边乘积求导):

  • 左边:\(\frac{d}{d\theta}\left(n\int_0^\theta h(t)t^{n-1}dt\right) = n h(\theta) \theta^{n-1}\)
  • 右边:\(\frac{d}{d\theta}\left(\theta^n g(\theta)\right) = n\theta^{n-1}g(\theta) + \theta^n g'(\theta)\)

等式两边除以\(\theta^{n-1}\),化简得:

\[n h(\theta) = n g(\theta) + \theta g'(\theta) \implies h(\theta) = g(\theta) + \frac{1}{n}\theta g'(\theta) \]

\(\theta\)替换为\(T=X_{(n)}\),得到\(g(\theta)\)的UMRUE:

\[\widehat{g(\theta)} = g(X_{(n)}) + \frac{1}{n} X_{(n)} g'(X_{(n)}) \]

验证:代入\(g(\theta)=\theta\),得\(\hat{g}=\frac{n+1}{n}X_{(n)}\);代入\(g(\theta)=\theta^{-1}\),得\(\hat{g}=\frac{n-1}{n}X_{(n)}^{-1}\),和(1)的结果完全一致,验证了公式的正确性。


例3.2.6 伯努利分布方差的UMRUE

题目:设\(X_1,\dots,X_n \stackrel{i.i.d.}{\sim} b(1,\theta)\),求\(\sigma^2(\theta)=\theta(1-\theta)\)的UMRUE。

完整推导与讲解

步骤1:确定完备充分统计量

和例3.2.4一致,伯努利分布的完备充分统计量为\(T=\sum_{i=1}^n X_i \sim b(n,\theta)\)(二项分布)。

步骤2:待定系数法构造无偏估计

待估函数\(\sigma^2(\theta)=\theta-\theta^2\)\(\theta\)的二次多项式,而二项分布的一阶矩、二阶矩都是\(\theta\)的多项式,因此设无偏估计为\(\varphi(T)=\alpha T + \beta T^2\)\(\alpha、\beta\)为待定系数)。

首先计算\(T\)的矩:

  • 一阶矩:\(E(T)=n\theta\)
  • 二阶矩:\(E(T^2)=\text{Var}(T)+[E(T)]^2 = n\theta(1-\theta) + n^2\theta^2\)

因此\(\varphi(T)\)的期望为:

\[E[\varphi(T)] = \alpha n\theta + \beta\left(n\theta(1-\theta)+n^2\theta^2\right) = n(\alpha+\beta)\theta + n\beta(n-1)\theta^2 \]

要求\(E[\varphi(T)]=\theta-\theta^2\),因此同次项系数必须相等,得到方程组:

  1. 一次项:\(n(\alpha+\beta)=1\)
  2. 二次项:\(n\beta(n-1)=-1\)
步骤3:解方程组得UMRUE

解第二个方程得:\(\beta=-\frac{1}{n(n-1)}\)
代入第一个方程得:\(\alpha=\frac{1}{n-1}\)

因此无偏估计为:

\[\varphi(T) = \frac{1}{n-1}T - \frac{1}{n(n-1)}T^2 = \frac{1}{n(n-1)}(nT-T^2) \]

\(\varphi(T)\)是完备充分统计量的函数,且无偏,由Lehmann-Scheffe定理,\(\widehat{\sigma^2}=\frac{1}{n(n-1)}(nT-T^2)\)\(\sigma^2(\theta)\)的UMRUE。

补充验证:样本方差\(S^2=\frac{1}{n-1}\sum(X_i-\bar{X})^2\),展开后恰好等于\(\frac{1}{n(n-1)}(nT-T^2)\),说明样本方差就是伯努利分布方差的UMVUE,符合我们的直观认知。


例3.2.7 异方差正态分布的UMRUE

题目:设\(X_1,\dots,X_n\)相互独立,\(X_j \sim N(0,\sigma^2), j\neq i\),求:
(1) 若\(X_i \sim N(\gamma,\sigma^2)\),求\(\gamma、\sigma^2\)的UMRUE;
(2) 若\(X_i \sim N(0,\omega\sigma^2) (n>3)\),求\(\sigma^2、\omega\)的UMRUE。

完整推导与讲解

这个例题的核心是:样本非同分布,需先找到完备充分统计量,再利用\(\chi^2\)分布的性质构造无偏估计


(1) 情形1:\(X_i \sim N(\gamma,\sigma^2)\),其余\(X_j \sim N(0,\sigma^2)\)
步骤1:确定完备充分统计量

样本联合密度为:

\[f(x;\gamma,\sigma^2) = (2\pi\sigma^2)^{-n/2} e^{-\frac{\gamma^2}{2\sigma^2}} \cdot \exp\left\{ -\frac{1}{2\sigma^2}\sum_{j=1}^n x_j^2 + \frac{\gamma}{\sigma^2}x_i \right\} \]

这是自然指数族,自然充分统计量为\(T=\left(\sum_{j=1}^n X_j^2, X_i\right)\),参数空间包含内点,因此\(T\)是完备充分统计量。令\(T_1=\sum_{j\neq i}X_j^2\),则\((T_1,X_i)\)也是完备充分统计量。

步骤2:构造无偏估计
  • \(\gamma\)的UMRUE:\(E(X_i)=\gamma\)\(X_i\)是完备充分统计量的函数且无偏,因此\(\hat{\gamma}=X_i\)\(\gamma\)的UMRUE。
  • \(\sigma^2\)的UMRUE:\(\frac{T_1}{\sigma^2}=\sum_{j\neq i}\frac{X_j^2}{\sigma^2} \sim \chi^2(n-1)\)\(\chi^2(k)\)的期望为\(k\),因此\(E\left(\frac{T_1}{n-1}\right)=\sigma^2\),故\(\widehat{\sigma^2}=\frac{1}{n-1}\sum_{j\neq i}X_j^2\)\(\sigma^2\)的UMRUE。

(2) 情形2:\(X_i \sim N(0,\omega\sigma^2)\),其余\(X_j \sim N(0,\sigma^2)\)\(n>3\)
步骤1:确定完备充分统计量

样本联合密度为:

\[f(x;\omega,\sigma^2) = (2\pi\sigma^2)^{-n/2}\omega^{-1/2} \cdot \exp\left\{ -\frac{1}{2\sigma^2}\sum_{j\neq i}x_j^2 - \frac{1}{2\omega\sigma^2}x_i^2 \right\} \]

自然充分统计量为\(T=\left(\sum_{j\neq i}X_j^2, X_i^2\right)\),参数空间包含内点,因此\(T\)是完备充分统计量。令\(T_1=\sum_{j\neq i}X_j^2\),则\(\frac{T_1}{\sigma^2}\sim\chi^2(n-1)\)\(\frac{X_i^2}{\omega\sigma^2}\sim\chi^2(1)\),且\(T_1\)\(X_i^2\)独立。

步骤2:构造无偏估计
  • \(\sigma^2\)的UMRUE:和情形1一致,\(\widehat{\sigma^2}=\frac{1}{n-1}T_1\)
  • \(\omega\)的UMRUE:首先用到\(\chi^2\)分布的核心性质:若\(Y\sim\chi^2(k)\),则\(k>2\)时,\(E(Y^{-1})=\frac{1}{k-2}\)
    题目中\(n>3\),因此\(n-1>2\),满足条件,故:

    \[E\left( \left(\frac{T_1}{\sigma^2}\right)^{-1} \right) = \frac{1}{n-3} \implies E\left( \frac{n-3}{T_1} \right) = \sigma^{-2} \]

    \(E(X_i^2)=\omega\sigma^2\),且\(X_i^2\)\(T_1\)独立,因此:

    \[E\left( X_i^2 \cdot \frac{n-3}{T_1} \right) = E(X_i^2)E\left( \frac{n-3}{T_1} \right) = \omega\sigma^2 \cdot \sigma^{-2} = \omega \]

    因此\(\hat{\omega}=\frac{(n-3)X_i^2}{\sum_{j\neq i}X_j^2}\)\(\omega\)的UMRUE。

例3.2.8 正态分布\(N(\mu,\sigma^2)\)的UMRUE

题目:设\(X_1,\dots,X_n \stackrel{i.i.d.}{\sim} N(\mu,\sigma^2)\),求以下参数的UMRUE:
(1) \(\mu, \sigma^2\);(2) \(\mu^2, \mu^3\);(3) \(\sigma, \sigma^k, \mu/\sigma\)\(n>2\));(4) \(p\)分位数\(x_p=\mu+z_p\sigma\)

完整推导与讲解

步骤1:确定完备充分统计量

正态分布的样本联合密度为:

\[f(x;\mu,\sigma^2) = (2\pi\sigma^2)^{-n/2}e^{-\frac{n\mu^2}{2\sigma^2}} \cdot \exp\left\{ \frac{\mu}{\sigma^2}\sum X_i - \frac{1}{2\sigma^2}\sum X_i^2 \right\} \]

自然充分统计量为\(T=\left(\sum X_i, \sum X_i^2\right)\),参数空间包含内点,因此\(T\)是完备充分统计量。样本均值\(\bar{X}=\frac{1}{n}\sum X_i\)、样本方差\(S^2=\frac{1}{n-1}\sum(X_i-\bar{X})^2\)\(T\)的一一对应函数,因此\((\bar{X},S^2)\)也是\((\mu,\sigma^2)\)完备充分统计量

同时,正态分布有两个核心性质,后续推导反复用到:

  1. \(\bar{X} \sim N\left(\mu, \frac{\sigma^2}{n}\right)\)\(\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)\)
  2. \(\bar{X}\)\(S^2\)相互独立。

(1) \(\mu、\sigma^2\)的UMRUE
  • \(\mu\)的UMRUE:\(E(\bar{X})=\mu\),因此\(\hat{\mu}=\bar{X}\)\(\mu\)的UMRUE;
  • \(\sigma^2\)的UMRUE:\(E(S^2)=\sigma^2\),因此\(\widehat{\sigma^2}=S^2\)\(\sigma^2\)的UMRUE。

(2) \(\mu^2、\mu^3\)的UMRUE
\(\mu^2\)的UMRUE

计算\(\bar{X}^2\)的期望:

\[E(\bar{X}^2) = \text{Var}(\bar{X}) + [E(\bar{X})]^2 = \frac{\sigma^2}{n} + \mu^2 \]

我们需要消去\(\frac{\sigma^2}{n}\),而\(E\left(\frac{S^2}{n}\right)=\frac{\sigma^2}{n}\),因此构造估计量:

\[\widehat{\mu^2} = \bar{X}^2 - \frac{S^2}{n} \]

其期望为\(E\left(\bar{X}^2 - \frac{S^2}{n}\right)=\mu^2\),因此是\(\mu^2\)的UMRUE。

\(\mu^3\)的UMRUE

\(\bar{Y}=\bar{X}-\mu \sim N(0,\sigma^2/n)\),则\(\bar{X}=\bar{Y}+\mu\),展开\(\bar{X}^3\)

\[\bar{X}^3 = (\bar{Y}+\mu)^3 = \bar{Y}^3 + 3\bar{Y}^2\mu + 3\bar{Y}\mu^2 + \mu^3 \]

正态分布的奇数阶中心矩为0,即\(E(\bar{Y})=E(\bar{Y}^3)=0\)\(E(\bar{Y}^2)=\frac{\sigma^2}{n}\),因此:

\[E(\bar{X}^3) = 3\mu \cdot \frac{\sigma^2}{n} + \mu^3 \]

利用\(\bar{X}\)\(S^2\)独立,\(E(\bar{X}S^2)=E(\bar{X})E(S^2)=\mu\sigma^2\),因此构造估计量:

\[\widehat{\mu^3} = \bar{X}^3 - \frac{3\bar{X}S^2}{n} \]

其期望为\(\mu^3\),因此是\(\mu^3\)的UMRUE。


(3) \(\sigma、\sigma^k、\mu/\sigma\)的UMRUE

这里的核心是:\(S^2\)\(\sigma^2\)的无偏估计,但\(S\)不是\(\sigma\)的无偏估计,需要通过\(\Gamma\)函数修正。

首先推导\(\sigma^k\)的通用公式:
已知\(\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1) = \Gamma\left(\frac{n-1}{2},\frac{1}{2}\right)\),Gamma分布\(\Gamma(\alpha,\lambda)\)\(k\)阶矩为\(E(Y^k)=\frac{\Gamma(\alpha+k)}{\lambda^k \Gamma(\alpha)}\)

\(Y=\frac{(n-1)S^2}{\sigma^2}\),则\(Y^{k/2}=\frac{(n-1)^{k/2}S^k}{\sigma^k}\),因此:

\[E(Y^{k/2}) = \frac{\Gamma\left(\frac{n+k-1}{2}\right) \cdot 2^{k/2}}{\Gamma\left(\frac{n-1}{2}\right)} \]

变形得到\(E(S^k)\)

\[E(S^k) = \sigma^k \cdot \frac{\Gamma\left(\frac{n+k-1}{2}\right) \cdot 2^{k/2}}{\Gamma\left(\frac{n-1}{2}\right) \cdot (n-1)^{k/2}} \]

因此,\(\sigma^k\)的UMRUE为:

\[\widehat{\sigma^k} = \frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n+k-1}{2}\right)} \cdot 2^{-k/2} \cdot (\sqrt{n-1}S)^k \]

要求\(n+k-1>0\),保证\(\Gamma\)函数有意义。


\(\sigma\)的UMRUE

\(k=1\),代入通用公式,记修正系数\(K(n)=\sqrt{\frac{n-1}{2}} \cdot \frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}\),则\(\hat{\sigma}=K(n)S\),是\(\sigma\)的UMRUE。

\(\sigma^{-1}\)的UMRUE

\(k=-1\)\(n>2\)),代入得\(\widehat{\sigma^{-1}}=\frac{n-2}{n-1}K(n)S^{-1}\)

③ 信噪比\(\mu/\sigma\)的UMRUE

\(\bar{X}\)\(S\)独立,因此:

\[E\left( \bar{X} \cdot \frac{n-2}{n-1}K(n)S^{-1} \right) = E(\bar{X})E\left(\frac{n-2}{n-1}K(n)S^{-1}\right) = \mu \cdot \sigma^{-1} = \frac{\mu}{\sigma} \]

因此\(\widehat{\mu/\sigma}=\frac{n-2}{n-1}K(n)\cdot\frac{\bar{X}}{S}\)是信噪比的UMRUE。


(4) \(p\)分位数\(x_p=\mu+z_p\sigma\)的UMRUE

\(p\)分位数满足\(P(X_1\leq x_p)=p\),标准化得\(\frac{x_p-\mu}{\sigma}=z_p\)\(z_p\)是标准正态分布的\(p\)分位数,已知常数),因此\(x_p=\mu+z_p\sigma\)

构造估计量\(\hat{x}_p=\bar{X} + K(n)S z_p\),其期望为:

\[E(\hat{x}_p)=E(\bar{X}) + z_p K(n)E(S) = \mu + z_p \sigma = x_p \]

因此\(\hat{x}_p=\bar{X} + K(n)S z_p\)\(p\)分位数的UMRUE。


例3.2.9 平移Gamma分布的UMRUE

题目:设\(X_1,\dots,X_n \stackrel{i.i.d.}{\sim} \mu + \Gamma(\lambda,1)\)\(X_i-\mu \sim \text{Exp}(\lambda)\),平移指数分布),求以下参数的UMRUE:
(1) \(\mu\);(2) \(\lambda、\lambda^{-1}\);(3) \(\lambda\mu\);(4) \(\lambda^2\);(5) \(\mu/\lambda\)

完整推导与讲解

步骤1:确定完备充分统计量

平移Gamma分布的完备充分统计量为\(T=(X_{(1)}, S)\),其中:

  • \(X_{(1)}=\min\{X_1,\dots,X_n\}\)(样本最小值),\(X_{(1)} \sim \mu + \Gamma(n\lambda,1)\)
  • \(S=\sum_{i=1}^n (X_i - X_{(1)})\)\(S \sim \Gamma(\lambda, n-1)\)
  • \(X_{(1)}\)\(S\)相互独立。

教材给出核心期望结果:

  1. \(E(X_{(1)})=\mu + \frac{1}{n\lambda}\)
  2. \(E(S)=\frac{n-1}{\lambda}\)\(E(S^{-1})=\frac{\lambda}{n-2}\)\(n>2\)),\(E(S^{-2})=\frac{\lambda^2}{(n-2)(n-3)}\)\(n>3\))。

各参数UMRUE的推导

(1) \(\mu\)的UMRUE:
\(E(X_{(1)})=\mu + \frac{1}{n\lambda}\)\(E\left(\frac{S}{n(n-1)}\right)=\frac{1}{n\lambda}\),因此:

\[E\left( X_{(1)} - \frac{S}{n(n-1)} \right) = \mu \]

\(\hat{\mu}=X_{(1)} - \frac{S}{n(n-1)}\)\(\mu\)的UMRUE。

(2) \(\lambda、\lambda^{-1}\)的UMRUE:

  • \(\lambda^{-1}\)\(E\left(\frac{S}{n-1}\right)=\frac{1}{\lambda}\),故\(\widehat{\lambda^{-1}}=\frac{S}{n-1}\)
  • \(\lambda\)\(E\left((n-2)S^{-1}\right)=\lambda\),故\(\hat{\lambda}=(n-2)S^{-1}\)\(n>2\))。

(3) \(\lambda\mu\)的UMRUE:
\(X_{(1)}\)\(S\)独立,因此:

\[E[X_{(1)}S^{-1}] = E(X_{(1)})E(S^{-1}) = \left(\mu+\frac{1}{n\lambda}\right)\cdot\frac{\lambda}{n-2} = \frac{\lambda\mu}{n-2} + \frac{1}{n(n-2)} \]

变形得:

\[E\left( (n-2)X_{(1)}S^{-1} - \frac{1}{n} \right) = \lambda\mu \]

\(\widehat{\lambda\mu}=(n-2)X_{(1)}S^{-1} - \frac{1}{n}\)\(\lambda\mu\)的UMRUE。

(4) \(\lambda^2\)的UMRUE:
\(E\left((n-2)(n-3)S^{-2}\right)=\lambda^2\),故\(\widehat{\lambda^2}=(n-2)(n-3)S^{-2}\)\(n>3\))。

(5) \(\mu/\lambda\)的UMRUE:

\[E[X_{(1)}S] = E(X_{(1)})E(S) = \left(\mu+\frac{1}{n\lambda}\right)\cdot\frac{n-1}{\lambda} = \frac{(n-1)\mu}{\lambda} + \frac{n-1}{n\lambda^2} \]

\(E(S^2)=\frac{n(n-1)}{\lambda^2}\),因此\(E\left(\frac{S^2}{n^2(n-1)}\right)=\frac{1}{n\lambda^2}\),构造估计量:

\[E\left( \frac{X_{(1)}S}{n-1} - \frac{S^2}{n^2(n-1)} \right) = \frac{\mu}{\lambda} \]

\(\widehat{\mu/\lambda}=\frac{1}{n-1}\left(X_{(1)}S - \frac{S^2}{n^2}\right)\)\(\mu/\lambda\)的UMRUE。


三、所有例题核心结论归纳总结表

例题编号 分布类型 待估参数 完备充分统计量 UMRUE(UMVUE) 适用条件
例3.2.4(1) 伯努利分布\(b(1,\theta)\) \(\theta\) \(\bar{X}\)(或\(\sum X_i\) \(\hat{\theta}=\bar{X}\) -
例3.2.4(2) 泊松分布\(P(\lambda)\) \(\lambda\) \(\bar{X}\)(或\(\sum X_i\) \(\hat{\lambda}=\bar{X}\) -
例3.2.4(3) 正态分布\(N(\mu,1)\) \(\mu\) \(\bar{X}\)(或\(\sum X_i\) \(\hat{\mu}=\bar{X}\) -
例3.2.5(1) 均匀分布\(R(0,\theta)\) \(\theta\) \(X_{(n)}=\max X_i\) \(\hat{\theta}=\frac{n+1}{n}X_{(n)}\) -
例3.2.5(1) 均匀分布\(R(0,\theta)\) \(\theta^{-1}\) \(X_{(n)}\) \(\widehat{\theta^{-1}}=\frac{n-1}{n}X_{(n)}^{-1}\) \(n\geq2\)
例3.2.5(2) 均匀分布\(R(0,\theta)\) 可导函数\(g(\theta)\) \(X_{(n)}\) \(\widehat{g(\theta)}=g(X_{(n)})+\frac{1}{n}X_{(n)}g'(X_{(n)})\) \(g(\theta)\)可导
例3.2.6 伯努利分布\(b(1,\theta)\) \(\sigma^2=\theta(1-\theta)\) \(T=\sum X_i\) \(\widehat{\sigma^2}=\frac{1}{n(n-1)}(nT-T^2)=S^2\) -
例3.2.7(1) 异方差正态\(X_i\sim N(\gamma,\sigma^2),X_j\sim N(0,\sigma^2)\) \(\gamma\) \((\sum_{j\neq i}X_j^2,X_i)\) \(\hat{\gamma}=X_i\) -
例3.2.7(1) 同上 \(\sigma^2\) \((\sum_{j\neq i}X_j^2,X_i)\) \(\widehat{\sigma^2}=\frac{1}{n-1}\sum_{j\neq i}X_j^2\) -
例3.2.7(2) 异方差正态\(X_i\sim N(0,\omega\sigma^2),X_j\sim N(0,\sigma^2)\) \(\sigma^2\) \((\sum_{j\neq i}X_j^2,X_i^2)\) \(\widehat{\sigma^2}=\frac{1}{n-1}\sum_{j\neq i}X_j^2\) -
例3.2.7(2) 同上 \(\omega\) \((\sum_{j\neq i}X_j^2,X_i^2)\) \(\hat{\omega}=\frac{(n-3)X_i^2}{\sum_{j\neq i}X_j^2}\) \(n>3\)
例3.2.8(1) 正态分布\(N(\mu,\sigma^2)\) \(\mu\) \((\bar{X},S^2)\) \(\hat{\mu}=\bar{X}\) -
例3.2.8(1) 正态分布\(N(\mu,\sigma^2)\) \(\sigma^2\) \((\bar{X},S^2)\) \(\widehat{\sigma^2}=S^2\) -
例3.2.8(2) 正态分布\(N(\mu,\sigma^2)\) \(\mu^2\) \((\bar{X},S^2)\) \(\widehat{\mu^2}=\bar{X}^2-\frac{S^2}{n}\) -
例3.2.8(2) 正态分布\(N(\mu,\sigma^2)\) \(\mu^3\) \((\bar{X},S^2)\) \(\widehat{\mu^3}=\bar{X}^3-\frac{3\bar{X}S^2}{n}\) -
例3.2.8(3) 正态分布\(N(\mu,\sigma^2)\) \(\sigma^k\) \((\bar{X},S^2)\) \(\widehat{\sigma^k}=\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n+k-1}{2}\right)}2^{-k/2}(\sqrt{n-1}S)^k\) \(n+k-1>0\)
例3.2.8(3) 正态分布\(N(\mu,\sigma^2)\) \(\sigma\) \((\bar{X},S^2)\) \(\hat{\sigma}=K(n)S,K(n)=\sqrt{\frac{n-1}{2}}\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}\) -
例3.2.8(3) 正态分布\(N(\mu,\sigma^2)\) \(\mu/\sigma\)(信噪比) \((\bar{X},S^2)\) \(\widehat{\mu/\sigma}=\frac{n-2}{n-1}K(n)\frac{\bar{X}}{S}\) \(n>2\)
例3.2.8(4) 正态分布\(N(\mu,\sigma^2)\) \(p\)分位数\(x_p=\mu+z_p\sigma\) \((\bar{X},S^2)\) \(\hat{x}_p=\bar{X}+K(n)S z_p\) -
例3.2.9(1) 平移Gamma分布\(\mu+\Gamma(\lambda,1)\) \(\mu\) \((X_{(1)},S=\sum(X_i-X_{(1)}))\) \(\hat{\mu}=X_{(1)}-\frac{S}{n(n-1)}\) -
例3.2.9(2) 平移Gamma分布\(\mu+\Gamma(\lambda,1)\) \(\lambda\) \((X_{(1)},S)\) \(\hat{\lambda}=(n-2)S^{-1}\) \(n>2\)
例3.2.9(2) 平移Gamma分布\(\mu+\Gamma(\lambda,1)\) \(\lambda^{-1}\) \((X_{(1)},S)\) \(\widehat{\lambda^{-1}}=\frac{S}{n-1}\) -
例3.2.9(3) 平移Gamma分布\(\mu+\Gamma(\lambda,1)\) \(\lambda\mu\) \((X_{(1)},S)\) \(\widehat{\lambda\mu}=(n-2)X_{(1)}S^{-1}-\frac{1}{n}\) \(n>2\)
例3.2.9(4) 平移Gamma分布\(\mu+\Gamma(\lambda,1)\) \(\lambda^2\) \((X_{(1)},S)\) \(\widehat{\lambda^2}=(n-2)(n-3)S^{-2}\) \(n>3\)
例3.2.9(5) 平移Gamma分布\(\mu+\Gamma(\lambda,1)\) \(\mu/\lambda\) \((X_{(1)},S)\) \(\widehat{\mu/\lambda}=\frac{1}{n-1}\left(X_{(1)}S-\frac{S^2}{n^2}\right)\) -

四、教学核心总结

所有例题的求解,都遵循Lehmann-Scheffe定理的四步通用流程,这也是求解UMRUE/UMVUE的万能方法:

  1. :找到待估参数对应的完备充分统计量(指数族用自然充分统计量,非指数族用因子分解定理+完备性定义验证);
  2. :构造完备充分统计量的函数,或找一个简单的无偏估计;
  3. :通过期望计算、待定系数法、积分方程求解等方式,验证估计量的无偏性;
  4. :由Lehmann-Scheffe定理,该估计量就是唯一的UMRUE(平方损失下为UMVUE)。

条件期望法求解UMRUE 深度讲解与完整推导

条件期望法是Lehmann-Scheffe定理最具实用价值的应用,专门解决直接构造无偏函数困难的估计问题。我将从方法本质、逐题完整推导、核心知识点拆解、结果验证四个维度,把所有例题讲透,最后用表格归纳核心结论。


一、先回顾:条件期望法的核心原理与通用流程

1. 方法的理论依据

根据Lehmann-Scheffe定理:
\(T(X)\)是参数\(\theta\)完备充分统计量\(\tilde{g}(X)\)是待估函数\(g(\theta)\)的任意一个无偏估计,则

\[\hat{g}(X) = \mathbb{E}[\tilde{g}(X) | T(X)] \]

必为\(g(\theta)\)一致最小风险无偏估计(UMRUE)

2. 方法的核心优势

当待估函数\(g(\theta)\)包含指数项、分布函数、非线性项时,直接构造完备充分统计量的无偏函数需要解复杂的积分/期望方程,难度极高。
而条件期望法可以绕开这个难题:我们只需要构造一个极其简单的无偏估计(通常是示性函数),再通过条件期望计算,就能直接得到最优估计。

3. 通用四步流程

  1. :确定待估参数的完备充分统计量\(T\)
  2. :构造简单无偏估计\(\tilde{g}\)(最常用示性函数,天然满足无偏性);
  3. :计算条件期望\(\hat{g}=\mathbb{E}[\tilde{g}|T]\),利用分布性质、Basu定理简化计算;
  4. :由Lehmann-Scheffe定理,\(\hat{g}\)即为UMRUE。

二、例题逐题详细讲解与完整推导

例3.2.10 泊松分布取指定值概率的UMRUE

题目:设\(X_1,\dots,X_n \stackrel{i.i.d.}{\sim} P(\lambda)\)(泊松分布),求\(\mu_k = P(X_1=k) = e^{-\lambda}\frac{\lambda^k}{k!}\)的UMRUE。

步骤1:为什么用条件期望法?

待估函数包含指数项\(e^{-\lambda}\),若用直接法,需要找\(\varphi(T)\)使得\(\mathbb{E}[\varphi(T)]=e^{-\lambda}\frac{\lambda^k}{k!}\),需要解泊松分布的无穷级数期望方程,计算复杂;而条件期望法可以轻松绕开这个问题。

步骤2:确定完备充分统计量

泊松分布是自然指数族,样本联合概率质量函数为:

\[f(x;\lambda) = e^{-n\lambda} \cdot \exp\left\{ \ln\lambda \cdot \sum_{i=1}^n x_i \right\} \cdot \prod_{i=1}^n \frac{1}{x_i!} \]

自然充分统计量为\(T=\sum_{i=1}^n X_i\),参数空间\(\lambda>0\)包含内点,因此\(T\)\(\lambda\)的完备充分统计量,且\(T \sim P(n\lambda)\)

步骤3:构造简单无偏估计

取示性函数:

\[\tilde{\mu}_k = I\{X_1 = k\} \]

其中\(I\{\cdot\}\)为示性函数,事件发生时取1,否则取0。
无偏性验证

\[\mathbb{E}[\tilde{\mu}_k] = \mathbb{E}[I\{X_1=k\}] = P(X_1=k) = \mu_k \]

完美满足无偏性,且构造极其简单。

步骤4:计算条件期望

示性函数的条件期望等于条件概率,因此:

\[\hat{\mu}_k = \mathbb{E}[\tilde{\mu}_k | T] = P\left(X_1=k \bigg| \sum_{i=1}^n X_i = T\right) \]

分情况计算条件概率
  • 边界情况:\(T < k\)
    若总和\(T < k\),则\(X_1\)不可能等于\(k\),因此条件概率为0,即\(\hat{\mu}_k=0\)

  • 常规情况:\(T \geq k\)
    根据条件概率定义:

    \[P\left(X_1=k \bigg| \sum_{i=1}^n X_i = t\right) = \frac{P\left(X_1=k, \sum_{i=1}^n X_i = t\right)}{P\left(\sum_{i=1}^n X_i = t\right)} \]

    分子利用独立性拆分:\(X_1\)\(X_2,\dots,X_n\)独立,因此

    \[P\left(X_1=k, \sum_{i=1}^n X_i = t\right) = P(X_1=k) \cdot P\left(\sum_{i=2}^n X_i = t-k\right) \]

    代入泊松分布的概率质量函数:

    • \(P(X_1=k) = e^{-\lambda}\frac{\lambda^k}{k!}\)
    • \(\sum_{i=2}^n X_i \sim P((n-1)\lambda)\),因此\(P\left(\sum_{i=2}^n X_i = t-k\right) = e^{-(n-1)\lambda}\frac{[(n-1)\lambda]^{t-k}}{(t-k)!}\)
    • 分母\(\sum_{i=1}^n X_i \sim P(n\lambda)\),因此\(P\left(\sum_{i=1}^n X_i = t\right) = e^{-n\lambda}\frac{(n\lambda)^t}{t!}\)

    分子分母代入后化简:

    \[\begin{align*} \text{分子} &= e^{-\lambda}\frac{\lambda^k}{k!} \cdot e^{-(n-1)\lambda}\frac{[(n-1)\lambda]^{t-k}}{(t-k)!} = e^{-n\lambda} \cdot \frac{(n-1)^{t-k} \lambda^t}{k! (t-k)!} \\ \text{分母} &= e^{-n\lambda}\frac{(n\lambda)^t}{t!} \end{align*} \]

    约去公共项\(e^{-n\lambda}\)\(\lambda^t\),最终得到:

    \[P\left(X_1=k \bigg| \sum_{i=1}^n X_i = t\right) = \binom{t}{k} \left( \frac{1}{n} \right)^k \left( 1-\frac{1}{n} \right)^{t-k} \]

    这正是二项分布\(b(k; t, 1/n)\)的概率质量函数。

步骤5:最终结果与验证

\(\mu_k\)的UMRUE为:

\[\hat{\mu}_k = \begin{cases} \dbinom{T}{k} \left( \dfrac{1}{n} \right)^k \left( 1-\dfrac{1}{n} \right)^{T-k}, & T \geq k \\ 0, & T < k \end{cases} \]

特殊情况验证(k=0)
\(k=0\)时,\(\mu_0=P(X_1=0)=e^{-\lambda}\),代入公式得\(\hat{\mu}_0=\left(1-\frac{1}{n}\right)^T\)
无偏性验证:泊松分布的矩生成函数为\(\mathbb{E}[a^T]=e^{n\lambda(a-1)}\),代入\(a=1-\frac{1}{n}\),得\(\mathbb{E}\left[\left(1-\frac{1}{n}\right)^T\right]=e^{n\lambda(-1/n)}=e^{-\lambda}\),完全符合无偏性。


例3.2.11 正态分布累积概率的UMRUE

题目:设\(X_1,\dots,X_n \stackrel{i.i.d.}{\sim} N(\mu,1)\)(方差已知的正态分布),\(\xi\)为已知常数,求\(p=P(X_1 \leq \xi)\)的UMRUE。

步骤1:为什么用条件期望法?

待估函数\(p=\Phi(\xi-\mu)\)\(\Phi(\cdot)\)为标准正态分布函数),是\(\mu\)的非线性函数。若用直接法,需要找\(\varphi(\bar{X})\)使得\(\mathbb{E}[\varphi(\bar{X})]=\Phi(\xi-\mu)\),需要解正态分布的积分方程,难度极大;条件期望法可以轻松解决。

步骤2:确定完备充分统计量

正态分布\(N(\mu,1)\)是自然指数族,样本联合密度为:

\[f(x;\mu) = (2\pi)^{-n/2}e^{-\frac{n\mu^2}{2}} \cdot \exp\left\{ \mu \cdot \sum_{i=1}^n x_i \right\} \cdot e^{-\frac{1}{2}\sum x_i^2} \]

自然充分统计量为\(\bar{X}=\frac{1}{n}\sum_{i=1}^n X_i\),参数空间\(\mu \in \mathbb{R}\)包含内点,因此\(\bar{X}\)\(\mu\)的完备充分统计量,且\(\bar{X} \sim N\left(\mu, \frac{1}{n}\right)\)

步骤3:构造简单无偏估计

取示性函数:

\[\tilde{p} = I\{X_1 \leq \xi\} \]

无偏性验证\(\mathbb{E}[\tilde{p}] = P(X_1 \leq \xi) = p\),天然无偏。

步骤4:计算条件期望(核心:Basu定理的应用)

首先,条件期望转化为条件概率:

\[\hat{p} = \mathbb{E}[\tilde{p} | \bar{X}] = P\left(X_1 \leq \xi \bigg| \bar{X} = \bar{x}\right) \]

关键变形与Basu定理

将条件概率变形:

\[P\left(X_1 \leq \xi \bigg| \bar{X} = \bar{x}\right) = P\left(X_1 - \bar{X} \leq \xi - \bar{x} \bigg| \bar{X} = \bar{x}\right) \]

Basu定理:完备充分统计量与辅助统计量(分布与未知参数无关的统计量)相互独立。

我们分析统计量\(Y=X_1 - \bar{X}\)

  1. 分布计算
    \(Y = X_1 - \frac{X_1+X_2+\dots+X_n}{n} = \frac{(n-1)X_1 - X_2 - \dots - X_n}{n}\)
    由于\(X_i\)独立正态,\(Y\)服从正态分布,计算期望和方差:

    • 期望:\(\mathbb{E}[Y] = \mathbb{E}[X_1] - \mathbb{E}[\bar{X}] = \mu - \mu = 0\)
    • 协方差:\(\text{Cov}(X_1, \bar{X}) = \frac{1}{n}\text{Var}(X_1) = \frac{1}{n}\)
    • 方差:\(\text{Var}(Y) = \text{Var}(X_1) + \text{Var}(\bar{X}) - 2\text{Cov}(X_1,\bar{X}) = 1 + \frac{1}{n} - \frac{2}{n} = \frac{n-1}{n}\)
      因此\(Y \sim N\left(0, \frac{n-1}{n}\right)\),其分布与\(\mu\)完全无关,是辅助统计量
  2. 独立性应用
    \(\bar{X}\)是完备充分统计量,\(Y\)是辅助统计量,由Basu定理,\(Y\)\(\bar{X}\)相互独立。因此条件概率等于无条件概率:

    \[P\left(Y \leq \xi - \bar{x} \bigg| \bar{X} = \bar{x}\right) = P(Y \leq \xi - \bar{x}) \]

最终概率计算

\(Y\)标准化,令\(Z = \sqrt{\frac{n}{n-1}} Y\),则\(Z \sim N(0,1)\),因此:

\[P(Y \leq \xi - \bar{x}) = P\left( Z \leq \sqrt{\frac{n}{n-1}} (\xi - \bar{x}) \right) = \Phi\left( \sqrt{\frac{n}{n-1}} (\xi - \bar{x}) \right) \]

步骤5:最终结果

\(\bar{x}\)换回\(\bar{X}\),得到\(p\)的UMRUE:

\[\hat{p} = \Phi\left( \sqrt{\frac{n}{n-1}} (\xi - \bar{X}) \right) \]

关键提醒:不能直接用\(\Phi(\xi - \bar{X})\)作为估计量,因为\(\mathbb{E}[\Phi(\xi - \bar{X})] \neq \Phi(\xi - \mu)\),正态分布的分布函数的期望不等于期望的分布函数,必须通过\(\sqrt{\frac{n}{n-1}}\)修正。


例3.2.12 指数分布累积概率的UMRUE

题目:设\(X_1,\dots,X_n \stackrel{i.i.d.}{\sim} \Gamma(\lambda,1)\)(指数分布,概率密度\(f(x;\lambda)=\lambda e^{-\lambda x}, x>0\)),\(\xi>0\)为已知常数,求\(p=P(X_1 \leq \xi)\)的UMRUE。

步骤1:为什么用条件期望法?

待估函数\(p=1-e^{-\lambda \xi}\)包含指数项,直接构造\(T\)的无偏函数需要解Gamma分布的积分方程,计算复杂;条件期望法可以快速求解。

步骤2:确定完备充分统计量

指数分布是自然指数族,样本联合密度为:

\[f(x;\lambda) = \lambda^n e^{-\lambda \sum x_i} \cdot \prod_{i=1}^n I\{x_i>0\} \]

自然充分统计量为\(T=\sum_{i=1}^n X_i\),参数空间\(\lambda>0\)包含内点,因此\(T\)\(\lambda\)的完备充分统计量,且\(T \sim \Gamma(\lambda,n)\)(Gamma分布,形状参数\(n\),率参数\(\lambda\)),概率密度为\(f_T(t)=\frac{\lambda^n t^{n-1} e^{-\lambda t}}{(n-1)!}, t>0\)

步骤3:构造简单无偏估计

取示性函数:

\[\tilde{p} = I\{X_1 \leq \xi\} \]

无偏性验证\(\mathbb{E}[\tilde{p}] = P(X_1 \leq \xi) = p\),天然无偏。

步骤4:计算条件期望(Basu定理的再次应用)

条件期望转化为条件概率:

\[\hat{p} = \mathbb{E}[\tilde{p} | T] = P\left(X_1 \leq \xi \bigg| T = t\right) \]

分情况计算
  • 边界情况:\(T=t < \xi\)
    由于\(X_1 \leq \sum_{i=1}^n X_i = T = t < \xi\),因此\(X_1 \leq \xi\)必然成立,条件概率为1,即\(\hat{p}=1\)

  • 常规情况:\(T=t \geq \xi\)
    变形条件概率:

    \[P\left(X_1 \leq \xi \bigg| T = t\right) = P\left( \frac{X_1}{T} \leq \frac{\xi}{t} \bigg| T = t \right) \]

    分析统计量\(Y=\frac{X_1}{T}\)
    \(X_1 \sim \Gamma(\lambda,1)\)\(X_2+\dots+X_n \sim \Gamma(\lambda,n-1)\),两者独立。根据Beta-Gamma分布关系:若\(X\sim\Gamma(\alpha,\lambda), Y\sim\Gamma(\beta,\lambda)\)独立,则\(\frac{X}{X+Y} \sim \text{Beta}(\alpha,\beta)\)
    因此\(Y=\frac{X_1}{X_1+(X_2+\dots+X_n)} \sim \text{Beta}(1, n-1)\),概率密度为\(f_Y(y)=(n-1)(1-y)^{n-2}, 0<y<1\),其分布与\(\lambda\)完全无关,是辅助统计量

    由Basu定理,\(Y\)与完备充分统计量\(T\)独立,因此条件概率等于无条件概率:

    \[P\left( Y \leq \frac{\xi}{t} \bigg| T = t \right) = P\left(Y \leq \frac{\xi}{t}\right) \]

计算Beta分布的分布函数

\[P(Y \leq y) = \int_0^y (n-1)(1-s)^{n-2} ds = 1 - (1-y)^{n-1} \]

代入\(y=\frac{\xi}{t}\),得:

\[P\left(Y \leq \frac{\xi}{t}\right) = 1 - \left(1 - \frac{\xi}{t}\right)^{n-1} \]

步骤5:最终结果与验证

综合两种情况,用正部函数\(a^+ = \max(a,0)\)统一表示,\(p\)的UMRUE为:

\[\hat{p} = 1 - \left[ \left(1 - \frac{\xi}{T}\right)^+ \right]^{n-1} \]

即:

\[\hat{p} = \begin{cases} 1 - \left(1 - \dfrac{\xi}{T}\right)^{n-1}, & T \geq \xi \\ 1, & T < \xi \end{cases} \]

无偏性验证(以n=2为例)
\(T\sim\Gamma(\lambda,2)\),密度为\(\lambda^2 t e^{-\lambda t}\),则

\[\mathbb{E}[\hat{p}] = 1 - \int_\xi^\infty \left(1-\frac{\xi}{t}\right) \lambda^2 t e^{-\lambda t} dt = 1 - \lambda^2 \int_\xi^\infty (t-\xi)e^{-\lambda t} dt \]

计算积分得\(\int_\xi^\infty (t-\xi)e^{-\lambda t} dt = \frac{e^{-\lambda \xi}}{\lambda^2}\),因此\(\mathbb{E}[\hat{p}]=1 - e^{-\lambda \xi}=p\),完全符合无偏性。


三、核心知识点与例题归纳总结表

例题编号 分布类型 待估参数 完备充分统计量 简单无偏估计 UMRUE最终结果 核心技巧
例3.2.10 泊松分布\(P(\lambda)\) \(\mu_k=P(X_1=k)=e^{-\lambda}\frac{\lambda^k}{k!}\) \(T=\sum_{i=1}^n X_i \sim P(n\lambda)\) \(\tilde{\mu}_k=I\{X_1=k\}\) \(\hat{\mu}_k=\begin{cases}\dbinom{T}{k}\left(\dfrac{1}{n}\right)^k\left(1-\dfrac{1}{n}\right)^{T-k}, & T\geq k \\ 0, & T<k\end{cases}\) 泊松分布的可加性、条件概率化简
例3.2.11 正态分布\(N(\mu,1)\) \(p=P(X_1\leq\xi)=\Phi(\xi-\mu)\) \(\bar{X} \sim N\left(\mu,\dfrac{1}{n}\right)\) \(\tilde{p}=I\{X_1\leq\xi\}\) \(\hat{p}=\Phi\left( \sqrt{\dfrac{n}{n-1}}(\xi-\bar{X}) \right)\) Basu定理、辅助统计量构造、正态分布标准化
例3.2.12 指数分布\(\Gamma(\lambda,1)\) \(p=P(X_1\leq\xi)=1-e^{-\lambda\xi}\) \(T=\sum_{i=1}^n X_i \sim \Gamma(\lambda,n)\) \(\tilde{p}=I\{X_1\leq\xi\}\) \(\hat{p}=1 - \left[ \left(1 - \dfrac{\xi}{T}\right)^+ \right]^{n-1}\) Basu定理、Beta-Gamma分布关系、Beta分布积分

四、教学核心总结

  1. 示性函数是万能的简单无偏估计:对于待估的概率\(P(A)\),直接取示性函数\(I\{A\}\),其期望就是\(P(A)\),天然满足无偏性,无需任何复杂构造。
  2. Basu定理是简化条件期望的核心工具:通过构造与未知参数无关的辅助统计量,利用完备充分统计量与辅助统计量的独立性,将复杂的条件概率转化为无条件概率,大幅降低计算难度。
  3. 条件期望法的本质是Rao-Blackwell化:将一个粗糙的无偏估计,通过对充分统计量求条件期望,得到方差更小的无偏估计;再结合完备性,保证这个估计是唯一的UMRUE。

posted on 2026-02-24 08:20  Indian_Mysore  阅读(0)  评论(0)    收藏  举报

导航