2.2.3指数族分布统计量的完备性

指数族分布统计量的完备性 深度讲解与推导证明

作为数理统计的核心内容，指数族分布的完备性定理是参数估计（尤其是UMVUE求解）、假设检验的基石。下面我将从基础概念铺垫→定理详解与严格证明→例题拆解→反例解析→核心内容归纳五个维度，完整讲解该知识点。

---

一、前置核心概念铺垫

在讲解定理前，我们先明确4个核心概念的严格定义与直观理解，这是读懂定理的前提。

1. 指数族分布的标准自然形式

若总体\(X\)的概率密度（或分布列）可以表示为：

\[f(x,\theta) = h(x)\exp\left\{\theta^T T(x) - b(\theta)\right\}, \quad \theta\in\Theta \]

则称该分布属于指数族分布，其中：

• \(\theta=(\theta_1,\dots,\theta_k)^T \in \Theta \subset \mathbb{R}^k\)：k维自然参数，\(\Theta\)为参数空间；
• \(T(x)=(T_1(x),\dots,T_k(x))^T\)：k维统计量，称为自然充分统计量；
• \(h(x)\geq0\)：与参数\(\theta\)无关的非负可测函数，定义在样本的支撑集上；
• \(b(\theta)\)：对数配分函数（累积量生成函数），作用是保证密度积分等于1，即\(b(\theta)=\log\int h(x)e^{\theta^T T(x)}d\mu(x)\)。

直观理解：绝大多数常见分布（正态、二项、泊松、Gamma、Beta、Laplace等）都可改写为该形式，指数族的核心特点是：样本关于参数的信息全部浓缩在统计量\(T(x)\)中。

2. 充分统计量

设\(X_1,\dots,X_n\)是来自总体\(f(x,\theta)\)的样本，统计量\(T=T(X)\)称为充分统计量，若给定\(T=t\)时，样本的条件分布与参数\(\theta\)无关。

核心判定工具：因子分解定理
样本联合密度可分解为：

\[f(x,\theta) = g(T(x),\theta) \cdot h(x) \]

其中\(h(x)\)与\(\theta\)无关，\(g\)仅通过\(T(x)\)依赖于样本。

直观理解：\(T\)包含了样本中关于\(\theta\)的全部信息，知道\(T\)后，样本本身不再提供关于\(\theta\)的额外信息。

3. 极小充分统计量

一个充分统计量\(T\)称为极小充分统计量，若对任意其他充分统计量\(S\)，都存在可测函数\(g\)，使得\(T=g(S)\)。

充要判定条件：
两个样本点\(x\)和\(y\)的似然比\(\frac{f(x,\theta)}{f(y,\theta)}\)与\(\theta\)无关，当且仅当\(T(x)=T(y)\)。

直观理解：最精简的充分统计量，剔除了所有与\(\theta\)无关的冗余信息，是所有充分统计量中维度最低、信息最浓缩的。

4. 完备统计量

设统计量\(T\)的分布族为\(\{f_T(t,\theta),\theta\in\Theta\}\)，若对任意可测函数\(g(\cdot)\)，满足：

\[\mathbb{E}_\theta[g(T)] = 0, \quad \forall \theta\in\Theta \]

都能推出\(g(T)=0\) 几乎处处成立（记为a.e.，即\(P_\theta(g(T)=0)=1, \forall\theta\)），则称\(T\)是完备统计量。

直观理解：不存在“非零的无偏零估计”，保证了无偏估计的唯一性，是求解一致最小方差无偏估计（UMVUE）的核心基础。

注意：完备性不是统计量本身的固有性质，而是统计量对应的分布族+参数空间共同决定的性质。

---

二、定理2.2.3 详解与严格证明

定理完整表述

设总体\(X\)服从指数族分布：

\[f(x,\theta) = h(x)\exp\left\{\theta^T T(x) - b(\theta)\right\}, \quad \theta\in\Theta \]

假设参数空间\(\Theta\subset\mathbb{R}^k\)是k维集合，且\(\Theta\)有内点（即\(\Theta\)的内部非空，非低维退化集合），则：

1. \(T = T(X) = (T_1(X),\dots,T_k(X))^T\) 为完备的极小充分统计量；
2. 若\(X_1,\dots,X_n\)为该总体的n个独立同分布（i.i.d.）样本，则
   \[T(X) = \left( \sum_{i=1}^n T_1(X_i), \sum_{i=1}^n T_2(X_i), \dots, \sum_{i=1}^n T_k(X_i) \right)^T \]
   为完备的极小充分统计量。

---

定理证明（完整补全教材省略细节）

我们先证明结论(1)，再推广到结论(2)。结论(1)需要分别证明极小充分性和完备性。

第一步：证明\(T(X)\)是极小充分统计量

1. 充分性证明（因子分解定理）
   总体密度\(f(x,\theta)=h(x)\cdot \exp\left\{\theta^T T(x)-b(\theta)\right\}\)，可直接对应因子分解形式：

   • 与参数有关的部分：\(g(T(x),\theta) = \exp\left\{\theta^T T(x)-b(\theta)\right\}\)，仅通过\(T(x)\)依赖样本；
   • 与参数无关的部分：\(h(x)\)，和\(\theta\)无关。
     根据因子分解定理，\(T(X)\)是充分统计量。

2. 极小充分性证明（似然比充要条件）
   对任意两个样本点\(x\)和\(y\)，计算似然比：

   \[\frac{f(x,\theta)}{f(y,\theta)} = \frac{h(x)\exp\left\{\theta^T T(x)-b(\theta)\right\}}{h(y)\exp\left\{\theta^T T(y)-b(\theta)\right\}} = \frac{h(x)}{h(y)} \exp\left\{ \theta^T [T(x)-T(y)] \right\} \]
   • 若\(T(x)=T(y)\)，则指数部分为0，似然比为\(\frac{h(x)}{h(y)}\)，与\(\theta\)无关；
   • 若\(T(x)\neq T(y)\)，则\(\theta^T [T(x)-T(y)]\)是关于\(\theta\)的线性函数，而\(\Theta\)有内点（是k维非退化集合），因此该线性函数不可能对所有\(\theta\)都为常数，似然比必然依赖于\(\theta\)。

   根据极小充分统计量的充要条件，\(T(X)\)是极小充分统计量。

第二步：证明\(T(X)\)是完备统计量

这是定理的核心，我们分步拆解证明逻辑：

1. 参数平移简化
   不妨设\(\Theta\)的内点\(\theta_0=0\)，否则做参数变换\(\tilde{\theta}=\theta-\theta_0\)，则\(\tilde{\theta}=0\)是新参数空间\(\tilde{\Theta}\)的内点，且原分布可改写为：

   \[f(x,\theta) = \left[ h(x)e^{\theta_0^T T(x)} \right] \exp\left\{ \tilde{\theta}^T T(x) - b(\tilde{\theta}+\theta_0) \right\} \]

   仍为指数族形式，充分统计量\(T(X)\)不变，因此只需证明\(\theta=0\)是内点的情况即可。

2. 充分统计量的分布形式
   正则指数族的自然充分统计量\(T(X)\)的分布，仍属于指数族（导出指数族），其密度（关于\(\sigma\)-有限测度\(\mu\)）为：

   \[f_T(t,\theta) = h^*(t) \exp\left\{ \theta^T t - b(\theta) \right\} \]

   其中\(h^*(t)\geq0\)，且\(b(\theta)\)与原分布的对数配分函数一致，保证\(\int f_T(t,\theta)d\mu(t)=1\)。

3. 完备性定义转化
   完备性要求：对任意可测函数\(g(\cdot)\)，若\(\mathbb{E}_\theta[g(T)]=0, \forall\theta\in\Theta\)，则\(g(t)=0\) a.e.。
   将期望展开为积分形式：

   \[\mathbb{E}_\theta[g(T)] = \int g(t) f_T(t,\theta) d\mu(t) = 0, \quad \forall\theta\in\Theta \]

   代入\(f_T(t,\theta)\)的表达式：

   \[\int g(t) h^*(t) \exp\left\{ \theta^T t - b(\theta) \right\} d\mu(t) = 0, \quad \forall\theta\in\Theta \]

4. Laplace变换唯一性的应用
   由于\(e^{-b(\theta)}>0\)且与积分变量\(t\)无关，可将其提出积分号，两边同时除以\(e^{-b(\theta)}\)，等式仍成立：

   \[\int g(t) h^*(t) e^{\theta^T t} d\mu(t) = 0, \quad \forall\theta\in\Theta \]

   记该积分为\(\varphi(\theta) = \int g(t) h^*(t) e^{\theta^T t} d\mu(t)\)，这正是函数\(g(t)h^*(t)\)的多变量Laplace变换（矩生成函数）。

   关键性质：Laplace变换的唯一性——若一个函数的Laplace变换在包含原点的开集内恒为0，则该函数本身几乎处处为0。
   由于\(\Theta\)有内点，存在包含\(\theta=0\)的开集\(U\subset\Theta\)，使得\(\varphi(\theta)=0\)对所有\(\theta\in U\)成立。根据Laplace变换唯一性，必有：

   \[g(t)h^*(t) = 0, \quad \text{a.e.} \]

5. 最终结论推导
   \(h^*(t)\)是概率密度的组成部分，不可能几乎处处为0（否则密度积分无法为1），即\(h^*(t)>0\) a.e.。因此\(g(t)h^*(t)=0\) a.e. 可直接推出：

   \[g(t) = 0, \quad \text{a.e.} \]

   至此，我们证明了\(T(X)\)满足完备统计量的定义。结合极小充分性，\(T(X)\)是完备的极小充分统计量，结论(1)得证。

第三步：证明i.i.d.样本的结论(2)

n个i.i.d.样本的联合密度为单个样本密度的乘积：

\[f(x_1,\dots,x_n,\theta) = \prod_{i=1}^n \left[ h(x_i) \exp\left\{ \theta^T T(x_i) - b(\theta) \right\} \right] \]

展开后整理为：

\[= \left( \prod_{i=1}^n h(x_i) \right) \cdot \exp\left\{ \theta^T \sum_{i=1}^n T(x_i) - n b(\theta) \right\} \]

令：

• \(h^*(x) = \prod_{i=1}^n h(x_i)\)（与\(\theta\)无关）；
• \(T^*(X) = \sum_{i=1}^n T(X_i)\)（k维统计量）；
• \(b^*(\theta) = n b(\theta)\)（新的对数配分函数）。

则联合密度可写为标准指数族形式：

\[f(x,\theta) = h^*(x) \exp\left\{ \theta^T T^*(x) - b^*(\theta) \right\} \]

该形式完全满足定理的条件（参数空间\(\Theta\)仍有内点），根据结论(1)，\(T^*(X) = \sum_{i=1}^n T(X_i)\)是完备的极小充分统计量，结论(2)得证。

---

三、例题详细拆解

我们通过两个典型例题，演示如何应用该定理求解完备极小充分统计量。

例2.2.13 Laplace分布的完备极小充分统计量

题目：设\(X_1,\dots,X_n\)为i.i.d.样本，\(X_1\)服从Laplace分布，密度为\(f(x_1,\theta) = \frac{1}{2\theta} \exp\left\{ -\frac{|x_1|}{\theta} \right\}, \theta>0\)，求完备的极小充分统计量。

详细求解过程：

1. 写出样本联合密度
   n个样本的联合密度为单个密度的乘积：

   \[f(x,\theta) = \prod_{i=1}^n \frac{1}{2\theta} e^{-\frac{|x_i|}{\theta}} = \frac{1}{2^n} \theta^{-n} \exp\left\{ -\frac{1}{\theta} \sum_{i=1}^n |x_i| \right\} \]

2. 改写为指数族标准形式
   令自然参数\(\tilde{\theta} = -\frac{1}{\theta}\)（因\(\theta>0\)，故\(\tilde{\theta}<0\)，参数空间\(\tilde{\Theta}=(-\infty,0)\)是1维开集，有内点），则联合密度可改写为：

   \[f(x,\tilde{\theta}) = \frac{1}{2^n} \cdot \exp\left\{ \tilde{\theta} \cdot \sum_{i=1}^n |x_i| - n \log(-\tilde{\theta}) \right\} \]

   对应指数族标准形式的各个部分：

   • \(h(x) = \frac{1}{2^n}\)（与参数无关）；
   • 自然参数\(\tilde{\theta}\)，统计量\(T(X) = \sum_{i=1}^n |X_i|\)；
   • 对数配分函数\(b(\tilde{\theta}) = n \log(-\tilde{\theta})\)。

3. 应用定理得到结论
   该分布满足定理的所有条件，因此\(T(X) = \sum_{i=1}^n |X_i|\)是完备的极小充分统计量。

---

例2.2.14 带异常值的正态分布的完备极小充分统计量

题目：设\(X_1,\dots,X_n\)为独立样本，\(X_j \sim N(0,\sigma^2), \forall j\neq i\)；\(X_i \sim N(0, \omega^{-1}\sigma^2)\)，其中\(\omega>0, \sigma^2>0\)为未知参数，求完备的极小充分统计量。

详细求解过程：

1. 写出单个样本的密度
   均值为0的正态分布密度为\(f(x,\tau^2) = \frac{1}{\sqrt{2\pi\tau^2}} \exp\left\{ -\frac{x^2}{2\tau^2} \right\}\)，因此：

   • 对\(j\neq i\)：\(f(x_j,\sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left\{ -\frac{x_j^2}{2\sigma^2} \right\}\)；
   • 对第\(i\)个样本：\(f(x_i,\sigma^2,\omega) = \frac{\sqrt{\omega}}{\sqrt{2\pi\sigma^2}} \exp\left\{ -\frac{\omega x_i^2}{2\sigma^2} \right\}\)。

2. 写出联合密度并整理
   联合密度为所有样本密度的乘积：

   \[f(x,\theta) = \left( \prod_{j\neq i} \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{x_j^2}{2\sigma^2}} \right) \cdot \frac{\sqrt{\omega}}{\sqrt{2\pi\sigma^2}} e^{-\frac{\omega x_i^2}{2\sigma^2}} \]

   整理常数项和指数项：

   \[= (2\pi\sigma^2)^{-n/2} \omega^{1/2} \exp\left\{ -\frac{1}{2\sigma^2} \sum_{j\neq i} x_j^2 - \frac{\omega}{2\sigma^2} x_i^2 \right\} \]

   将常数项转化为指数形式，合并为单一指数：

   \[f(x,\theta) = \exp\left\{ -\frac{1}{2\sigma^2} \sum_{j\neq i} x_j^2 - \frac{\omega}{2\sigma^2} x_i^2 - \frac{n}{2}\log(2\pi\sigma^2) + \frac{1}{2}\log\omega \right\} \]

3. 改写为指数族标准形式
   定义2维自然参数：

   \[\theta_1 = -\frac{1}{2\sigma^2}, \quad \theta_2 = -\frac{\omega}{2\sigma^2} \]

   因\(\sigma^2>0,\omega>0\)，故\(\theta_1<0,\theta_2<0\)，参数空间\(\Theta=\{(\theta_1,\theta_2)|\theta_1<0,\theta_2<0\}\)是2维开集，有内点。

   对应统计量：

   \[T_1(X) = \sum_{j\neq i} X_j^2, \quad T_2(X) = X_i^2 \]

   对数配分函数\(b(\theta)\)为指数中与样本无关的部分，满足标准形式。

4. 应用定理得到结论
   该分布满足定理的所有条件，因此\(T(X) = \left( \sum_{j\neq i} X_j^2, X_i^2 \right)\)是完备的极小充分统计量。

---

四、反例解析：定理条件的必要性

例2.2.15是核心反例，用于说明“参数空间有内点”是定理不可或缺的条件，若该条件不满足，即使是指数族的自然充分统计量，也可能不具备完备性。

反例场景

设\((X_1,Y_1),\dots,(X_n,Y_n)\)为i.i.d.二维正态样本，\((X_1,Y_1)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,0)\)（相关系数\(\rho=0\)，\(X\)与\(Y\)独立）。

正例场景：参数空间有内点

当\(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2\)均为独立的未知参数时，参数空间是4维开集，有内点。此时联合密度可改写为4维指数族形式，自然充分统计量：

\[T = \left( \sum_{i=1}^n X_i^2, \bar{X}, \sum_{i=1}^n Y_i^2, \bar{Y} \right) \]

满足定理条件，是完备的极小充分统计量。

反例场景：参数空间退化（无内点）

当\(\mu_1=\mu_2=\mu\)时，参数退化为\(\theta=(\mu,\sigma_1^2,\sigma_2^2)\)，是3维参数，在原4维自然参数空间中，参数空间退化为一个3维超平面，无内点，不满足定理条件。

此时，统计量\(T = \left( \sum X_i^2, \bar{X}, \sum Y_i^2, \bar{Y} \right)\)仍是极小充分统计量，但不再是完备统计量，验证如下：

取函数\(g(T) = \bar{X} - \bar{Y}\)，显然\(g(T)\)不是几乎处处为0的。计算其期望：

\[\mathbb{E}_\theta[g(T)] = \mathbb{E}[\bar{X}] - \mathbb{E}[\bar{Y}] = \mu - \mu = 0, \quad \forall\theta\in\Theta \]

即存在非零函数\(g(T)\)，使得其期望对所有参数都为0，违反了完备性的定义。这直接证明了：若参数空间无内点，定理的完备性结论不成立。

---

五、核心内容归纳总结

表1 核心概念定义与直观理解

核心概念	严格定义	关键说明与直观理解
指数族分布（标准自然形式）	总体密度：\(f(x,\theta) = h(x)\exp\left\{\theta^T T(x) - b(\theta)\right\}\)，其中\(\theta\in\Theta\subset\mathbb{R}^k\)为k维自然参数，\(T(x)\)为k维统计量，\(h(x)\)与\(\theta\)无关，\(b(\theta)\)为对数配分函数。	绝大多数常见分布都属于指数族，其核心特点是样本关于参数的信息全部浓缩在\(T(x)\)中。
充分统计量	给定\(T=t\)时，样本的条件分布与\(\theta\)无关；因子分解定理：\(f(x,\theta)=g(T(x),\theta)h(x)\)。	\(T\)包含了样本中关于\(\theta\)的全部信息，知道\(T\)后，样本本身无额外信息。
极小充分统计量	对任意其他充分统计量\(S\)，存在函数\(g\)使得\(T=g(S)\)；充要条件：似然比与\(\theta\)无关\(\iff T(x)=T(y)\)。	最精简的充分统计量，剔除了所有冗余信息，是维度最低的充分统计量。
完备统计量	若\(\mathbb{E}_\theta[g(T)]=0,\forall\theta\in\Theta\)，必有\(g(T)=0\) a.e.。	不存在非零的无偏零估计，保证了无偏估计的唯一性，是UMVUE的核心基础。

---

表2 指数族完备极小充分统计量定理核心总结

项目	详细内容	关键注意事项
核心条件	1. 总体服从正则指数族分布；2. 参数空间\(\Theta\subset\mathbb{R}^k\)是k维集合，且\(\Theta\)有内点。	“参数空间有内点”是必要条件，不满足该条件时，完备性不成立。
单样本结论	\(T=T(X)=(T_1(X),\dots,T_k(X))^T\)是完备的极小充分统计量。	同时满足极小充分性和完备性，称为完备充分统计量。
i.i.d.样本结论	\(T(X)=\left( \sum_{i=1}^n T_1(X_i), \dots, \sum_{i=1}^n T_k(X_i) \right)^T\)是完备的极小充分统计量。	样本的充分统计量是单个样本\(T(X_i)\)的和，维度与参数维度一致。
证明核心	1. 极小充分性：通过似然比充要条件证明；2. 完备性：利用Laplace变换的唯一性，结合参数空间的内点性质，推出\(g(t)=0\) a.e.。	Laplace变换唯一性是完备性证明的核心数学工具，参数空间有内点保证了解析性。

---

表3 例题与反例核心总结

案例	分布场景	完备的极小充分统计量	核心逻辑
例2.2.13	Laplace分布\(X_i\sim \frac{1}{2\theta}\exp\left\{-\frac{|x_i|}{\theta}\right\}, \theta>0\)	\(T=\sum_{i=1}^n |X_i|\)	1维指数族，参数空间有内点，直接套用定理得到结论。
例2.2.14	带异常值的正态分布，未知参数\(\sigma^2>0,\omega>0\)	\(T=\left( \sum_{j\neq i} X_j^2, X_i^2 \right)\)	2维指数族，参数空间有内点，自然充分统计量与参数维度一致。
例2.2.15 正例	独立二维正态，4维未知参数\(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2\)	\(T=\left( \sum X_i^2, \bar{X}, \sum Y_i^2, \bar{Y} \right)\)	4维指数族，参数空间有内点，满足定理条件，统计量完备极小充分。
例2.2.15 反例	独立二维正态，3维退化参数\(\mu,\sigma_1^2,\sigma_2^2\)	\(T\)仍是极小充分统计量，但不完备	参数空间退化无内点，不满足定理条件，存在非零函数满足零期望，违反完备性。

---