2.2.2统计量的完备性
统计量的完备性 知识点详解与推导证明
作为数理统计的核心概念,统计量的完备性是参数估计(尤其是最小方差无偏估计)的理论基石,下面我将从基础定义出发,逐层拆解推导、证明核心结论,最后进行系统归纳总结。
一、前置基础:分布族的完备性
统计量的完备性完全建立在分布族完备性的基础上,因此先明确分布族完备性的严格定义。
定义(分布族的完备性)
设随机变量\(X\)的分布族为\(\mathcal{F}_X = \{f(x,\theta), \theta \in \Theta\}\),其中\(\theta\)为未知参数,\(\Theta\)为参数空间。若对任意Borel可测函数\(h(x)\),满足:
时,必有\(h(x) = 0\)(几乎处处关于\(P_\theta^X\),记为a.e. \(P_\theta^X\)),则称分布族\(\mathcal{F}_X\)是完备的。
核心内涵
完备性的本质是:不存在非平凡的(不几乎处处为0)、对所有参数\(\theta\)都无偏等于0的函数。如果能找到这样的非零函数,分布族就是不完备的。
二、统计量的完备性:核心定义
统计量是样本的可测函数\(T=T(X)\),它会诱导出一个新的分布族,统计量的完备性由这个诱导分布族的完备性定义。
定义2.2.2(统计量的完备性)
设样本\(X \sim \mathcal{F}_X = \{f(x,\theta), \theta \in \Theta\}\),统计量\(T=T(X)\)对应的诱导分布族为\(\mathcal{F}_T = \{g(t,\theta), \theta \in \Theta\}\)。若分布族\(\mathcal{F}_T\)是完备的,则称\(T=T(X)\)为完备统计量。
等价表述
对任意Borel可测函数\(h(t)\),若
则必有\(h(t) = 0\)(a.e. \(P_\theta^T\))。
关键认知
样本本身的分布族不完备,不代表不存在完备的统计量。统计推断的核心是用统计量做决策,因此统计量的完备性比样本分布族的完备性更有实际意义。
三、核心例题详解与严格证明
例2.2.7 样本分布族的不完备性
命题:设\(X_1,\cdots,X_n\)独立同分布,\(X_1 \sim f(x_1,\theta)\)且\(E(X_1)\)存在,则样本\(X=(X_1,\cdots,X_n)^T\)的分布族
在任何情况下都不完备。
详细证明
根据完备性的定义,要证明分布族不完备,只需构造一个不几乎处处为0的函数\(h(x)\),使得\(E_\theta[h(X)]=0\)对所有\(\theta \in \Theta\)成立。
- 构造函数:取\(h(x) = x_1 - x_2\),其中\(x=(x_1,x_2,\cdots,x_n)\)为样本观测值。
- 计算期望:
由于\(X_1,X_2\)独立同分布,且\(E(X_1)\)存在,因此\(E_\theta(X_1)=E_\theta(X_2)=\mu(\theta)\),于是\[E_\theta[h(X)] = E_\theta(X_1 - X_2) = E_\theta(X_1) - E_\theta(X_2) = 0 \]该等式对所有\(\theta \in \Theta\)恒成立。 - 验证非零性:
\(h(x)=x_1-x_2\)仅在\(x_1=x_2\)时为0,而样本空间中\(x_1 \neq x_2\)的集合具有正概率(连续型分布中\(P(X_1=X_2)=0\),\(h(x)\)几乎处处非零;离散型分布中\(X_1 \neq X_2\)也有正概率),因此\(h(x)\)不是几乎处处为0的函数。
综上,我们找到了满足条件的非零函数,因此样本的分布族\(\mathcal{F}_X\)不完备。
例2.2.8 不完备分布族可存在完备统计量
命题:设\(X \sim N(0,\sigma^2)\),样本分布族\(\mathcal{F}_X = \{N(0,\sigma^2), \sigma^2 > 0\}\)不完备,但统计量\(T=X^2\)是完备的。
步骤1:证明样本分布族不完备
构造\(h(x)=x\),则\(E_\sigma[h(X)] = E_\sigma(X) = 0\)对所有\(\sigma^2>0\)成立,但\(h(x)=x\)显然不几乎处处为0,因此\(\mathcal{F}_X\)不完备。
步骤2:证明\(T=X^2\)的完备性
-
推导\(T\)的分布
已知\(X \sim N(0,\sigma^2)\),则\(\frac{X}{\sigma} \sim N(0,1)\),因此\(\frac{X^2}{\sigma^2} \sim \chi^2(1)\)(自由度为1的卡方分布)。
自由度为1的卡方分布密度为:\[f_{\chi^2(1)}(y) = \frac{1}{\sqrt{2\pi}} y^{-1/2} e^{-y/2}, \quad y>0 \]令\(T=X^2 = \sigma^2 Y\),做变量替换\(Y=T/\sigma^2\),雅可比行列式\(\left|\frac{dY}{dT}\right|=\frac{1}{\sigma^2}\),因此\(T\)的概率密度为:
\[g(t,\sigma^2) = \frac{1}{\sqrt{2\pi} \sigma} t^{-1/2} e^{-\frac{t}{2\sigma^2}}, \quad t>0 \] -
利用完备性定义证明
对任意Borel可测函数\(h(t)\),若\(E_{\sigma^2}[h(T)] = 0\)对所有\(\sigma^2>0\)成立,则:\[\int_{0}^{+\infty} h(t) \cdot \frac{1}{\sqrt{2\pi} \sigma} t^{-1/2} e^{-\frac{t}{2\sigma^2}} dt = 0, \quad \forall \sigma^2>0 \]去掉非零常数项,等式简化为:
\[\int_{0}^{+\infty} h(t) t^{-1/2} e^{-\frac{t}{2\sigma^2}} dt = 0, \quad \forall \sigma^2>0 \] -
Laplace变换唯一性推导
令\(s = \frac{1}{2\sigma^2}\)(\(\sigma^2>0\)等价于\(s>0\)),上式转化为:\[\int_{0}^{+\infty} \left[ h(t) t^{-1/2} \right] e^{-st} dt = 0, \quad \forall s>0 \]左边是函数\(\varphi(t)=h(t)t^{-1/2}\)的Laplace变换。根据Laplace变换的唯一性定理:若函数的Laplace变换在\(s>0\)上恒为0,则该函数几乎处处为0。因此:
\[\varphi(t) = h(t) t^{-1/2} = 0, \quad \text{a.e.} \]由于\(t^{-1/2}\)在\(t>0\)时几乎处处非零,故\(h(t)=0\)(a.e. \(P_{\sigma^2}^T\))。
综上,\(T=X^2\)满足完备性定义,是完备统计量。
例2.2.9 正态分布的完备统计量
命题:设\(X_1,\cdots,X_n\)独立同分布,\(X_1 \sim N(\mu,\sigma^2)\),则:
- 样本\((X_1,\cdots,X_n)\)的分布族不完备;
- 样本均值\(\overline{X} = \frac{1}{n}\sum_{i=1}^n X_i\)是完备统计量;
- 样本方差\(S = \sum_{i=1}^n (X_i - \overline{X})^2\)是完备统计量;
- 联合统计量\(T=(\overline{X}, S)\)是完备充分统计量。
证明要点
- 样本分布族不完备:同例2.2.7,构造\(h(X)=X_1-X_2\)即可证明。
- \(\overline{X}\)的完备性:\(\overline{X} \sim N(\mu, \sigma^2/n)\),属于指数族分布,自然参数空间包含内点,根据指数族完备性定理,其分布族完备,因此\(\overline{X}\)是完备统计量。
- \(S\)的完备性:\(\frac{S}{\sigma^2} \sim \chi^2(n-1)\),与例2.2.8逻辑一致,通过Laplace变换唯一性可证明其完备性。
- \((\overline{X},S)\)的完备性:其联合分布为双参数指数族,自然参数空间包含内点,因此分布族完备,同时它也是充分统计量,故为完备充分统计量。
例2.2.12 极小充分统计量不一定完备
命题:设\(X_1,\cdots,X_n\)独立同分布,\(X_1 \sim R\left(\theta - \frac{1}{2}, \theta + \frac{1}{2}\right)\)(位置参数\(\theta \in \mathbb{R}\)的均匀分布),则\(T=(X_{(1)}, X_{(n)})\)(次序统计量的最小值和最大值)是极小充分统计量,但不是完备统计量。
步骤1:证明\(T\)是极小充分统计量
样本的联合密度为:
根据因子分解定理,\(T\)是充分统计量;再由Lehmann-Scheffé极小充分统计量判别法,似然比与\(\theta\)无关当且仅当\(X_{(1)}\)和\(X_{(n)}\)对应相等,因此\(T\)是极小充分统计量。
步骤2:证明\(T\)不完备
- 做变量替换:令\(Y_i = X_i - \left(\theta - \frac{1}{2}\right)\),则\(Y_i \sim R(0,1)\),与\(\theta\)无关。此时:\[X_{(1)} = \theta - \frac{1}{2} + Y_{(1)}, \quad X_{(n)} = \theta - \frac{1}{2} + Y_{(n)} \]极差\(R = X_{(n)} - X_{(1)} = Y_{(n)} - Y_{(1)}\),其分布与\(\theta\)完全无关。
- 计算极差的期望:\(R \sim BE(n-1,2)\)(Beta分布),因此\(E[R] = \frac{n-1}{n+1}\),为与\(\theta\)无关的常数。
- 构造非零无偏零函数:令\[h(X_{(1)}, X_{(n)}) = (X_{(n)} - X_{(1)}) - \frac{n-1}{n+1} \]显然\(E_\theta[h(T)] = 0\)对所有\(\theta \in \mathbb{R}\)成立,但\(h(T)\)不几乎处处为0(仅当\(R=\frac{n-1}{n+1}\)时为0,连续型随机变量取单点的概率为0)。
综上,\(T=(X_{(1)}, X_{(n)})\)是极小充分统计量,但不是完备统计量。
四、核心定理详解与严格证明
定理2.2.1 完备统计量的基本性质
定理内容:设\(T=T(X)\)和\(S=S(X)\)为统计量,则
- 若\(T\)完备,则\(S(X) = \psi(T(X))\)(\(S\)是\(T\)的可测函数)也完备,反之不真;
- 若\((S,T)\)完备,则\(T\)完备,反之不真。
(1) 的证明
正向证明:
要证\(S=\psi(T)\)完备,即证:对任意\(h(s)\),若\(E_\theta[h(S)]=0, \forall \theta\),则\(h(s)=0\) a.e.。
- 代入\(S=\psi(T)\),得\(E_\theta[h(\psi(T))] = 0, \forall \theta\)。
- 令\(\tilde{h}(t) = h(\psi(t))\),则\(E_\theta[\tilde{h}(T)] = 0, \forall \theta\)。
- 由\(T\)的完备性,得\(\tilde{h}(t)=0\) a.e.,即\(h(\psi(t))=0\) a.e.,等价于\(h(s)=0\) a.e. \(P_\theta^S\)。
因此\(S=\psi(T)\)完备。
反向不真的反例:
设\(X \sim N(0,\sigma^2)\),取\(T(X)=X\),\(S(X)=X^2\)。已证\(S\)完备,但\(T\)不完备(构造\(h(t)=t\)即可),因此反之不真。
(2) 的证明
正向证明:
要证\(T\)完备,即证:对任意\(h(t)\),若\(E_\theta[h(T)]=0, \forall \theta\),则\(h(t)=0\) a.e.。
- 令\(\tilde{h}(s,t) = h(t)\),则\(E_\theta[\tilde{h}(S,T)] = E_\theta[h(T)] = 0, \forall \theta\)。
- 由\((S,T)\)的完备性,得\(\tilde{h}(s,t)=0\) a.e.,即\(h(t)=0\) a.e. \(P_\theta^{S,T}\),自然也a.e. 关于\(T\)的边缘分布。
因此\(T\)完备。
反向不真的反例:
设\(X_1,X_2 \sim N(\mu,\sigma^2)\) i.i.d.,取\(T=X_1\),联合统计量\((X_1,X_2)\)。\(T=X_1\)是完备的,但\((X_1,X_2)\)不完备(构造\(h(X_1,X_2)=X_1-X_2\)即可),因此反之不真。
定理2.2.2 完备充分统计量与极小充分统计量的关系
定理内容:给定分布族\(X \sim \mathcal{F} = \{f(x,\theta), \theta \in \Theta\}\),
- 当极小充分统计量存在时,完备的充分统计量一定是极小充分统计量;
- 当完备的充分统计量存在时,极小充分统计量一定是完备的充分统计量。
核心前置概念
极小充分统计量:若充分统计量\(T\)可表示为任意充分统计量的可测函数,则\(T\)为极小充分统计量,是“最精简”的充分统计量。
(1) 的证明
设\(U(X)\)是完备充分统计量,\(T(X)\)是极小充分统计量,证\(U\)是极小充分统计量。
- 由极小充分统计量的定义,\(U\)是充分统计量,因此存在可测函数\(h\),使得\(T = h(U)\)。
- 构造函数\(\varphi(u) = u - E_\theta\left[ U \mid T \right]\),由于\(T\)是\(U\)的函数,因此\(\varphi(u)\)仅与\(u\)有关,与\(\theta\)无关。
- 计算期望:\(E_\theta[\varphi(U)] = E_\theta(U) - E_\theta\left[ E_\theta(U \mid T) \right] = 0, \forall \theta\)。
- 由\(U\)的完备性,得\(\varphi(u)=0\) a.e.,即\(U = E_\theta[U \mid T] = g(T)\),说明\(U\)是\(T\)的函数。
- 结合\(T=h(U)\),\(U\)与\(T\)可互相表示,因此\(U\)也是极小充分统计量。
(2) 的证明
设\(S(X)\)是极小充分统计量,\(T(X)\)是完备充分统计量,证\(S\)是完备充分统计量。
- 由极小充分统计量的定义,\(T\)是充分统计量,因此存在可测函数\(\psi\),使得\(S = \psi(T)\)。
- 由定理2.2.1(1),\(T\)完备则其可测函数\(S\)也完备。
- \(S\)本身是极小充分统计量,因此\(S\)是完备的充分统计量。
核心结论
当完备充分统计量存在时,完备充分统计量与极小充分统计量在可测意义下等价。
五、知识点系统归纳总结
| 分类 | 核心内容 | 严格表述/等价定义 | 关键例子/反例 |
|---|---|---|---|
| 基础定义:分布族完备性 | 分布族的完备性是统计量完备性的基础 | 对任意\(h(x)\),\(E_\theta[h(X)]=0(\forall \theta)\)可推出\(h(x)=0\) a.e. | 正例:\(N(\mu,\sigma^2)\)(\(\sigma^2\)固定)是完备分布族; 反例:i.i.d.样本的联合分布族永远不完备 |
| 核心定义:统计量完备性 | 统计量的完备性由其诱导分布族的完备性定义 | 对任意\(h(t)\),\(E_\theta[h(T)]=0(\forall \theta)\)可推出\(h(t)=0\) a.e. | 正例:\(X \sim N(0,\sigma^2)\),\(T=X^2\)完备; 反例:均匀分布\(R(\theta-1/2,\theta+1/2)\)的\(T=(X_{(1)},X_{(n)})\)不完备 |
| 核心性质1 | 完备统计量的可测函数仍保持完备性,反之不成立 | 若\(T\)完备,\(S=\psi(T)\),则\(S\)完备;\(S\)完备推不出\(T\)完备 | 正例:\(X^2\)完备,则$ |
| 核心性质2 | 联合完备统计量的边缘统计量必完备,反之不成立 | 若\((S,T)\)完备,则\(T\)完备;\(T\)完备推不出\((S,T)\)完备 | 正例:\((\overline{X},S^2)\)完备,则\(\overline{X}\)、\(S^2\)均完备; 反例:\(X_1\)完备,但\((X_1,X_2)\)不完备 |
| 核心定理 | 完备充分统计量与极小充分统计量的等价性 | 1. 完备充分统计量必是极小充分统计量; 2. 完备充分统计量存在时,极小充分统计量必完备 |
正例:正态分布的\((\overline{X},S^2)\)既是完备充分统计量,也是极小充分统计量; 反例:均匀分布的\((X_{(1)},X_{(n)})\)是极小充分统计量,但不完备 |
| 核心应用 | 完备性是参数估计的核心理论工具 | 1. Lehmann-Scheffé定理:完备充分统计量的无偏函数是唯一的最小方差无偏估计; 2. Basu定理:完备充分统计量与辅助统计量独立 |
应用:正态分布中,\(\overline{X}\)是\(\mu\)的UMVUE,\(\frac{S^2}{n-1}\)是\(\sigma^2\)的UMVUE |
补充:完备性的核心价值
完备性的本质是保证无偏估计的唯一性,是求解最小方差无偏估计(UMVUE)的核心工具。Lehmann-Scheffé定理告诉我们:只要找到完备充分统计量,对其做无偏修正,就能直接得到待估参数的唯一最优无偏估计,这也是完备性在数理统计中最核心的应用。
例2.2.10与例2.2.11 完备统计量证明详解
下面我将从分布基础、分步推导、核心技巧三个维度,完整拆解两个例题的证明过程,并补充背后的原理与关键注意事项。
例2.2.10 平移Gamma分布的完备统计量证明
命题
设\(X_1,\cdots,X_n\)独立同分布,\(X_1 \sim \mu + \Gamma(\lambda,1)\)(即平移指数分布,位置参数\(\mu\in\mathbb{R}\),率参数\(\lambda>0\)),则统计量\(T=(X_{(1)}, S)\)是完备的极小充分统计量,其中:
- \(X_{(1)}=\min\{X_1,\cdots,X_n\}\)为最小次序统计量
- \(S=\sum_{i=1}^n (X_i - X_{(1)})\)为样本中心化后的和
前置基础:分布性质
\(X_1 \sim \mu + \Gamma(\lambda,1)\)等价于\(X_1 - \mu \sim \text{Exp}(\lambda)\)(指数分布),其概率密度为:
指数分布有两个核心性质,是证明的关键:
- 独立同分布指数分布的最小次序统计量\(Z_{(1)} \sim \text{Exp}(n\lambda)\);
- 最小次序统计量\(Z_{(1)}\)与间距和\(S=\sum_{i=1}^n (Z_i - Z_{(1)})\)相互独立,且\(S \sim \Gamma(\lambda, n-1)\)。
分步证明
步骤1:推导\(Y=X_{(1)}\)与\(S\)的分布
- \(Y=X_{(1)}\)的密度
由指数分布的次序统计量性质,\(X_{(1)} = \mu + Z_{(1)}\),因此:
- \(S\)的密度与独立性
\(S = \sum_{i=1}^n (X_i - X_{(1)}) = \sum_{i=1}^n (Z_i - Z_{(1)})\),是\(n-1\)个独立指数分布的和,因此\(S \sim \Gamma(\lambda, n-1)\),密度为:
且由指数分布的性质,\(Y\)与\(S\)相互独立。
步骤2:写出完备性的核心条件
统计量\(T=(Y,S)\)的联合密度为边缘密度的乘积(独立性):
根据完备性定义:对任意Borel可测函数\(h(y,s)\),若\(E_{\mu,\lambda}[h(Y,S)] = 0\)对所有\(\mu\in\mathbb{R}, \lambda>0\)成立,需推出\(h(y,s)=0\)几乎处处成立。
写出期望的积分表达式,去掉与积分变量无关的非零常数项后,得到核心等式:
步骤3:交换积分次序,简化方程
交换积分次序,先对\(s\)积分再对\(y\)积分,令内层积分\(g(y,\lambda) = \int_{0}^{+\infty} h(y,s) s^{n-2} e^{-\lambda s} ds\),等式简化为:
步骤4:对\(\mu\)求导,剥离位置参数
上式是关于\(\mu\)的变限积分,根据莱布尼茨积分求导法则,对\(\mu\)求导得:
由于\(e^{-n\lambda \mu} > 0\)对所有\(\mu,\lambda\)成立,因此直接得到:
步骤5:利用Laplace变换唯一性,证明\(h=0\)
上式左边是函数\(\varphi_\mu(s) = h(\mu,s) s^{n-2}\)的Laplace变换。根据Laplace变换的唯一性定理:若函数的Laplace变换在\(\lambda>0\)上恒为0,则该函数几乎处处为0。
因此对任意固定的\(\mu\),有\(h(\mu,s) s^{n-2} = 0\)几乎处处成立。而\(s^{n-2}\)在\(s>0\)时几乎处处非零,故推出:
满足完备性定义,因此\(T=(X_{(1)},S)\)是完备统计量。
补充:极小充分性
由因子分解定理,样本联合密度可表示为仅与\(T=(X_{(1)},S)\)和参数有关的形式,因此\(T\)是充分统计量。结合定理2.2.2,完备的充分统计量必为极小充分统计量,因此\(T\)是完备的极小充分统计量。
例2.2.11 单参数均匀分布的完备统计量证明
命题
设\(X_1,\cdots,X_n\)独立同分布,\(X_1 \sim R(0,\theta)\)(区间\((0,\theta)\)上的均匀分布,参数\(\theta>0\)),则最大次序统计量\(X_{(n)} = \max\{X_1,\cdots,X_n\}\)是完备的极小充分统计量。
分步证明
步骤1:推导\(X_{(n)}\)的分布
\(X_i \sim R(0,\theta)\)的密度为\(f(x,\theta) = \frac{1}{\theta} I\{0\leq x\leq\theta\}\),最大次序统计量\(X_{(n)}\)的分布函数为:
对分布函数求导,得到\(X_{(n)}\)的概率密度:
也可表示为\(X_{(n)}/\theta \sim BE(n,1)\)(Beta分布),与题目表述一致。
步骤2:写出完备性的核心条件
根据完备性定义:对任意Borel可测函数\(h(t)\),若\(E_\theta[h(X_{(n)})] = 0\)对所有\(\theta>0\)成立,需推出\(h(t)=0\)几乎处处成立。
写出期望的积分表达式,去掉非零常数项\(\frac{n}{\theta^n}\)后,得到核心等式:
步骤3:对\(\theta\)求导,直接推出\(h=0\)
上式是关于\(\theta\)的变上限积分,令\(F(\theta) = \int_{0}^{\theta} h(t) t^{n-1} dt = 0\),根据莱布尼茨求导法则,对\(\theta\)求导得:
由于\(\theta^{n-1} > 0\)对所有\(\theta>0\)成立,因此直接推出:
满足完备性定义,因此\(T=X_{(n)}\)是完备统计量。
补充:极小充分性
由因子分解定理,样本联合密度为:
仅通过\(X_{(n)}\)与参数\(\theta\)有关,因此\(X_{(n)}\)是充分统计量。结合定理2.2.2,完备的充分统计量必为极小充分统计量,因此\(X_{(n)}\)是完备的极小充分统计量。
注的补充说明
注中提到:若\(X_1 \sim R(\theta_1, \theta_2)\)(双参数均匀分布,\(\theta_1<\theta_2\)为未知参数),则\(T=(X_{(1)}, X_{(n)})\)是完备的极小充分统计量。
核心逻辑:
- 充分性:样本联合密度仅通过\(X_{(1)},X_{(n)}\)与参数相关,由因子分解定理得充分性;
- 完备性:对期望为0的积分方程,先对\(\theta_2\)求导、再对\(\theta_1\)求导,可推出\(h=0\)几乎处处成立;
- 极小充分性:完备充分统计量必为极小充分统计量。
关键区别:双参数均匀分布的参数空间是二维的,而例2.2.12中\(R(\theta-1/2,\theta+1/2)\)的参数空间是一维的,参数空间“足够丰富”是完备性成立的核心前提。
核心方法与知识点总结
| 对比维度 | 例2.2.10 平移Gamma分布 | 例2.2.11 单参数均匀分布 |
|---|---|---|
| 核心分布 | 平移指数分布(双参数) | 单参数均匀分布 |
| 目标统计量 | \(T=(X_{(1)}, S)\) | \(T=X_{(n)}\) |
| 证明核心技巧 | 变限积分求导 + Laplace变换唯一性 | 变限积分求导(微积分基本定理) |
| 关键前提 | 指数分布的次序统计量独立性 | 分布支撑集与参数直接相关 |
| 完备性成立的核心 | 二维参数空间足够丰富 | 单参数空间覆盖所有\(\theta>0\),足够丰富 |
通用结论
- 对于支撑集与参数相关的分布族,变限积分对参数求导是证明完备性的核心技巧,可直接将积分方程转化为函数方程;
- 对于指数族分布,Laplace变换/傅里叶变换的唯一性是证明完备性的核心工具;
- 完备性高度依赖参数空间的大小:参数空间维度越高、范围越广,分布族越容易满足完备性;参数空间退化会导致完备性不成立;
- 完备的充分统计量一定是极小充分统计量,是求解最小方差无偏估计(UMVUE)的核心工具。
posted on 2026-02-23 17:01 Indian_Mysore 阅读(1) 评论(0) 收藏 举报
浙公网安备 33010602011771号