昆仑山:眼中无形心中有穴之穴人合一

夫君子之行,静以修身,俭以养德;非澹泊无以明志,非宁静无以致远。夫学须静也,才须学也;非学无以广才,非志无以成学。怠慢则不能励精,险躁则不能冶性。年与时驰,意与岁去,遂成枯落,多不接世。悲守穷庐,将复何及!

 

2.2.1分布族的完备性

统计量与分布族的完备性 详细讲解与推导

作为深耕数理统计领域60余年的研究员,我将从提出动机、核心定义、数学本质、严格推导、反例与推论、统计量完备性延伸六个维度,完整拆解这个知识点,最后进行结构化总结。


一、完备性的提出动机:为什么要研究这个性质?

数理统计的核心任务,是通过样本\(X\)推断总体的未知参数\(\theta\),而我们几乎所有的推断都依赖于统计量的期望性质(比如无偏估计、矩估计)。

这里就出现了一个非常核心的现实问题:

假设我们有两个可测函数\(h_1(X)\)\(h_2(X)\),如果它们的数学期望对所有的参数\(\theta \in \Theta\)都相等,即\(\mathbb{E}_\theta[h_1(X)] = \mathbb{E}_\theta[h_2(X)], \forall \theta \in \Theta\),我们能不能断定\(h_1(x)\)\(h_2(x)\)是“几乎完全一样”的?

等价地说:如果一个随机变量的期望对所有参数都恒为0,即\(\mathbb{E}_\theta[h(X)] = 0, \forall \theta \in \Theta\),能不能推出\(h(x)\)几乎处处为0?

这个问题直接决定了统计推断的唯一性:比如无偏估计,如果两个不同的函数都能成为参数的无偏估计,我们就无法从期望的角度唯一确定最优估计;而完备性,就是为了保证“期望相等”能唯一确定函数本身,为统计推断的唯一性提供理论支撑。


二、分布族完备性的严格定义与等价性证明

2.1 前置符号说明

  • 总体\(X\)服从分布族\(\mathcal{F} = \{f(x,\theta), \theta \in \Theta\}\):其中\(\Theta\)为参数空间,\(f(x,\theta)\)\(X\)的概率密度函数(连续型)/概率质量函数(离散型,积分替换为求和),\(P_\theta\)是参数\(\theta\)对应的概率测度。
  • 可测函数\(h(x)\):保证\(h(X)\)是随机变量,且数学期望\(\mathbb{E}_\theta[h(X)]\)存在。
  • \(\text{a.e. } P_\theta\):几乎处处关于\(P_\theta\)成立,即集合\(\{x: h(x) \neq 0\}\)\(P_\theta\)测度为0,也就是“不成立的点概率为0”,是概率意义下的“恒成立”。

2.2 分布族完备性的正式定义

定义2.2.1\(X \sim \mathcal{F} = \{f(x,\theta), \theta \in \Theta\}\),称分布族\(\mathcal{F}\)完备的,若对任意可测函数\(h(x)\),由

\[\varphi(\theta) = \mathbb{E}_\theta[h(X)] = \int_{-\infty}^{+\infty} h(x) dF_\theta(x) = 0, \quad \forall \theta \in \Theta \]

可推出\(h(x) = 0 \ (\text{a.e. } P_\theta)\)

2.3 等价定义与严格证明

完备性有一个更直观的等价定义:

对任意两个可测函数\(h_1(x), h_2(x)\),若\(\mathbb{E}_\theta[h_1(X)] = \mathbb{E}_\theta[h_2(X)], \forall \theta \in \Theta\),则可推出\(h_1(x) = h_2(x) \ (\text{a.e. } P_\theta)\)

下面证明两个定义的等价性:

  1. 必要性(原定义→等价定义)
    假设\(\mathbb{E}_\theta[h_1(X)] = \mathbb{E}_\theta[h_2(X)]\)对所有\(\theta \in \Theta\)成立。令\(h(x) = h_1(x) - h_2(x)\),根据期望的线性性:

    \[\mathbb{E}_\theta[h(X)] = \mathbb{E}_\theta[h_1(X)] - \mathbb{E}_\theta[h_2(X)] = 0, \quad \forall \theta \in \Theta \]

    根据原定义的完备性,由上式可推出\(h(x) = 0 \ (\text{a.e. } P_\theta)\),即\(h_1(x) = h_2(x) \ (\text{a.e. } P_\theta)\),必要性得证。

  2. 充分性(等价定义→原定义)
    假设等价定义成立,取\(h_2(x) \equiv 0\),则若\(\mathbb{E}_\theta[h_1(X)] = 0 = \mathbb{E}_\theta[h_2(X)], \forall \theta \in \Theta\),根据等价定义可直接推出\(h_1(x) = 0 \ (\text{a.e. } P_\theta)\),完全符合原定义的要求,充分性得证。


三、完备性的数学本质:积分变换的唯一性

完备性不是一个孤立的统计概念,它的本质是积分变换的单射性(唯一性)

我们把期望式展开:

\[\mathbb{E}_\theta[h(X)] = \int_{-\infty}^{+\infty} h(x) f(x,\theta) dx = \varphi(\theta) \]

这个式子可以看作一个积分变换

  • 变换的原像:样本空间上的可测函数\(h(x)\)
  • 变换的核:分布族的密度\(f(x,\theta)\)
  • 变换的像:参数空间上的函数\(\varphi(\theta)\)

完备性,就是这个积分变换是单射:如果变换后的像\(\varphi(\theta) \equiv 0\)(对所有\(\theta\)),那么变换前的原像\(h(x)\)只能是几乎处处为0的函数。换句话说,这个积分变换的零空间(核空间)中只有几乎处处为0的函数,没有非零元素。

我们可以用两个经典的积分变换类比,更直观理解这个性质:

  1. Fourier变换\(h(x) \mapsto \varphi(t) = \int_{-\infty}^{+\infty} h(x) e^{itx} dx\),它是唯一的——若\(\varphi(t) = 0\)对所有\(t\)成立,则\(h(x) = 0 \ \text{a.e.}\)
  2. Laplace变换\(h(x) \mapsto \psi(s) = \int_{0}^{+\infty} h(x) e^{-sx} dx\),在收敛域内是唯一的——若\(\psi(s) = 0\)对收敛域内所有\(s\)成立,则\(h(x) = 0 \ \text{a.e.}\)

而分布族的完备性,就是以\(f(x,\theta)\)为核的积分变换,具备和Fourier、Laplace变换一样的唯一性。


四、反例:不完备的分布族

不是所有分布族都是完备的,我们用教材中的经典例子,验证不完备的分布族,同时加深对定义的理解。

例子:设\(X \sim N(0, \sigma^2)\),参数空间\(\Theta = \{\sigma^2: \sigma^2 > 0\}\),分布族\(\mathcal{F} = \{N(0, \sigma^2), \sigma^2 > 0\}\),证明该分布族不完备。

证明
取可测函数\(h(x) = x\),计算其数学期望:

\[\mathbb{E}_{\sigma^2}[h(X)] = \mathbb{E}_{\sigma^2}[X] = 0, \quad \forall \sigma^2 > 0 \]

显然,\(h(x) = x\)不是几乎处处为0的:正态分布的支撑是整个实数轴,\(\{x: h(x) \neq 0\} = \mathbb{R} \setminus \{0\}\),其\(P_{\sigma^2}\)测度为1,完全不满足\(h(x) = 0 \ \text{a.e. } P_\theta\)

根据完备性的定义,该分布族不满足完备性的要求,因此是不完备分布族

直观解释:这个分布族的密度是偶函数(\(f(-x,\sigma^2)=f(x,\sigma^2)\)),所有奇函数的期望都恒为0(比如\(h(x)=x, h(x)=x^3\)等),存在大量非零的\(h(x)\)满足期望为0,积分变换的零空间有非零元素,因此不具备唯一性,也就是不完备。


五、推论的严格证明与直观解释

5.1 推论内容

若分布族\(\mathcal{F} = \{f(x,\theta), \theta \in \Theta\}\)完备,且参数空间\(\Theta' \supset \Theta\),则分布族\(\mathcal{F}' = \{f(x,\theta), \theta \in \Theta'\}\)也完备;反之不成立。

5.2 正向结论的严格证明

证明
要证明\(\mathcal{F}'\)是完备的,根据完备性的定义,只需证明:对任意可测函数\(h(x)\),若

\[\mathbb{E}_\theta[h(X)] = 0, \quad \forall \theta \in \Theta' \]

则可推出\(h(x) = 0 \ (\text{a.e. } P_\theta)\)

已知\(\Theta' \supset \Theta\),因此“对所有\(\theta \in \Theta'\)期望为0”,必然包含“对所有\(\theta \in \Theta\)期望为0”,即:

\[\mathbb{E}_\theta[h(X)] = 0, \quad \forall \theta \in \Theta \]

\(\mathcal{F}\)是完备分布族,根据完备性定义,由上式可直接推出\(h(x) = 0 \ (\text{a.e. } P_\theta)\),完全满足\(\mathcal{F}'\)完备的定义。因此\(\mathcal{F}'\)是完备的,正向结论得证。

5.3 反向结论不成立的解释与例子

\(\mathcal{F}'\)完备,\(\Theta \subset \Theta'\),则\(\mathcal{F}\)完备”这个结论不成立,核心原因是:

参数空间越大,对\(\varphi(\theta)=0\)的约束就越多(要求φ在更多的θ上等于0),越难找到非零的\(h(x)\)满足条件,因此越容易完备;反之,参数空间越小,约束越少,越容易找到非零的\(h(x)\),越容易不完备。

反例
\(\mathcal{F}' = \{N(\mu, 1), \mu \in \mathbb{R}\}\)(均值\(\mu\)为参数,方差固定为1,参数空间为全体实数),该分布族是完备的;取\(\Theta = \{0\}\),则\(\mathcal{F} = \{N(0,1)\}\)(仅包含一个分布)。

\(\mathcal{F}\),取\(h(x)=x\),则\(\mathbb{E}_0[h(X)] = 0\),但\(h(x)=x\)不是几乎处处为0,因此\(\mathcal{F}\)是不完备的。

这个例子中,\(\mathcal{F}'\)完备、\(\Theta \subset \Theta'\),但\(\mathcal{F}\)不完备,直接证明了反向结论不成立。


六、延伸:统计量的完备性

我们的核心主题是“统计量的完备性”,而分布族的完备性是它的基础,这里给出统计量完备性的定义与核心结论。

6.1 统计量完备性的定义

\(T = T(X)\)是基于样本\(X\)的统计量,它的抽样分布族为\(\mathcal{F}_T = \{f_T(t, \theta), \theta \in \Theta\}\)\(f_T(t,\theta)\)\(T\)的概率密度/质量函数)。若分布族\(\mathcal{F}_T\)是完备的,则称统计量\(T(X)\)完备统计量

等价定义:统计量\(T\)是完备的,当且仅当对任意可测函数\(g(t)\),若

\[\mathbb{E}_\theta[g(T)] = 0, \quad \forall \theta \in \Theta \]

则可推出\(g(t) = 0 \ (\text{a.e. } P_\theta^T)\)(关于\(T\)的分布几乎处处为0)。

6.2 经典例子:正态分布样本均值的完备性证明

\(X_1,X_2,\dots,X_n\)是来自\(N(\mu, 1)\)的独立同分布样本,参数\(\mu \in \mathbb{R}\),证明样本均值\(\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i\)是完备统计量。

证明

  1. 首先写出\(\bar{X}\)的抽样分布:\(\bar{X} \sim N\left(\mu, \frac{1}{n}\right)\),其概率密度为:

    \[f(t,\mu) = \sqrt{\frac{n}{2\pi}} \exp\left\{ -\frac{n}{2}(t - \mu)^2 \right\}, \quad t \in \mathbb{R} \]

  2. 对任意可测函数\(g(t)\),假设\(\mathbb{E}_\mu[g(\bar{X})] = 0, \forall \mu \in \mathbb{R}\),展开期望:

    \[\int_{-\infty}^{+\infty} g(t) \cdot \sqrt{\frac{n}{2\pi}} \exp\left\{ -\frac{n}{2}(t - \mu)^2 \right\} dt = 0, \quad \forall \mu \in \mathbb{R} \]

  3. 展开指数项,分离与\(t\)无关的项:

    \[-\frac{n}{2}(t - \mu)^2 = -\frac{n}{2}t^2 + nt\mu - \frac{n}{2}\mu^2 \]

    代入后,将\(\sqrt{\frac{n}{2\pi}} e^{-\frac{n}{2}\mu^2}\)(恒大于0)提出,原式等价于:

    \[\int_{-\infty}^{+\infty} \left[ g(t) e^{-\frac{n}{2}t^2} \right] e^{nt\mu} dt = 0, \quad \forall \mu \in \mathbb{R} \]

  4. \(s = n\mu\),则\(s \in \mathbb{R}\),上式变为:

    \[\int_{-\infty}^{+\infty} h(t) e^{st} dt = 0, \quad \forall s \in \mathbb{R} \]

    其中\(h(t) = g(t) e^{-\frac{n}{2}t^2}\)。左边是\(h(t)\)的双边Laplace变换,在整个实数域上收敛,根据Laplace变换的唯一性,变换结果恒为0当且仅当\(h(t) = 0 \ \text{a.e.}\)
  5. 由于\(e^{-\frac{n}{2}t^2} > 0\)对所有\(t\)成立,因此\(h(t) = 0 \ \text{a.e.}\)等价于\(g(t) = 0 \ \text{a.e.}\)

综上,\(\bar{X}\)的抽样分布族是完备的,因此\(\bar{X}\)是完备统计量。


七、核心知识点结构化总结表

核心概念 严格定义/表述 数学本质 关键结论/反例
分布族的完备性 对任意可测函数\(h(x)\),若\(\mathbb{E}_\theta[h(X)] = 0, \forall \theta \in \Theta\),则\(h(x) = 0 \ (\text{a.e. } P_\theta)\) \(f(x,\theta)\)为核的积分变换具有唯一性(单射性),零空间仅含几乎处处为0的函数 正例:\(\{N(\mu,1), \mu \in \mathbb{R}\}\)完备;反例:\(\{N(0,\sigma^2), \sigma^2>0\}\)不完备
完备性的等价定义 对任意\(h_1,h_2\),若\(\mathbb{E}_\theta[h_1(X)] = \mathbb{E}_\theta[h_2(X)], \forall \theta \in \Theta\),则\(h_1(x) = h_2(x) \ (\text{a.e. } P_\theta)\) 期望映射是单射:相同的期望对应唯一的函数(几乎处处) 与原定义完全等价,是无偏估计唯一性的理论基础
完备性的推论 \(\mathcal{F}(\Theta)\)完备,\(\Theta' \supset \Theta\),则\(\mathcal{F}'(\Theta')\)完备;反之不成立 参数空间越大,积分变换的约束越强,越容易满足唯一性 例子:\(\{N(\mu,1), \mu \in \mathbb{R}\}\)完备,但子族\(\{N(0,1)\}\)不完备
统计量的完备性 统计量\(T\)的抽样分布族\(\mathcal{F}_T\)是完备的,则\(T\)为完备统计量 统计量的期望映射具有唯一性 例子:正态分布\(N(\mu,1)\)的样本均值\(\bar{X}\)是完备统计量
完备性的核心应用 1. Lehmann-Scheffé定理:完备充分统计量的无偏估计是唯一的(几乎处处);2. Basu定理:完备充分统计量与辅助统计量相互独立 为参数估计的唯一性、统计量的独立性证明提供核心支撑 是UMVUE(一致最小方差无偏估计)的核心理论基础

常见分布族完备性例题 详细讲解与推导

一、通用证明框架

要证明分布族\(\mathcal{F}=\{f(x,\theta),\theta\in\Theta\}\)完备,核心是遵循完备性定义:

任取可测函数\(h(x)\),若\(\mathbb{E}_\theta[h(X)]=0\)所有\(\theta\in\Theta\)成立,可推出\(h(x)=0 \ (\text{a.e. } P_\theta)\),则\(\mathcal{F}\)完备;若能找到一个非零的\(h(x)\)使得期望恒为0,则\(\mathcal{F}\)不完备。

核心证明工具分为三类:

  1. Laplace变换唯一性:若函数的Laplace变换在收敛域内恒为0,则原函数几乎处处为0;
  2. 多项式恒等定理:次数不超过n的多项式在无穷多点取值为0,则所有系数全为0;
  3. Lebesgue微分定理:变限积分恒为0,则被积函数几乎处处为0。

二、各例题详细推导

例2.2.1 Γ(伽马)分布族的完备性

\(\Gamma(\lambda,\nu)\)的概率密度:\(f(x;\lambda,\nu) = \frac{\lambda^\nu}{\Gamma(\nu)} x^{\nu-1} e^{-\lambda x}, \ x>0\),参数\(\lambda>0,\nu>0\)

完整推导

  1. 任取可测函数\(h(x)\),假设对所有\(\lambda>0,\nu>0\),有

    \[\mathbb{E}_{\lambda,\nu}[h(X)] = \int_0^\infty h(x) \cdot \frac{\lambda^\nu}{\Gamma(\nu)} x^{\nu-1} e^{-\lambda x} dx = 0 \]

  2. 化简:\(\frac{\lambda^\nu}{\Gamma(\nu)}>0\),两边乘\(\frac{\Gamma(\nu)}{\lambda^\nu}\)

    \[\int_0^\infty \left[ h(x) x^{\nu-1} \right] e^{-\lambda x} dx = 0, \ \forall \lambda>0 \]

  3. 识别Laplace变换:上式是\(g(x)=h(x)x^{\nu-1}\)的单边Laplace变换,在\(\lambda>0\)上恒为0。
  4. 应用唯一性:由Laplace变换唯一性,得\(g(x)=h(x)x^{\nu-1}=0 \ \text{a.e.}\)
  5. 结论:\(x>0\)\(x^{\nu-1}\neq0\),故\(h(x)=0 \ \text{a.e.}\),因此\(\Gamma\)分布族\(\mathcal{F}=\{\Gamma(\lambda,\nu),\lambda>0,\nu>0\}\)完备。

固定形状参数的子族

\(\mathcal{F}_0 = \{\Gamma(\lambda,\nu_0),\lambda>0\}\)\(\nu_0\)已知),推导与上述完全一致,同样可证完备。


例2.2.2 正态分布族的完备性

正态分布\(N(\mu,\sigma^2)\)的概率密度:\(\varphi_{\mu,\sigma}(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left\{ -\frac{(x-\mu)^2}{2\sigma^2} \right\}, \ x\in\mathbb{R}\)

(1) 方差固定\(\sigma^2=1\),均值\(\mu\in\mathbb{R}\)\(\mathcal{F}_1=\{N(\mu,1),\mu\in\mathbb{R}\}\)完备

  1. 任取\(h(x)\),假设\(\mathbb{E}_\mu[h(X)] = \int_{-\infty}^\infty h(x) \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{(x-\mu)^2}{2}} dx = 0, \ \forall \mu\in\mathbb{R}\)
  2. 展开指数项:\(-\frac{(x-\mu)^2}{2} = -\frac{x^2}{2} + \mu x - \frac{\mu^2}{2}\),提出正的常数项\(\frac{1}{\sqrt{2\pi}}e^{-\frac{\mu^2}{2}}\),得

    \[\int_{-\infty}^\infty \left[ h(x) e^{-\frac{x^2}{2}} \right] e^{\mu x} dx = 0, \ \forall \mu\in\mathbb{R} \]

  3. 识别双边Laplace变换,应用唯一性得\(h(x)e^{-\frac{x^2}{2}}=0 \ \text{a.e.}\)
  4. 结论:\(e^{-\frac{x^2}{2}}>0\),故\(h(x)=0 \ \text{a.e.}\)\(\mathcal{F}_1\)完备。

(2) 方差固定为\(\sigma_0^2\),均值\(\mu\in\mathbb{R}\)\(\mathcal{F}_2=\{N(\mu,\sigma_0),\mu\in\mathbb{R}\}\)完备

推导与(1)完全一致,仅替换方差项,可证完备。

(3) 均值固定为0,方差\(\sigma^2>0\)\(\mathcal{F}_3=\{N(0,\sigma^2),\sigma^2>0\}\)不完备

要证不完备,只需找到非零的\(h(x)\)使得期望恒为0:
\(h(x)=x\),显然\(h(x)\neq0 \ \text{a.e.}\),而\(X\sim N(0,\sigma^2)\)\(\mathbb{E}_\sigma[X]=0\)对所有\(\sigma^2>0\)成立,因此\(\mathcal{F}_3\)不完备。

(4) 均值固定为\(\mu_0\),方差\(\sigma^2>0\)\(\mathcal{F}_4=\{N(\mu_0,\sigma^2),\sigma^2>0\}\)不完备

\(h(x)=x-\mu_0\),则\(\mathbb{E}_\sigma[h(X)]=0\)对所有\(\sigma^2>0\)成立,且\(h(x)\neq0 \ \text{a.e.}\),故\(\mathcal{F}_4\)不完备。

(5) 均值、方差均为参数:\(\mathcal{F}=\{N(\mu,\sigma^2),\mu\in\mathbb{R},\sigma^2>0\}\)完备

\(\mathcal{F}\)的参数空间包含\(\mathcal{F}_1\)的参数空间,由参数空间单调性推论(子族完备则全族完备),结合\(\mathcal{F}_1\)完备,可直接推出\(\mathcal{F}\)完备。


例2.2.3 β(贝塔)分布族的完备性

\(BE(a,b)\)的概率密度:\(f(x;a,b) = \frac{1}{\beta(a,b)} x^{a-1} (1-x)^{b-1}, \ x\in(0,1)\),参数\(a>0,b>0\)

完整推导

  1. 先证固定\(b=b_0\)的子族\(\mathcal{F}_0=\{BE(a,b_0),a>0\}\)完备:
    任取\(h(x)\),假设\(\mathbb{E}_a[h(X)] = \int_0^1 h(x) \cdot \frac{1}{\beta(a,b_0)} x^{a-1} (1-x)^{b_0-1} dx = 0, \ \forall a>0\)
  2. 变量替换:令\(t=-\ln x\)(即\(x=e^{-t}\)),\(dx=-e^{-t}dt\),代入后化简得

    \[\frac{1}{\beta(a,b_0)} \int_0^\infty \left[ h(e^{-t}) (1-e^{-t})^{b_0-1} \right] e^{-at} dt = 0 \]

  3. 提出正的常数项,识别单边Laplace变换,应用唯一性得\(h(e^{-t})(1-e^{-t})^{b_0-1}=0 \ \text{a.e.}\)
  4. 还原变量:\(x\in(0,1)\)\((1-x)^{b_0-1}>0\),故\(h(x)=0 \ \text{a.e.}\)\(\mathcal{F}_0\)完备。
  5. 全族完备性:\(\mathcal{F}=\{BE(a,b),a>0,b>0\}\)的参数空间包含\(\mathcal{F}_0\),由单调性推论,\(\mathcal{F}\)完备。

例2.2.4 二项分布族的完备性

二项分布\(b(n,\theta)\)的概率质量函数:\(P(X=x)=\binom{n}{x}\theta^x(1-\theta)^{n-x}, \ x=0,1,\dots,n\),参数\(\theta\in(0,1)\)

完整推导

  1. 任取\(h(x)\),假设\(\mathbb{E}_\theta[h(X)] = \sum_{x=0}^n h(x) \binom{n}{x} \theta^x (1-\theta)^{n-x} = 0, \ \forall \theta\in(0,1)\)
  2. 代数变形:两边除以\((1-\theta)^n>0\),令\(y=\frac{\theta}{1-\theta}\)\(\theta\in(0,1)\)对应\(y>0\)),得

    \[\sum_{x=0}^n \left[ h(x)\binom{n}{x} \right] y^x = 0, \ \forall y>0 \]

  3. 应用多项式恒等定理:上式是n次多项式,在无穷多\(y>0\)上为0,故所有系数为0,即\(h(x)\binom{n}{x}=0\)
  4. 结论:\(\binom{n}{x}>0\),故\(h(x)=0\)对所有\(x=0,1,\dots,n\)成立,二项分布族\(\mathcal{F}=\{b(n,\theta),\theta\in(0,1)\}\)完备。

例2.2.5 均匀分布族\(\mathcal{F}=\{U(0,\theta),\theta>0\}\)的完备性

均匀分布\(U(0,\theta)\)的概率密度:\(f(x;\theta)=\frac{1}{\theta}I_{(0,\theta)}(x)\),参数\(\theta>0\)

完整推导

  1. 任取\(h(x)\),假设\(\mathbb{E}_\theta[h(X)] = \int_0^\theta h(x) \cdot \frac{1}{\theta} dx = 0, \ \forall \theta>0\)
  2. 化简:两边乘\(\theta>0\),得变上限积分\(\varphi(\theta)=\int_0^\theta h(x)dx=0, \ \forall \theta>0\)
  3. 应用Lebesgue微分定理:\(\varphi(\theta)\)绝对连续,几乎处处可导,且\(\varphi'(\theta)=h(\theta) \ \text{a.e.}\)
  4. 结论:\(\varphi(\theta)\)恒为0,故导数\(h(\theta)=0 \ \text{a.e.}\),均匀分布族\(\mathcal{F}=\{U(0,\theta),\theta>0\}\)完备。

例2.2.6 位置参数指数分布族的完备性

位置参数指数分布\(E(1,\mu)\)的概率密度:\(f(x;\mu)=e^{-(x-\mu)}I_{(\mu,+\infty)}(x)\),参数\(\mu\in\mathbb{R}\)

完整推导

  1. 任取\(h(x)\),假设\(\mathbb{E}_\mu[h(X)] = \int_\mu^\infty h(x) e^{-(x-\mu)} dx = 0, \ \forall \mu\in\mathbb{R}\)
  2. 化简:提出\(e^\mu>0\),得变下限积分\(\varphi(\mu)=\int_\mu^\infty h(x)e^{-x}dx=0, \ \forall \mu\in\mathbb{R}\)
  3. 求导:\(\varphi(\mu)\)几乎处处可导,导数\(\varphi'(\mu) = -h(\mu)e^{-\mu} \ \text{a.e.}\)
  4. 结论:\(\varphi(\mu)\)恒为0,故\(h(\mu)e^{-\mu}=0\),结合\(e^{-\mu}>0\)\(h(\mu)=0 \ \text{a.e.}\),该分布族完备。

推论

位置参数伽马分布族\(\{\mu+\Gamma(\lambda,1)\}\)完备:其参数空间包含上述位置指数分布族(\(\Gamma(1,1)=E(1,\mu)\)),由单调性推论得证。


三、所有例题核心结论汇总表

分布族 参数空间 完备性 核心证明工具 关键要点
\(\Gamma(\lambda,\nu)\) \(\lambda>0,\nu>0\) 完备 Laplace变换唯一性 固定形状参数\(\nu_0\)的子族同样完备
\(N(\mu,1)\) \(\mu\in\mathbb{R}\) 完备 双边Laplace变换唯一性 方差固定、均值自由的正态分布族完备
\(N(\mu,\sigma_0^2)\) \(\mu\in\mathbb{R}\) 完备 双边Laplace变换唯一性 任意固定方差的均值族均完备
\(N(0,\sigma^2)\) \(\sigma^2>0\) 不完备 构造反例\(h(x)=x\) 均值固定、方差自由的正态分布族,奇函数期望恒为0
\(N(\mu_0,\sigma^2)\) \(\sigma^2>0\) 不完备 构造反例\(h(x)=x-\mu_0\) 固定均值的方差族均不完备
\(N(\mu,\sigma^2)\) \(\mu\in\mathbb{R},\sigma^2>0\) 完备 参数空间单调性推论 均值、方差均自由的全正态分布族完备
\(BE(a,b)\) \(a>0,b>0\) 完备 变量替换+Laplace变换+单调性推论 固定一个参数的子族完备,全族也完备
\(b(n,\theta)\) \(\theta\in(0,1)\) 完备 多项式恒等定理 参数空间为开区间时完备,有限参数空间不完备
\(U(0,\theta)\) \(\theta>0\) 完备 Lebesgue微分定理(变上限积分求导) 单边均匀分布族完备,双边双参数均匀分布的次序统计量完备
\(E(1,\mu)\)(位置指数) \(\mu\in\mathbb{R}\) 完备 Lebesgue微分定理(变下限积分求导) 位置参数指数分布族完备,可推广到位置伽马分布族

统计量完备性知识点 详细归纳总结表

知识点分类 核心内容与严格表述 关键说明/数学本质 典型实例/反例
一、基础核心定义
1. 分布族的完备性(完备分布族) 设总体\(X \sim \mathcal{F} = \{f(x,\theta), \theta \in \Theta\}\)\(f(x,\theta)\)为概率密度/质量函数,\(\Theta\)为参数空间)。若对任意可测函数\(h(x)\),由\(\mathbb{E}_\theta[h(X)] = \int h(x)dF_\theta(x) = 0, \quad \forall \theta \in \Theta\)可推出\(h(x) = 0 \ (\text{a.e. } P_\theta)\)(关于概率测度\(P_\theta\)几乎处处为0),则称分布族\(\mathcal{F}\)完备分布族 本质是积分变换的唯一性(单射性):以分布密度\(f(x,\theta)\)为核的积分变换,其零空间仅包含几乎处处为0的函数;即“变换后的像恒为0”能唯一推出“原像几乎处处为0”。 正例:正态分布族\(\{N(\mu,1), \mu \in \mathbb{R}\}\)是完备分布族;
反例:正态分布族\(\{N(0,\sigma^2), \sigma^2>0\}\)是不完备分布族。
2. 统计量的完备性 \(T=T(X)\)是基于样本\(X\)的统计量,其抽样分布族为\(\mathcal{F}_T = \{f_T(t,\theta), \theta \in \Theta\}\)。若\(\mathcal{F}_T\)是完备分布族,则称\(T(X)\)完备统计量
等价表述:对任意可测函数\(g(t)\),若\(\mathbb{E}_\theta[g(T)] = 0, \forall \theta \in \Theta\),则\(g(t) = 0 \ (\text{a.e. } P_\theta^T)\)
是分布族完备性在统计量抽样分布上的延伸,本质是统计量的期望映射具有单射性:若两个关于\(T\)的函数对所有参数的期望相等,则两个函数几乎处处相等。 正例:设\(X_1,\dots,X_n \sim N(\mu,1)\),样本均值\(\bar{X}\)是完备统计量;
反例:设\(X \sim N(0,\sigma^2)\),统计量\(T=X\)是不完备统计量。
3. 完备性的等价定义 对分布族\(\mathcal{F}\),若对任意两个可测函数\(h_1(x),h_2(x)\),由\(\mathbb{E}_\theta[h_1(X)] = \mathbb{E}_\theta[h_2(X)], \quad \forall \theta \in \Theta\)可推出\(h_1(x) = h_2(x) \ (\text{a.e. } P_\theta)\),则\(\mathcal{F}\)是完备分布族。 是原定义的直接推论,也是实际应用中更常用的形式;核心是“期望全参数相等”等价于“函数本身几乎处处相等”,是无偏估计唯一性的理论基础。 \(T\)是完备统计量,\(g_1(T)\)\(g_2(T)\)都是参数\(g(\theta)\)的无偏估计,则\(g_1(T)=g_2(T) \ \text{a.e.}\)
二、核心性质与推论
1. 参数空间单调性推论 若分布族\(\mathcal{F} = \{f(x,\theta), \theta \in \Theta\}\)完备,且参数空间\(\Theta' \supset \Theta\),则分布族\(\mathcal{F}' = \{f(x,\theta), \theta \in \Theta'\}\)也完备;反之不成立。 参数空间越大,对\(\mathbb{E}_\theta[h(X)]=0\)的约束越强(要求在更多参数上成立),越难找到非零的\(h(x)\)满足条件,因此越容易完备;参数空间缩小,约束减弱,更容易出现不完备。 正例:\(\{N(\mu,1), \mu \in \mathbb{R}\}\)完备,其扩展族\(\{N(\mu,1), \mu \in [-100,100]\}\)也完备;
反例:\(\{N(\mu,1), \mu \in \mathbb{R}\}\)完备,但子族\(\{N(0,1)\}\)(单点参数空间)不完备。
2. 完备性的可测变换不变性 \(T(X)\)是完备统计量,\(S = \psi(T)\)是关于\(T\)的Borel可测函数,则\(S\)也是完备统计量。 完备性可通过可测函数传递:若\(T\)的期望映射是单射,则其可测变换的期望映射也保持单射性。 \(X_1,\dots,X_n \sim N(\mu,1)\)\(\bar{X}\)是完备统计量,则\(S=2\bar{X}+1\)\(S=\bar{X}^2\)均为完备统计量。
3. 有界完备性(弱完备性) 若对任意有界可测函数\(h(x)\),由\(\mathbb{E}_\theta[h(X)]=0, \forall \theta \in \Theta\)可推出\(h(x)=0 \ (\text{a.e. } P_\theta)\),则称分布族为有界完备的。 是比完备性更弱的性质:完备分布族一定是有界完备的,有界完备分布族不一定是完备的;本质是仅对有界函数保证积分变换的唯一性。 位置参数分布族的次序统计量是有界完备的,但不一定是完备的。
三、易混淆概念对比
完备性 vs 充分性 完备性:统计量包含的参数信息无冗余,不会出现“不同函数对应相同的参数期望”;
充分性:统计量包含样本中关于参数的全部信息,样本在给定统计量的条件下与参数无关。
二者是完全独立的两个性质:
- 充分性是“信息全包含”,完备性是“信息无冗余”;
- 一个统计量可以是充分但不完备的,也可以是完备但不充分的。
充分但不完备:设\(X_1,\dots,X_n \sim N(0,\sigma^2)\),样本二阶矩\(T=\sum_{i=1}^n X_i^2\)是充分统计量,但\(T\)本身不完备;
完备但不充分:设\(X_1,\dots,X_n \sim N(\mu,1)\)\(T=X_1\)是完备统计量,但不是充分统计量。
完备性 vs 有界完备性 完备性:对所有可测函数满足期望为0→几乎处处为0;
有界完备性:仅对有界可测函数满足上述性质。
强弱关系:完备性 ⇒ 有界完备性,反向不成立;有界完备性足以支撑Basu定理等核心结论,适用范围更广。 反例:均匀分布族\(\{U(\theta,\theta+1), \theta \in \mathbb{R}\}\)是有界完备的,但不是完备的。
四、常用分布族的完备性判定结论
1. 指数族完备性核心定理 设分布族为自然形式指数族\(f(x,\theta) = C(\theta) \exp\left\{ \sum_{i=1}^k \theta_i T_i(x) \right\} h(x)\)若其自然参数空间\(\Theta\)包含非空开集(内点),则其自然充分统计量\(T(X)=(T_1(X),\dots,T_k(X))\)是完备统计量。 是数理统计中判定完备性的最核心工具,绝大多数常用的完备统计量都来自该定理;“参数空间有内点”是关键条件,缺失则无法保证完备性。 正例:二项分布\(B(n,p)\)、泊松分布\(P(\lambda)\)、正态分布\(N(\mu,\sigma^2)\)、指数分布\(Exp(\lambda)\)均满足条件,其自然充分统计量均为完备统计量;
反例:二项分布\(B(1,p)\),若参数空间\(p \in \{0.1,0.2\}\)(无内点),则分布族不完备。
2. 离散型常用分布完备性 - 二项分布\(B(n,p)\)\(p \in (0,1)\)时,样本和\(\sum X_i\)是完备统计量;
- 泊松分布\(P(\lambda)\)\(\lambda>0\)时,样本和\(\sum X_i\)是完备统计量;
- 几何分布\(Ge(p)\)\(p \in (0,1)\)时,样本和\(\sum X_i\)是完备统计量。
均属于指数族,参数空间为开区间,满足指数族完备性定理的条件。 反例:泊松分布\(P(\lambda)\),若\(\lambda\)的参数空间为有限集,则样本和不是完备统计量。
3. 连续型常用分布完备性 - 正态分布\(N(\mu,\sigma^2)\)\(\mu \in \mathbb{R},\sigma^2>0\)时,\((\sum X_i, \sum X_i^2)\)是完备统计量;
- 指数分布\(Exp(\lambda)\)\(\lambda>0\)时,样本和\(\sum X_i\)是完备统计量;
- 均匀分布\(U(0,\theta)\)\(\theta>0\)时,样本最大值\(X_{(n)}\)是完备统计量;
- 均匀分布\(U(\theta_1,\theta_2)\)\(\theta_1<\theta_2\)时,\((X_{(1)},X_{(n)})\)是完备统计量。
均匀分布不属于指数族,需通过完备性的原始定义直接验证;其余分布均满足指数族完备性条件。 反例:均匀分布\(U(\theta,\theta+1)\)\(\theta \in \mathbb{R}\)时,次序统计量不是完备统计量。
五、与完备性相关的核心定理
1. Lehmann-Scheffé定理 \(T(X)\)是参数\(\theta\)完备充分统计量\(g(T)\)\(g(\theta)\)的无偏估计,则\(g(T)\)\(g(\theta)\)唯一一致最小方差无偏估计(UMVUE)(几乎处处意义下)。 完备性是UMVUE唯一性的核心保障:若无完备性,可能存在多个不同的无偏估计,无法确定唯一的最小方差估计。 \(X_1,\dots,X_n \sim Exp(\lambda)\),样本和\(T=\sum X_i\)是完备充分统计量,\(\frac{n-1}{T}\)\(\lambda\)的无偏估计,因此是\(\lambda\)的UMVUE。
2. Basu定理 \(T(X)\)是参数\(\theta\)完备充分统计量\(S(X)\)辅助统计量(其分布与参数\(\theta\)无关),则\(T(X)\)\(S(X)\)相互独立。 完备性是证明统计量独立性的核心工具,无需计算联合分布与边缘分布,仅通过完备性、充分性、辅助性三个性质即可直接判定独立。 \(X_1,\dots,X_n \sim N(\mu,\sigma^2)\),样本均值\(\bar{X}\)\(\mu\)的完备充分统计量,样本方差\(S^2\)是辅助统计量,因此\(\bar{X}\)\(S^2\)相互独立。
六、核心应用场景
1. 参数估计 求解参数的一致最小方差无偏估计(UMVUE),验证无偏估计的唯一性。 完备性保证了“基于完备充分统计量的无偏估计”是唯一的最优无偏估计。 基于正态分布、指数分布、二项分布的完备充分统计量,求解对应参数的UMVUE。
2. 统计量独立性证明 证明两个统计量的相互独立性,无需计算联合分布。 Basu定理的核心应用,大幅简化独立性的证明过程。 证明正态分布的样本均值与样本极差、样本变异系数等辅助统计量独立。
3. 假设检验 构造相似检验、无偏检验,确定检验的最优性。 完备性保证了检验统计量的分布性质唯一,是Neyman-Pearson理论中最优检验的重要支撑。 指数族分布的一致最优无偏检验构造。

posted on 2026-02-23 16:40  Indian_Mysore  阅读(0)  评论(0)    收藏  举报

导航