2.2.4Basu定理与辅助统计量

Basu定理与辅助统计量 详细讲解与推导

一、核心基础概念：辅助统计量

1. 定义与核心内涵

设总体\(X\)的分布族为\(\{f(x,\theta), \theta \in \Theta\}\)，其中\(\theta\)为未知参数，\(\Theta\)为参数空间。若统计量\(A = A(X)\)（\(X=(X_1,X_2,\dots,X_n)\)为样本）的概率分布完全与未知参数\(\theta\)无关，则称\(A(X)\)为辅助统计量（ancillary statistics）。

关键辨析

• 所有统计量的表达式都不含未知参数，但辅助统计量是分布也与\(\theta\)无关，是更强的约束；
• 直观意义：辅助统计量不包含任何关于未知参数\(\theta\)的信息，无法通过其取值推断\(\theta\)的大小。

2. 经典例子详解（例2.2.16）

设\(X_1,\dots,X_n\)独立同分布，\(X_1 \sim N(\theta,1)\)（\(\theta\)为未知均值，方差1已知），证明以下两个统计量为辅助统计量：

(1) \(S = \sum_{i=1}^n (X_i - \bar{X})^2\)

推导：
对于正态分布\(N(\theta,1)\)，有结论：\(\frac{1}{\sigma^2}\sum_{i=1}^n (X_i - \bar{X})^2 \sim \chi^2(n-1)\)。
此处\(\sigma^2=1\)，因此\(S \sim \chi^2(n-1)\)。
\(\chi^2(n-1)\)分布仅由自由度\(n-1\)决定，与\(\theta\)完全无关，因此\(S\)的分布与\(\theta\)无关，是辅助统计量。

(2) \(T = X_{(n)} - X_{(1)}\)（样本极差）

推导：
令\(Y_i = X_i - \theta\)，则\(Y_i \sim N(0,1)\)，其分布与\(\theta\)无关。
样本极值满足：
\(X_{(n)} = \max\{X_1,\dots,X_n\} = \max\{Y_1+\theta,\dots,Y_n+\theta\} = Y_{(n)} + \theta\)
\(X_{(1)} = \min\{X_1,\dots,X_n\} = \min\{Y_1+\theta,\dots,Y_n+\theta\} = Y_{(1)} + \theta\)
因此\(T = X_{(n)} - X_{(1)} = (Y_{(n)}+\theta) - (Y_{(1)}+\theta) = Y_{(n)} - Y_{(1)}\)。
\(Y_i\)的分布与\(\theta\)无关，故\(Y_{(n)}-Y_{(1)}\)的分布也与\(\theta\)无关，因此\(T\)是辅助统计量。

---

二、前置概念：充分统计量与完备统计量

Basu定理的核心条件是完备充分统计量，先明确两个核心定义：

1. 充分统计量：统计量\(T=T(X)\)称为\(\theta\)的充分统计量，若给定\(T=t\)时，样本\(X\)的条件分布与\(\theta\)无关。
   直观意义：\(T\)包含了样本中关于\(\theta\)的全部信息，给定\(T\)后，样本的剩余信息与\(\theta\)无关。
2. 完备统计量：设\(T\)的分布族为\(\{f_T(t,\theta), \theta \in \Theta\}\)，若对任意可测函数\(g\)，由\(E_\theta[g(T)] = 0\)对所有\(\theta \in \Theta\)成立，能推出\(g(T)=0\) 几乎处处成立（a.e.），则称\(T\)是完备统计量。
   直观意义：完备统计量的分布族中，不存在非零且对所有\(\theta\)期望为0的函数，无信息冗余。
3. 完备充分统计量：同时满足充分性和完备性的统计量。

---

三、Basu定理与完整证明

1. 定理内容

设样本\(X \sim \{f(x,\theta), \theta \in \Theta\}\)，\(T=T(X)\)为\(\theta\)的完备充分统计量，\(A=A(X)\)为\(\theta\)的辅助统计量，则\(T(X)\)与\(A(X)\)相互独立。

直观意义：完备充分统计量包含了\(\theta\)的全部信息，辅助统计量完全不含\(\theta\)的信息，二者无任何信息关联，因此相互独立。

2. 逐行详细证明

证明目标

根据随机变量独立的等价定义，只需证明：对任意可测集\(B\)，有

\[P_\theta\{A(X) \in B|T(X) = t\} = P_\theta\{A(X) \in B\}, \quad \forall \theta \in \Theta, \text{ a.e. } t \tag{2.2.1} \]

步骤1：证明等式两端均与\(\theta\)无关

• 左端：\(P_\theta\{A(X) \in B|T(X) = t\}\)
  因为\(T\)是充分统计量，根据充分性定义，给定\(T=t\)时，样本\(X\)的条件分布与\(\theta\)无关。而\(\{A(X) \in B\}\)是样本\(X\)的可测事件，因此该条件概率仅为\(t\)的函数，与\(\theta\)无关。

• 右端：\(P_\theta\{A(X) \in B\}\)
  因为\(A\)是辅助统计量，其分布与\(\theta\)无关，因此该概率是与\(\theta\)无关的常数，记为\(\alpha\)。

由此，式(2.2.1)的两端均与\(\theta\)无关，只需证明该等式对几乎所有\(t\)成立。

步骤2：事件等价转换

记\(C = A^{-1}(B) = \{X: A(X) \in B\}\)，则事件\(\{A(X) \in B\}\)等价于\(\{X \in C\}\)，因此式(2.2.1)等价于：

\[P_\theta\{X \in C|T(X) = t\} = P_\theta\{X \in C\} \tag{2.2.3} \]

步骤3：概率转期望，构造目标函数

根据示性函数的性质：对任意事件\(C\)，\(P_\theta\{X \in C\} = E_\theta[I_C(X)]\)，其中\(I_C(X)\)为示性函数（\(X \in C\)时取1，否则取0）。
同理，条件概率可写为条件期望：\(P_\theta\{X \in C|T(X)=t\} = E_\theta[I_C(X)|T(X)=t]\)。

因此式(2.2.3)等价于：

\[E_\theta[I_C(X)|T(X) = t] = \alpha \tag{2.2.4} \]

构造函数\(h(t) = E_\theta[I_C(X)|T(X) = t] - \alpha\)，我们的目标转化为证明\(h(t) = 0\) 几乎处处成立。
注：\(h(t)\)仅为\(t\)的函数，与\(\theta\)无关（因条件期望和\(\alpha\)均与\(\theta\)无关）。

步骤4：计算\(h(T)\)的期望，应用完备性

根据全期望公式（期望迭代法则）：\(E_\theta\left[ E_\theta[I_C(X)|T] \right] = E_\theta[I_C(X)]\)，因此：

\[\begin{align*} E_\theta[h(T)] &= E_\theta\left[ E_\theta[I_C(X)|T] - \alpha \right] \\ &= E_\theta\left[ E_\theta[I_C(X)|T] \right] - E_\theta[\alpha] \\ &= E_\theta[I_C(X)] - \alpha \\ &= \alpha - \alpha = 0 \end{align*} \]

该等式对所有\(\theta \in \Theta\)成立。

由于\(T\)是完备统计量，根据完备性的定义：对任意可测函数\(h\)，若\(E_\theta[h(T)]=0\)对所有\(\theta\)成立，则\(h(t)=0\) 几乎处处成立。

因此可推出\(h(t)=0\) 几乎处处成立，即式(2.2.4)成立，进而式(2.2.1)成立，故\(T(X)\)与\(A(X)\)相互独立。

---

四、Basu定理的典型应用详解

Basu定理的核心价值是大幅简化统计量独立性的证明，无需计算联合分布与边缘分布，仅需验证“完备充分统计量+辅助统计量”两个条件。

例2.2.17 正态分布的独立性结论

设\(X_1,\dots,X_n\)独立同分布，\(X_1 \sim N(\mu, \sigma^2)\)（\(\mu,\sigma^2\)为未知参数）。

(1) 样本均值\(\bar{X}\)与平移不变统计量独立

需证明\(\bar{X}\)与\(S_1 = n^{-1}\sum_{i=1}^n (X_i - \bar{X})^2\)、\(S_2 = n^{-1}\sum_{i=1}^n |X_i - \bar{X}|\)、\(S_3 = X_{(n)}-X_{(1)}\)、\(S_4=|X_i-X_j|\)独立。

证明：
固定\(\sigma=\sigma_0\)，此时\(N(\mu,\sigma_0^2)\)为指数族分布，\(\bar{X}\)是\(\mu\)的完备充分统计量。
令\(Y_i = X_i - \mu\)，则\(Y_i \sim N(0,\sigma_0^2)\)，分布与\(\mu\)无关。

• \(S_1 = n^{-1}\sum_{i=1}^n (Y_i - \bar{Y})^2\)，分布与\(\mu\)无关，是辅助统计量；
• \(S_2 = n^{-1}\sum_{i=1}^n |Y_i - \bar{Y}|\)，分布与\(\mu\)无关，是辅助统计量；
• \(S_3 = Y_{(n)}-Y_{(1)}\)，分布与\(\mu\)无关，是辅助统计量；
• \(S_4 = |Y_i-Y_j|\)，分布与\(\mu\)无关，是辅助统计量。

根据Basu定理，完备充分统计量\(\bar{X}\)与上述辅助统计量均独立，且该结论对任意\(\sigma_0\)成立，因此对任意\(\sigma^2\)均成立。

(2) 通用平移不变性结论

若\(g(x_1,\dots,x_n)\)满足平移不变性：\(\forall c \in \mathbb{R}\)，\(g(x_1+c,\dots,x_n+c)=g(x_1,\dots,x_n)\)，则\(\bar{X}\)与\(g(X_1,\dots,X_n)\)独立。

证明：
固定\(\sigma=\sigma_0\)，\(\bar{X}\)是\(\mu\)的完备充分统计量。
由平移不变性：\(g(X_1,\dots,X_n) = g(X_1-\mu,\dots,X_n-\mu) = g(Y_1,\dots,Y_n)\)，\(Y_i \sim N(0,\sigma_0^2)\)，分布与\(\mu\)无关，因此\(g(X_1,\dots,X_n)\)是辅助统计量。
根据Basu定理，\(\bar{X}\)与\(g(X_1,\dots,X_n)\)独立。

例2.2.18 平移伽马分布的独立性

设\(X_1,\dots,X_n\)独立同分布，\(X_1 \sim \mu + \Gamma(\lambda,1)\)（\(\mu\)为未知位置参数），则\(X_{(1)}\)与\(X_{(i)}-X_{(j)}\)、\(X_i-X_j\)、\(S_1 = \sum_{i=1}^r (X_{(i)}-X_{(1)}) + (n-r)(X_{(r)}-X_{(1)})\)独立。

证明：
固定\(\lambda=\lambda_0\)，平移指数分布的样本最小值\(X_{(1)}\)是\(\mu\)的完备充分统计量。
令\(Y_i = X_i - \mu\)，则\(Y_i \sim \Gamma(\lambda_0,1)\)，分布与\(\mu\)无关。
所有待验证统计量均可表示为\(Y_i\)的函数，分布与\(\mu\)无关，均为辅助统计量。
根据Basu定理，\(X_{(1)}\)与上述统计量独立。

例2.2.19 均匀分布\(R(0,\theta)\)的独立性

设\(X_1,\dots,X_n\)独立同分布，\(X_1 \sim R(0,\theta)\)（\(\theta>0\)为未知尺度参数），则\(X_{(n)}\)与\(X_{(i)}/X_{(j)}\)、\(X_i/X_j\)独立。

证明：
均匀分布\(R(0,\theta)\)的样本最大值\(X_{(n)}\)是\(\theta\)的完备充分统计量。
令\(Y_i = X_i/\theta\)，则\(Y_i \sim R(0,1)\)，分布与\(\theta\)无关。
\(X_i/X_j = (\theta Y_i)/(\theta Y_j) = Y_i/Y_j\)，分布与\(\theta\)无关，是辅助统计量。
根据Basu定理，\(X_{(n)}\)与上述统计量独立。

例2.2.20 双参数均匀分布的独立性

设\(X_1 \sim R(\theta_1,\theta_2)\)（\(\theta_1<\theta_2\)为未知参数），则\(\frac{X_{(i)}-X_{(1)}}{X_{(n)}-X_{(1)}} \ (i=2,\dots,n-1)\)与\((X_{(1)},X_{(n)})\)独立。

证明：
双参数均匀分布的\((X_{(1)},X_{(n)})\)是\((\theta_1,\theta_2)\)的完备充分统计量。
令\(Y_i = \frac{X_i - \theta_1}{\theta_2 - \theta_1}\)，则\(Y_i \sim R(0,1)\)，分布与\(\theta_1,\theta_2\)无关。
代入计算得：

\[\frac{X_{(i)}-X_{(1)}}{X_{(n)}-X_{(1)}} = \frac{Y_{(i)}-Y_{(1)}}{Y_{(n)}-Y_{(1)}} \]

其分布与\(\theta_1,\theta_2\)无关，是辅助统计量。
根据Basu定理，\((X_{(1)},X_{(n)})\)与该统计量独立。

---

五、核心知识点归纳总结

概念/定理	核心定义/内容	关键性质	核心应用场景
辅助统计量	统计量\(A(X)\)的分布与未知参数\(\theta\)完全无关	1. 表达式不含\(\theta\)，且分布与\(\theta\)无关； 2. 不包含任何关于\(\theta\)的信息； 3. 位置/尺度参数族中，可通过平移/缩放构造	配合Basu定理证明统计量独立性；构造无偏估计
充分统计量	给定\(T=t\)时，样本的条件分布与\(\theta\)无关	包含样本中关于\(\theta\)的全部信息；因子分解定理可验证	压缩样本信息，简化统计推断
完备统计量	对任意\(g\)，\(E_\theta[g(T)]=0 \ \forall \theta\)可推出\(g(T)=0\) a.e.	分布族无冗余信息；指数族的自然充分统计量通常完备	结合充分性，用于Basu定理、UMVUE构造
Basu定理	若\(T\)是完备充分统计量，\(A\)是辅助统计量，则\(T\)与\(A\)独立	1. 将独立性证明转化为两个条件的验证，大幅简化计算； 2. 条件期望简化：\(E[W|T]=E[W]\)（\(W\)为辅助统计量）	1. 证明正态分布、均匀分布等经典分布的统计量独立性； 2. 简化UMVUE的条件期望计算； 3. 假设检验中构造检验统计量
平移不变统计量	满足\(g(x_ 满足g(x_1+c,\dots,x_n+c)=g(x_1,\dots,x_n)\)的统计量	对位置参数族，平移不变统计量均为辅助统计量	正态分布中，证明样本均值与样本方差、极差等统计量独立
尺度不变统计量	满足\(g(cx_1,\dots,cx_n)=g(x_1,\dots,x_n)\)的统计量	对尺度参数族，尺度不变统计量均为辅助统计量	均匀分布\(R(0,\theta)\)中，证明样本最大值与比值型统计量独立