5.1.2C-R不等式等式成立条件

C-R不等式等式成立条件 完整讲解与推导

一、前置核心概念铺垫

在讲解等式成立条件前，先明确3个贯穿始终的基础概念，这是理解所有内容的前提：

1. 得分函数（Score Function）
   对于分布族\(f(x,\theta)\)，对数似然函数关于参数\(\theta\)的一阶导数称为得分函数，记为：

   \[S(x,\theta) = \frac{\partial \log f(x,\theta)}{\partial \theta} \]

   核心性质：在C-R正则条件下，\(E_\theta[S(x,\theta)] = 0\)对所有\(\theta \in \Theta\)成立，是后续推导的关键。

2. C-R不等式与C-R下界
   设\(\{f(x,\theta),\theta \in \Theta\}\)为C-R正则分布族，\(g(\theta)\)可导，\(\hat{g}(X)\)是\(g(\theta)\)的无偏估计，且\(Var_\theta[\hat{g}(X)] < +\infty\)，则对所有\(\theta \in \Theta\)，有：

   \[Var_\theta[\hat{g}(X)] \geq \frac{[g'(\theta)]^2}{nI(\theta)} \]

   其中\(n\)为样本量，\(I(\theta)=E_\theta\left[\left(\frac{\partial \log f(x,\theta)}{\partial \theta}\right)^2\right]\)为费希尔信息量，不等式右侧即为C-R下界。

3. 有效无偏估计
   若\(g(\theta)\)的无偏估计\(\hat{g}(X)\)的方差，对所有\(\theta \in \Theta\)都恰好等于C-R下界，则称\(\hat{g}(X)\)是\(g(\theta)\)的有效无偏估计（简称有效估计）。

我们研究的核心，就是“无偏估计能成为有效估计”的充要条件，即C-R不等式中等号成立的条件。

---

二、定理5.1.2 讲解与完整证明

定理5.1.2 内容

设\(\{f(x,\theta),\theta \in \Theta\}\)为C-R分布族，\(g(\theta)\)可导且不为常数。若\(\hat{g}(X)\)为\(g(\theta)\)的无偏估计，且\(Var_\theta[\hat{g}(X)] < +\infty\)对一切\(\theta \in \Theta\)成立，则：
C-R不等式中等式对一切\(\theta \in \Theta\)成立（即\(\hat{g}(X)\)为有效估计）的充要条件是：\(f(x,\theta)\)服从指数族分布，即

\[f(x,\theta) = h(x)\exp\left\{Q(\theta)\hat{g}(x) - b(\theta)\right\} \quad (\text{a.e.}) \tag{5.1.11} \]

其中\(h(x) \geq 0\)仅关于样本\(x\)，\(Q(\theta),b(\theta)\)仅关于参数\(\theta\)，a.e.表示“几乎处处成立”。

定理核心解读

该定理给出了极强的结论：只有指数族分布才可能存在有效估计，非指数族分布一定不存在有效无偏估计；反之，若一个无偏估计是有效估计，其分布必然是指数族。

完整证明过程

证明核心：证明“C-R等式成立的充要条件(5.1.12)”与“指数族形式(5.1.11)”完全等价。
证明的基础是定理5.1.1的核心结论：

C-R不等式中等式成立的充要条件是：得分函数可表示为

\[S(x,\theta) = \frac{\partial \log f(x,\theta)}{\partial \theta} = a(\theta)\left[\hat{g}(x) - g(\theta)\right] \tag{5.1.12} \]

其中\(a(\theta)\)是仅关于\(\theta\)的非零函数。

我们分必要性和充分性两部分证明等价性。

必要性证明：(5.1.12)成立 ⇒ (5.1.11)成立（有效估计⇒分布为指数族）

已知：

\[\frac{\partial \log f(x,\theta)}{\partial \theta} = a(\theta)\left[\hat{g}(x) - g(\theta)\right] \]

1. 验证可积性
   取\(x_1 \neq x_2\)满足\(\hat{g}(x_1) \neq \hat{g}(x_2)\)（\(g(\theta)\)非常数，有效估计\(\hat{g}(x)\)也不可能为常数，因此这样的样本点必然存在），将\(x_1,x_2\)代入上式后相减：

   \[S(x_1,\theta) - S(x_2,\theta) = a(\theta)\left[\hat{g}(x_1) - \hat{g}(x_2)\right] \]

   根据C-R正则条件，得分函数\(S(x,\theta)\)是\(\theta\)的连续函数，因此左端是\(\theta\)的连续函数；而\(\hat{g}(x_1)-\hat{g}(x_2)\)是与\(\theta\)无关的非零常数，因此\(a(\theta)\)必为\(\theta\)的连续函数，连续函数一定可积。

2. 对等式积分
   对(5.1.12)两端关于\(\theta\)求不定积分：

   \[\log f(x,\theta) = \int a(\theta)\left[\hat{g}(x) - g(\theta)\right] d\theta + c(x) \]

   其中\(c(x)\)是积分常数，仅与\(x\)有关，与\(\theta\)无关。
   拆分积分项：

   \[\int a(\theta)\left[\hat{g}(x) - g(\theta)\right] d\theta = \hat{g}(x) \cdot \int a(\theta) d\theta - \int a(\theta)g(\theta) d\theta \]

   定义仅关于\(\theta\)的函数：

   \[Q(\theta) = \int a(\theta) d\theta, \quad b(\theta) = \int a(\theta)g(\theta) d\theta \]

   令\(h(x) = \exp\left\{c(x)\right\}\)（显然\(h(x) \geq 0\)，仅与\(x\)有关）。

3. 整理为指数族形式
   代入积分结果得：

   \[\log f(x,\theta) = Q(\theta)\hat{g}(x) - b(\theta) + \log h(x) \]

   两端取指数，得到：

   \[f(x,\theta) = h(x)\exp\left\{Q(\theta)\hat{g}(x) - b(\theta)\right\} \]

   与(5.1.11)完全一致，必要性得证。

充分性证明：(5.1.11)成立 ⇒ (5.1.12)成立（指数族分布⇒存在有效估计）

已知分布服从指数族：

\[f(x,\theta) = h(x)\exp\left\{Q(\theta)\hat{g}(x) - b(\theta)\right\} \]

1. 求对数似然与可导性验证
   两端取自然对数，得对数似然：

   \[\log f(x,\theta) = Q(\theta)\hat{g}(x) - b(\theta) + \log h(x) \tag{5.1.13} \]

   取\(x_1 \neq x_2\)满足\(\hat{g}(x_1) \neq \hat{g}(x_2)\)，代入后两式相减：

   \[\log f(x_1,\theta) - \log f(x_2,\theta) = Q(\theta)\left[\hat{g}(x_1) - \hat{g}(x_2)\right] + \log\left[\frac{h(x_1)}{h(x_2)}\right] \]

   根据C-R正则条件，左端关于\(\theta\)可导，而\(\hat{g}(x_1)-\hat{g}(x_2)\)、\(\log\left[\frac{h(x_1)}{h(x_2)}\right]\)均与\(\theta\)无关，因此\(Q(\theta)\)必关于\(\theta\)可导；再结合(5.1.13)，\(\log f(x,\theta)\)可导，因此\(b(\theta)\)也必关于\(\theta\)可导。

2. 求导得到得分函数
   对(5.1.13)两端关于\(\theta\)求导，得得分函数：

   \[S(x,\theta) = \frac{\partial \log f(x,\theta)}{\partial \theta} = Q'(\theta)\hat{g}(x) - b'(\theta) \tag{*} \]

3. 利用得分函数的期望性质化简
   正则条件下\(E_\theta[S(x,\theta)] = 0\)，对(*)式两端取期望：

   \[0 = E_\theta\left[Q'(\theta)\hat{g}(X) - b'(\theta)\right] \]

   因\(Q'(\theta),b'(\theta)\)与样本无关，且\(\hat{g}(X)\)是无偏估计（\(E_\theta[\hat{g}(X)] = g(\theta)\)），因此：

   \[0 = Q'(\theta)g(\theta) - b'(\theta) \implies b'(\theta) = Q'(\theta)g(\theta) \tag{**} \]

4. 代入得到(5.1.12)式
   将(**)代入(*)式：

   \[S(x,\theta) = Q'(\theta)\hat{g}(x) - Q'(\theta)g(\theta) = Q'(\theta)\left[\hat{g}(x) - g(\theta)\right] \]

   令\(a(\theta) = Q'(\theta)\)（仅关于\(\theta\)的函数），上式与(5.1.12)完全等价，充分性得证。

综上，(5.1.11)与(5.1.12)完全等价，定理5.1.2得证。

---

三、定理5.1.3 讲解与完整证明

定理5.1.2明确了“只有指数族才存在有效估计”，定理5.1.3则进一步限定：即使是指数族，也只有特定形式的待估参数才有有效估计，并给出了有效估计的显式形式。

定理5.1.3 内容

设\(X\)服从指数族分布

\[f(x,\theta) = h(x)\exp\left\{Q(\theta)T(x) - b(\theta)\right\} \]

则\(g(\theta)\)的无偏估计\(\hat{g}(X)\)为有效估计的充要条件是：

\[g(\theta) = \alpha \cdot \frac{b'(\theta)}{Q'(\theta)} + \beta, \quad \hat{g}(x) = \alpha T(x) + \beta \tag{5.1.14} \]

其中\(\alpha,\beta\)是与\(\theta\)无关的常数。

定理核心解读

指数族中，有效估计有且仅有线性形式：

1. 待估参数\(g(\theta)\)必须是\(\frac{b'(\theta)}{Q'(\theta)}\)的线性函数；
2. 对应的有效估计必须是指数族充分统计量\(T(x)\)的线性函数。
   非线性待估参数（如\(\theta^2,1/\theta\)）即使在指数族中，也不存在有效无偏估计。

完整证明过程

第一步：写出指数族的得分函数

指数族的对数似然为：

\[\log f(x,\theta) = Q(\theta)T(x) - b(\theta) + \log h(x) \]

对\(\theta\)求导，得得分函数：

\[S(x,\theta) = Q'(\theta)T(x) - b'(\theta) \tag{***} \]

第二步：结合C-R等式成立的充要条件

有效估计的充要条件是：

\[S(x,\theta) = a(\theta)\left[\hat{g}(x) - g(\theta)\right] \tag{5.1.12} \]

将(***)代入(5.1.12)，整理得：

\[Q'(\theta)T(x) - b'(\theta) = a(\theta)\hat{g}(x) - a(\theta)g(\theta) \]

将\(\hat{g}(x)\)整理为显式形式：

\[\hat{g}(x) = \frac{Q'(\theta)}{a(\theta)} T(x) + \frac{a(\theta)g(\theta) - b'(\theta)}{a(\theta)} \tag{#} \]

第三步：证明系数与\(\theta\)无关

观察(#)式：

• 左端\(\hat{g}(x)\)仅关于样本\(x\)，与\(\theta\)完全无关；
• 右端\(T(x)\)仅关于\(x\)，因此\(T(x)\)的系数、常数项都不能依赖于\(\theta\)，否则左端会与\(\theta\)相关，产生矛盾。

令：

\[\alpha(\theta) = \frac{Q'(\theta)}{a(\theta)}, \quad \beta(\theta) = \frac{a(\theta)g(\theta) - b'(\theta)}{a(\theta)} \]

则(#)式可写为：

\[\hat{g}(x) = \alpha(\theta) T(x) + \beta(\theta) \tag{5.1.15} \]

对(5.1.15)两端关于\(\theta\)求导，左端与\(\theta\)无关，导数为0：

\[\alpha'(\theta) T(x) + \beta'(\theta) = 0, \quad \forall x, \forall \theta \]

取\(x_1 \neq x_2\)满足\(T(x_1) \neq T(x_2)\)（指数族充分统计量\(T(x)\)不可能为常数，否则分布与\(\theta\)无关），分别代入上式得：

\[\begin{cases} \alpha'(\theta) T(x_1) + \beta'(\theta) = 0 \\ \alpha'(\theta) T(x_2) + \beta'(\theta) = 0 \end{cases}\]

两式相减得：

\[\alpha'(\theta) \left[T(x_1) - T(x_2)\right] = 0 \]

因\(T(x_1)-T(x_2) \neq 0\)，故\(\alpha'(\theta) = 0\)，即\(\alpha(\theta)\)是与\(\theta\)无关的常数，记为\(\alpha\)。
将\(\alpha'(\theta)=0\)代入求导式，得\(\beta'(\theta)=0\)，即\(\beta(\theta)\)也是与\(\theta\)无关的常数，记为\(\beta\)。

因此(5.1.15)式变为：

\[\hat{g}(x) = \alpha T(x) + \beta \]

(5.1.14)第二式得证。

第四步：推导\(g(\theta)\)的形式

因\(\hat{g}(X)\)是\(g(\theta)\)的无偏估计，故\(E_\theta[\hat{g}(X)] = g(\theta)\)。对\(\hat{g}(X) = \alpha T(X) + \beta\)两端取期望：

\[g(\theta) = \alpha E_\theta[T(X)] + \beta \]

这里补充指数族的核心性质：对于标准指数族，充分统计量\(T(X)\)的期望满足

\[E_\theta[T(X)] = \frac{b'(\theta)}{Q'(\theta)} \]

该性质可由\(E_\theta[S(x,\theta)]=0\)直接推导得到。

将其代入期望式，得：

\[g(\theta) = \alpha \cdot \frac{b'(\theta)}{Q'(\theta)} + \beta \]

(5.1.14)第一式得证。

综上，充要条件得证，定理5.1.3证明完毕。

---

四、例题5.1.4 详细讲解

例题题目

设\(X_1,\cdots,X_n\)独立同分布，\(X_1 \sim N(\theta,1)\)，求\(g(\theta)\)，使其无偏估计处处达到C-R下界（即存在有效估计）。

详细解题过程

第一步：将样本联合分布整理为指数族形式

单样本正态分布\(N(\theta,1)\)的概率密度为：

\[f(x,\theta) = \frac{1}{\sqrt{2\pi}} \exp\left\{-\frac{(x-\theta)^2}{2}\right\} \]

\(n\)个独立样本的联合密度为：

\[f(x_1,\cdots,x_n,\theta) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi}} \exp\left\{-\frac{(x_i-\theta)^2}{2}\right\} \]

展开并整理指数部分：

\[\begin{align*} \sum_{i=1}^n -\frac{(x_i-\theta)^2}{2} &= -\frac{1}{2}\sum_{i=1}^n (x_i^2 - 2\theta x_i + \theta^2) \\ &= \theta \sum_{i=1}^n x_i - \frac{1}{2}n\theta^2 - \frac{1}{2}\sum_{i=1}^n x_i^2 \\ &= n\theta \cdot \bar{x} - \frac{1}{2}n\theta^2 - \frac{1}{2}\sum_{i=1}^n x_i^2 \end{align*}\]

其中\(\bar{x} = \frac{1}{n}\sum_{i=1}^n x_i\)为样本均值。

因此联合密度可整理为标准指数族形式：

\[f(x_1,\cdots,x_n,\theta) = \underbrace{\left( \frac{1}{\sqrt{2\pi}} \right)^n \exp\left\{ -\frac{1}{2}\sum_{i=1}^n x_i^2 \right\}}_{h(x)} \exp\left\{ \underbrace{n\theta}_{Q(\theta)} \cdot \underbrace{\bar{x}}_{T(x)} - \underbrace{\frac{1}{2}n\theta^2}_{b(\theta)} \right\} \]

对应指数族的核心项：

• \(Q(\theta) = n\theta\)，故\(Q'(\theta) = n\)；
• \(T(x) = \bar{x}\)（充分统计量）；
• \(b(\theta) = \frac{1}{2}n\theta^2\)，故\(b'(\theta) = n\theta\)。

第二步：应用定理5.1.3求\(g(\theta)\)的形式

根据定理5.1.3，存在有效估计的\(g(\theta)\)必须满足：

\[g(\theta) = \alpha \cdot \frac{b'(\theta)}{Q'(\theta)} + \beta \]

代入计算得：

\[\frac{b'(\theta)}{Q'(\theta)} = \frac{n\theta}{n} = \theta \]

因此：

\[g(\theta) = \alpha \theta + \beta \]

其中\(\alpha,\beta\)为任意常数。

第三步：写出对应的有效估计并验证

根据定理5.1.3，对应的有效估计为：

\[\hat{g}(x) = \alpha T(x) + \beta = \alpha \bar{x} + \beta \]

• 无偏性验证：\(E_\theta[\hat{g}(X)] = E_\theta[\alpha \bar{X} + \beta] = \alpha \theta + \beta = g(\theta)\)，满足无偏性；
• 有效性验证：正态分布\(N(\theta,1)\)的费希尔信息量\(I(\theta)=1\)，C-R下界为\(\frac{[g'(\theta)]^2}{nI(\theta)} = \frac{\alpha^2}{n}\)；
  而\(Var_\theta[\hat{g}(X)] = Var_\theta[\alpha \bar{X} + \beta] = \alpha^2 \cdot \frac{1}{n}\)，恰好等于C-R下界，因此是有效估计。

例题结论

对于正态分布\(N(\theta,1)\)，只有当待估参数\(g(\theta)\)是\(\theta\)的线性函数\(g(\theta)=\alpha\theta+\beta\)时，才存在有效无偏估计；非线性待估参数（如\(g(\theta)=\theta^2\)、\(g(\theta)=1/\theta\)）不存在有效无偏估计，其无偏估计的方差一定严格大于C-R下界。

---

五、核心知识点归纳总结表

定理/核心内容	适用条件	核心结论	关键公式	核心意义
C-R不等式	1. 分布为C-R正则分布族；2. \(\hat{g}(X)\)是\(g(\theta)\)的无偏估计；3. \(Var(\hat{g})<+\infty\)	无偏估计的方差存在理论下界（C-R下界）	\(Var_\theta[\hat{g}(X)] \geq \frac{[g'(\theta)]^2}{nI(\theta)}\)	给出无偏估计方差的评判基准，是参数估计的核心理论
C-R等式成立的充要条件（定理5.1.1）	同C-R不等式的条件	无偏估计为有效估计，当且仅当得分函数可表示为\(a(\theta)(\hat{g}(x)-g(\theta))\)的形式	\(S(x,\theta) = a(\theta)\left[\hat{g}(x) - g(\theta)\right]\)	刻画有效估计的本质特征，是后续定理的证明基础
有效估计与指数族的等价性（定理5.1.2）	同C-R不等式的条件，\(g(\theta)\)可导且非常数	存在有效估计的充要条件是分布族为指数族	\(f(x,\theta) = h(x)\exp\left\{Q(\theta)\hat{g}(x) - b(\theta)\right\}\)	明确有效估计的分布前提：非指数族一定不存在有效估计
指数族下有效估计的形式（定理5.1.3）	分布为标准指数族\(f(x,\theta)=h(x)\exp\{Q(\theta)T(x)-b(\theta)\}\)	指数族中，待估参数存在有效估计的充要条件是：参数为\(\frac{b'(\theta)}{Q'(\theta)}\)的线性函数，有效估计为充分统计量\(T(x)\)的线性函数	\(g(\theta)=\alpha \cdot \frac{b'(\theta)}{Q'(\theta)} + \beta\)；\(\hat{g}(x)=\alpha T(x) + \beta\)	给出有效估计的唯一显式形式，明确即使是指数族，也仅线性待估参数存在有效估计

---

六、补充核心结论

1. 有效估计的条件极强：必须同时满足“分布为指数族”+“待估参数为线性形式”，两个条件缺一不可。
2. C-R下界通常是“偏低”的：对于非线性待估参数，即使分布是指数族，也不存在达到C-R下界的有效估计，因此实际中需要更紧的方差下界（如Bh下界）。
3. 有效估计与UMVUE的关系：有效估计一定是一致最小方差无偏估计（UMVUE），但UMVUE不一定是有效估计，因为UMVUE的方差可能大于C-R下界。