5.2广义C-R型不等式(CRK不等式)
广义C-R型不等式(CRK不等式)完整讲解与推导
作为数理统计中参数估计的核心内容,广义C-R型不等式(CRK不等式)解决了经典C-R不等式无法处理的非正则分布族(支撑集随参数变化)的无偏估计方差下界问题,下面我将从背景、核心引理、定理、推论、例题全流程,做最详尽的推导与讲解。
一、背景与核心预备知识
1.1 经典C-R不等式的局限性
经典Cramér-Rao不等式有严格的正则性条件,最核心的限制之一是:分布族的支撑集\(A_\theta = \{x: f(x,\theta) > 0\}\)与参数\(\theta\)无关(共同支撑)。
但大量常用分布不满足该条件,例如:
- 均匀分布\(R(0,\theta)\):支撑集\(A_\theta=(0,\theta]\),随\(\theta\)增大而扩大;
- 移位指数分布\(\theta+\Gamma(1,1)\):支撑集\(A_\theta=[\theta,+\infty)\),随\(\theta\)变化而平移。
这类分布无法使用经典C-R不等式,因此需要广义C-R型不等式(CRK不等式),它完全去掉了“共同支撑”的限制,适用范围大幅扩展。
1.2 核心符号定义
- 分布族:\(\{f(x,\theta), \theta \in \Theta\}\),\(f(x,\theta)\)为样本的概率密度/质量函数,\(\Theta\)为参数空间;
- 支撑集:\(A_\theta = \{x: f(x,\theta) > 0\}\),即密度大于0的样本点集合,非正则族中\(A_\theta\)随\(\theta\)变化;
- 无偏估计:\(\widehat{g}(X)\)为\(g(\theta)\)的无偏估计,即对任意\(\theta \in \Theta\),有\(E_\theta[\widehat{g}(X)] = g(\theta)\);
- 似然比(核心构造):\(S_\phi = S_\phi(x,\theta,\phi) = \frac{f(x,\phi)}{f(x,\theta)}\),是经典C-R中得分函数\(\frac{\partial \ln f}{\partial \theta} = \frac{f'}{f}\)的推广(得分函数是\(S_\phi\)在\(\phi \to \theta\)时的极限形式)。
二、核心引理5.2.1 完整推导与证明
引理是CRK不等式的基础,本质是柯西-施瓦茨不等式在概率统计中的应用。
2.1 引理内容
设\(\{f(x,\theta), \theta \in \Theta\}\),\(\widehat{g}(X)\)为\(g(\theta)\)的无偏估计。对\(\theta, \phi \in \Theta\),记\(S_\phi = \frac{f(x,\phi)}{f(x,\theta)}\),假定\(\text{Var}_\theta(S_\phi)\)存在,则当\(A_\theta \supset A_\phi\)时,有:
2.2 详细证明步骤
步骤1:应用柯西-施瓦茨(协方差)不等式
对任意两个二阶矩存在的随机变量\(\widehat{g}(X)\)和\(S_\phi\),柯西-施瓦茨不等式的概率形式为:
将式子变形,把待求的方差单独放在左侧,得到:
接下来的核心是计算协方差\(\text{Cov}_\theta(\widehat{g}, S_\phi)\)。
步骤2:协方差的展开
根据协方差的定义,有:
我们需要分别计算\(E_\theta[S_\phi]\)和\(E_\theta[\widehat{g} S_\phi]\),核心条件是\(A_\theta \supset A_\phi\)。
步骤3:计算\(E_\theta[S_\phi]\)
根据期望的定义,期望是对样本空间\(\mathcal{X}\)的积分:
将样本空间拆分为支撑集\(A_\theta\)和支撑集外\(\mathcal{X}-A_\theta\)两部分,积分拆分为:
在\(\mathcal{X}-A_\theta\)上,\(f(x,\theta)=0\),因此第二项积分恒为0,式子简化为:
再利用\(A_\theta \supset A_\phi\),将\(A_\theta\)拆分为\(A_\phi\)和\(A_\theta - A_\phi\):
在\(A_\theta - A_\phi\)上,根据支撑集定义,\(f(x,\phi)=0\),因此第二项积分也为0,最终得到:
(密度函数在全空间的积分恒为1)
步骤4:计算\(E_\theta[\widehat{g} \cdot S_\phi]\)
与步骤3逻辑完全一致,展开期望:
同样,\(\mathcal{X}-A_\theta\)上\(f(x,\theta)=0\),积分仅需在\(A_\theta\)上进行,约去\(f(x,\theta)\)后:
又因为\(A_\theta - A_\phi\)上\(f(x,\phi)=0\),积分可扩展到全空间:
根据无偏估计的定义,\(E_\phi[\widehat{g}(X)] = g(\phi)\),因此:
步骤5:代入协方差公式,完成证明
将上述结果代入协方差展开式(5.2.3):
- \(E_\theta[\widehat{g} S_\phi] = g(\phi)\)
- \(E_\theta[\widehat{g}] = g(\theta)\)(无偏性)
- \(E_\theta[S_\phi] = 1\)
因此协方差为:
将其代入不等式(5.2.2),最终得到:
引理证明完毕。
三、CRK不等式(定理5.2.1)完整讲解
引理给出了单个\(\phi\)对应的方差下界,CRK不等式则对所有满足条件的\(\phi\)取上确界,得到最紧的理论下界。
3.1 定理内容(Chapman-Robins-Kiefer不等式)
设\(\{f(x,\theta), \theta \in \Theta\}\),\(\widehat{g}(X)\)为\(g(\theta)\)的无偏估计,则有:
该不等式简称CRK不等式,右端称为CRK下界。
3.2 定理证明
引理5.2.1已证明:对每一个满足\(A_\phi \subset A_\theta\)的\(\phi\),不等式(5.2.1)都成立。
也就是说,\(\text{Var}_\theta(\widehat{g})\)大于等于所有满足条件的下界中的每一个,因此它必然大于等于这些下界的上确界(最大值),即:
第二个等号的证明:
注意到\(S_\phi = \frac{f(X,\phi)}{f(X,\theta)} = \frac{f(X,\phi) - f(X,\theta)}{f(X,\theta)} + 1\),根据方差的性质:常数不影响方差,即\(\text{Var}(X + c) = \text{Var}(X)\),因此:
定理证明完毕。
3.3 定理的核心意义
- 适用范围极广:完全去掉了经典C-R不等式的“共同支撑”“得分函数可导”等正则条件,可处理均匀分布、移位指数分布等非正则族;
- 下界更紧:对正则族,CRK下界≥经典C-R下界,给出的理论下界更精确;
- 局限性:上确界的解析计算难度大,多数场景只能求近似值。
四、两个核心推论的推导与证明
4.1 推论1:CRK不等式与经典C-R不等式的关系
推论内容
若\(\{f(x,\theta), \theta \in \Theta\}\)为C-R正则族,则由CRK不等式可推出经典C-R不等式,且CRK下界≥C-R下界。
详细证明
C-R正则族的核心条件是分布族有共同支撑,即对任意\(\theta, \phi \in \Theta\),\(A_\theta = A_\phi\),因此自然满足\(A_\phi \subset A_\theta\),CRK不等式对所有\(\phi \in \Theta\)成立。
取\(\phi = \theta + \Delta\theta\)(令\(\Delta\theta \to 0\),即\(\phi\)趋近于\(\theta\)),根据CRK不等式有:
将分子分母同时除以\((\Delta\theta)^2\),得到:
令\(\Delta\theta \to 0\)取极限:
- 分子极限:根据导数定义,\(\lim_{\Delta\theta \to 0} \frac{g(\theta + \Delta\theta) - g(\theta)}{\Delta\theta} = g'(\theta)\),因此分子极限为\([g'(\theta)]^2\);
- 分母极限:\(\lim_{\Delta\theta \to 0} \frac{f(X,\theta + \Delta\theta) - f(X,\theta)}{f(X,\theta) \Delta\theta} = \frac{\partial \ln f(X,\theta)}{\partial \theta}\),即得分函数\(U(X,\theta)\),其方差为Fisher信息\(I(\theta)\),因此分母极限为\(I(\theta)\)。
最终得到:
其中\(\frac{[g'(\theta)]^2}{I(\theta)}\)正是经典C-R不等式的下界,由此证明:
- CRK不等式可推出经典C-R不等式;
- CRK下界≥C-R下界,更紧更精确。
4.2 推论2:充分统计量下的CRK不等式简化
推论内容
若\(\widehat{g}(X)\)为充分统计量\(T = T(X)\)的函数,即\(\widehat{g}(X) = \phi(T)\),且\(T \sim h(t,\theta)\),则有:
证明思路
根据因子分解定理:若\(T\)是充分统计量,则样本密度可分解为\(f(x,\theta) = h(T(x),\theta) \cdot c(x)\),其中\(c(x)\)与参数\(\theta\)无关。
因此似然比可简化为:
\(c(x)\)被完全约去,似然比仅与充分统计量\(T\)有关。将其代入CRK不等式原式,即可得到推论2的结果。
该推论的核心价值是:利用充分统计量降维,大幅简化CRK下界的计算。
五、典型例题完整推导
CRK不等式最核心的应用是支撑集随参数变化的非正则分布,下面两个例题覆盖了最典型的两类场景。
5.1 例5.2.1 移位指数分布\(\theta + \Gamma(1,1)\)的CRK下界
题目
设\(X_1,\dots,X_n\)独立同分布,\(X_1 \sim \theta + \Gamma(1,1)\)(密度为\(f(x,\theta) = e^{-(x-\theta)} I\{x \geqslant \theta\}\)),求\(g(\theta)=\theta\)的无偏估计的CRK下界。
完整推导步骤
步骤1:写出样本联合密度与支撑集
n个样本的联合密度为:
其中\(x_{(1)} = \min\{x_1,\dots,x_n\}\)为样本最小值,支撑集\(A_\theta = \{x: x_{(1)} \geqslant \theta\} = [\theta, +\infty)^n\)。
步骤2:确定\(\phi\)的取值范围
\(A_\phi = \{x: x_{(1)} \geqslant \phi\}\),要满足\(A_\phi \subset A_\theta\),等价于\(\phi \geqslant \theta\),因此\(\{\phi: A_\phi \subset A_\theta\} = \{\phi: \phi \geqslant \theta\}\)。
CRK下界可写为:
步骤3:计算似然比\(S_\phi\)(\(\phi \geqslant \theta\))
步骤4:计算\(\text{Var}_\theta(S_\phi)\)
根据方差公式\(\text{Var}_\theta(S_\phi) = E_\theta[S_\phi^2] - (E_\theta[S_\phi])^2\),已知\(E_\theta[S_\phi] = 1\),只需计算\(E_\theta[S_\phi^2]\)。
首先,样本最小值\(X_{(1)} \sim \theta + \Gamma(n,1)\),密度为\(f_{X_{(1)}}(t) = n e^{-n(t - \theta)} I\{t \geqslant \theta\}\)。
计算\(E_\theta[S_\phi^2]\):
其中概率\(P_\theta(X_{(1)} \geqslant \phi) = \int_{\phi}^{+\infty} n e^{-n(t - \theta)} dt = e^{-n(\phi - \theta)}\),代入得:
因此方差为:
步骤5:求上确界,得到CRK下界
代入后CRK下界为:
令\(t = \phi - \theta\)(\(t \geqslant 0\)),即求函数\(h(t) = \frac{t^2}{e^{nt} - 1}\)的最大值。通过求导找极值点,数值解为\(nt \approx 1.5936\),代入得最大值近似为\(\approx \frac{0.47}{n^2}\)(教材保守近似值)。
步骤6:与UMVUE对比
该分布中\(\theta\)的UMVUE为\(\widehat{\theta} = X_{(1)} - 1/n\),其方差为\(\text{Var}_\theta(\widehat{\theta}) = 1/n^2\),显著大于CRK下界,说明CRK下界更紧,但无法达到。
5.2 例5.2.2 均匀分布\(R(0,\theta)\)的CRK下界
题目
设\(X_1,\dots,X_n\)独立同分布,\(X_1 \sim R(0,\theta)\)(密度为\(f(x,\theta) = \frac{1}{\theta} I\{0 \leqslant x \leqslant \theta\}\)),求\(g(\theta)=\theta\)的无偏估计的CRK下界。
完整推导步骤
步骤1:写出样本联合密度与支撑集
n个样本的联合密度为:
其中\(x_{(n)} = \max\{x_1,\dots,x_n\}\)为样本最大值,支撑集\(A_\theta = \{x: 0 \leqslant x_{(n)} \leqslant \theta\} = (0, \theta]^n\)。
步骤2:确定\(\phi\)的取值范围
\(A_\phi = \{x: x_{(n)} \leqslant \phi\}\),要满足\(A_\phi \subset A_\theta\),等价于\(\phi \leqslant \theta\),因此\(\{\phi: A_\phi \subset A_\theta\} = \{\phi: \phi \leqslant \theta\}\)。
CRK下界可写为:
步骤3:计算似然比\(S_\phi\)(\(\phi \leqslant \theta\))
步骤4:计算\(\text{Var}_\theta(S_\phi)\)
同样,\(\text{Var}_\theta(S_\phi) = E_\theta[S_\phi^2] - 1\),只需计算\(E_\theta[S_\phi^2]\)。
样本最大值\(X_{(n)}\)的密度为\(f_{X_{(n)}}(t) = \frac{n t^{n-1}}{\theta^n} I\{0 \leqslant t \leqslant \theta\}\),因此:
其中概率\(P_\theta(X_{(n)} \leqslant \phi) = \int_{0}^{\phi} \frac{n t^{n-1}}{\theta^n} dt = \left( \frac{\phi}{\theta} \right)^n\),代入得:
因此方差为:
步骤5:求上确界,得到CRK下界
代入后CRK下界为:
令\(r = \frac{\phi}{\theta}\)(\(0 < r \leqslant 1\)),则式子简化为:
该函数无解析最大值,取近似极值点\(r = \frac{n}{n+2}\),代入得近似值:
步骤6:与UMVUE对比
该分布中\(\theta\)的UMVUE为\(\widehat{\theta} = \frac{n+1}{n} X_{(n)}\),其方差为\(\text{Var}_\theta(\widehat{\theta}) = \frac{\theta^2}{n(n+2)}\),显著大于CRK下界,同样说明CRK下界更紧但无法达到。
六、知识点归纳总结表
| 知识点类别 | 核心内容 | 关键细节与说明 |
|---|---|---|
| 背景与适用场景 | 解决非C-R正则族(尤其是支撑集随参数\(\theta\)变化的分布族)的无偏估计方差下界问题 | 经典C-R不等式要求共同支撑、得分函数可导等正则条件,CRK不等式无这些限制,适用范围更广 |
| 核心符号定义 | 1. 支撑集\(A_\theta = \{x: f(x,\theta) > 0\}\) 2. 似然比\(S_\phi = \frac{f(x,\phi)}{f(x,\theta)}\) 3. 无偏估计\(\widehat{g}(X)\)满足\(E_\theta[\widehat{g}] = g(\theta)\) |
\(S_\phi\)是经典C-R中得分函数的推广,得分函数是\(S_\phi\)在\(\phi \to \theta\)时的极限 |
| 引理5.2.1 | 当\(A_\theta \supset A_\phi\)时,\(\text{Var}_\theta[\widehat{g}(X)] \geqslant \frac{[g(\phi)-g(\theta)]^2}{\text{Var}_\theta(S_\phi)}\) | 核心是柯西-施瓦茨不等式,关键结论:\(E_\theta[S_\phi] = 1\),\(\text{Cov}_\theta(\widehat{g},S_\phi) = g(\phi)-g(\theta)\) |
| CRK不等式(定理5.2.1) | \(\text{Var}_\theta[\widehat{g}(X)] \geqslant \sup_{\{\phi: A_\phi \subset A_\theta\}} \frac{[g(\phi)-g(\theta)]^2}{\text{Var}_\theta(S_\phi)}\) | 对所有满足\(A_\phi \subset A_\theta\)的\(\phi\)取上确界,得到最紧下界,右端称为CRK下界 |
| 推论1(与经典C-R的关系) | 对C-R正则族,CRK不等式可推出C-R不等式,且CRK下界≥C-R下界 | 正则族有共同支撑,令\(\phi \to \theta\)取极限即可得到C-R不等式,CRK下界更紧 |
| 推论2(充分统计量简化) | 若\(\widehat{g}(X) = \phi(T)\),\(T\)是充分统计量,密度为\(h(t,\theta)\),则CRK下界可简化为用\(h(t,\theta)\)计算 | 利用因子分解定理,似然比仅与充分统计量有关,大幅降低计算维度 |
| 典型应用1:移位指数分布\(\theta+\Gamma(1,1)\) | 1. 支撑集\(A_\theta = [\theta, +\infty)\),满足条件的\(\phi \geqslant \theta\) 2. CRK下界近似值:\(\approx \frac{0.47}{n^2}\) 3. UMVUE方差:\(\frac{1}{n^2}\) |
样本最小值\(X_{(1)}\)是充分统计量,CRK下界小于UMVUE方差,无法达到 |
| 典型应用2:均匀分布\(R(0,\theta)\) | 1. 支撑集\(A_\theta = (0, \theta]\),满足条件的\(\phi \leqslant \theta\) 2. CRK下界近似值:\(\approx \frac{\theta^2}{1.5(n+2)^2}\) 3. UMVUE方差:\(\frac{\theta^2}{n(n+2)}\) |
样本最大值\(X_{(n)}\)是充分统计量,CRK下界更紧,但无偏估计无法达到 |
| 优缺点 | 优点:适用范围广,下界更紧; 缺点:上确界的解析计算难度大,通常只能求近似值 |
非正则族中,CRK下界通常无法达到,仅作为方差的理论下界 |
posted on 2026-02-24 22:21 Indian_Mysore 阅读(0) 评论(0) 收藏 举报
浙公网安备 33010602011771号