统计学(十二)——评价统计量优劣的几个标准
在推断性统计中，我们需要从样本中加工提取其反映总体的信息，就得用到统计量，发挥统计量的作用。这就提出了一个问题，什么样的统计量能达成我们的述求，能完美地提取出总体的规律性特征。回答这个问题要理解衡量统计量优劣的几个标准，从大的方面说要求是充分统计量，从小的方面说要求满足无偏性、有效性和一致性，本文将展开该方面的讨论。
一、充分统计量
对参数进行估计，要使用从样本加工而来的统计量，这是一种对样本的信息提取。我们知道，在简化加工样本信息的同时，肯定也会丢失了一部分信息，那么要如何加工样本，才能尽可能多地删掉无用信息，保留尽可能多的有效信息——或者更进一步地，保留全部的有效信息呢？这需要我们对有效和无效作出定义上的区分。
众所周知，信息是有效的还是无效的，取决于我们要使用信息来做什么。比如说想判断第二天的气温来看看应该穿什么衣服，那么“明天会下雨”这个信息就是有效的，而“奥运会将在2021年开”这个信息就无效了。现在我们想要使用信息来对参数作估计，拥有的全部信息就是样本观测，要保留全部的有效信息，必须将样本按一定方式加工成统计量。
充分统计量：对于统计量\(T=T(\boldsymbol{X})\)，如果在已知\(T\)的条件下样本\(\boldsymbol{X}\)的条件分布与待估参数\(\theta\)无关，则称\(T(\boldsymbol{X})\)是\(\theta\)的充分统计量。
这也就是说，如果给定了\(T\)，则\(\boldsymbol{X}|T\)的联合分布（联合密度）中甚至不含有\(\theta\)，自然不包含\(\theta\)的任何信息，因此在给定\(T\)的情况下再关注\(\boldsymbol{X}\)是没有必要的。这就是充分性的由来。
对于\(T=T(\boldsymbol{X})\)这种记法应该不至于太陌生。事实上这里左右两边的\(T\)代表不一样的意思，右边的\(T\)是一个\(n\)元函数\(T(x_1,\cdots,x_n)\)，而\(\boldsymbol{X}=(X_1,\cdots,X_n)\)就是它的取值，因此\(T(\boldsymbol{X})\)代表了一个样本的函数，也就是一个统计量,这个统计量用\(T\)表示。
直观上理解，充分统计量就是能概括样本中的所有信息的统计量。当然，我更喜欢以这样的方式去理解充分统计量：知道了充分统计量后与知道所有样本对推断未知参数的效果相同。
一个现实中的例子就是星座与性格的关系。性格肯定是一个随机变量，它的分布取决于太多的因素，比如家庭、生长的地域、受的教育、还有生理等诸多因素。但莫明其妙的是，在很多情况下，这么多因素的信息居然浓缩在“星座”这一个信息里。比如，你想判断一个人的性格，你可以问他或她是什么星座的，给定星座的情况下，你对他/她性格的“分布”会有一个估计。很多情况下，你还可以加上血型这样一个统计量，估计会更精确点。但匪夷所思的是，有人还再加上“生肖”这样一个中国特有的“统计量”，再对各星座的性格做出统计判断。
二、评价统计量的三个标准
参数估计是用样本统计量作为总体参数的估计。对于一个未知参数，可以构造很多个统计量去估计它，究竟什么样的统计量是优良估计量，主要有以下评价标准：无偏性、有效性和一致性。
2.1无偏性
无偏性指的是样本指标的平均数等于被估计的总体参数，即估计量\(\hat{\theta}\)的数学期望等于待估参数的真值\(\theta\)。一个参数的估计量常常不止一个。常用的评价标准有多个，如无偏性、有效性和一致性。
设\(\widehat{\theta}（x_1，x_2，...，x_n）\)是参数 \(\theta\) 的一个估计，若对于参数空间\(\Theta=\{\theta\}\) 中的任一个$\theta $都有
则称\(\widehat{\theta}\)为\(\theta\)的无偏估计，否则称为\(\theta\)的有偏估计。
由于样本的随机性，这种偏差时大时小，时正时负，而把这些偏差平均起来其值为\(\theta\)，所以无偏是指无系统偏差。 若一个估计不具有无偏性，估计均值$E(\hat{\theta }) $与参数真值 \(\theta\)总有一定距离，这个距离就是系统偏差。这就是有偏估计的缺点。在随机抽样中，有时会抽到偏小的单位，有时会抽到偏大的单位，在无偏估计的情况下，这种误差没有系统性方向，随着样本的增加，这有大有小的误差会相互抵消，因此无偏估计量是指没有系统性误差。有偏估计量则不同，它的误差不会随着样本的增大而消失，而是具有一定的方向，会产生系统性误差。
设总体为正态分布 $ N(\mu, \sigma^2) $，从中抽取样本 $ X_1, X_2, \dots, X_n $，样本均值为：
是 $ \mu $ 的无偏估计，因为：
但若我们用：
作为估计，则该估计量是有偏的，因为 $ E[\tilde{X}] \neq \mu $。
2.2有效性
有效性也称为最小方差性，指的是估计量在所有无偏估计量中具有最小方差。对同一总体参数的两个无偏点估计量，有更小方差的估计量更有效。
设\(\hat\theta_{1}\)与\(\hat\theta_{2}\)为参数\(\theta\)的两个无偏估计量，若\(Var\hat\theta_{1} < Var\hat \theta_{2}\)，则称\(\hat\theta_{1}\)比\(\hat\theta_{2}\)更有效。
对于正态总体 $ N(\mu, \sigma^2) $，样本均值 $ \bar{X} $ 是 $ \mu $ 的最小方差无偏估计量（MVUE），在所有无偏估计量中它的方差最小：
设另一个估计量为 $ \hat{\mu} = X_1 $（即只用第一个观测值估计 $ \mu $），虽然该估计也是无偏的（因为 $ E[X_1] = \mu $），但它的方差为 $ \sigma^2 $，明显大于 $ \bar{X} $ 的方差。
意义：有效性反映了估计的精确性，方差越小估计越集中、越可靠。在有限样本下，选择有效估计量可显著提升统计效率。
2.3一致性（相合性）
一致性指的是随着样本量的增大，统计量的值越来越接近被估计的总体参数。估计量 \(\hat\theta\) 与 \(\theta\)的真值任意接近的概率趋于1，它反映了估计量的一种大样本性质。
设 \(\hat\theta ({X_1},{X_2},...,{X_n})\)为参数\(\theta\)的估计量，若 \(\hat\theta\)依概率收敛于\(\theta\)，则称\(\hat \theta\)为\(\theta\)的一致估计量，即
如果一个统计量是一个一致估计量，那么样本容量越大，代表性就越好，估计的可靠性就越高；如果不是一致估计量，增大样本容量不会提高其代表性。
以样本均值 $ \bar{X} $ 为例，若 $ X_i $ 独立同分布且有有限均值和方差，则由大数法则可知：
即 $ \bar{X} $ 是 $ \mu $ 的一致估计量。相比之下，某些估计可能在小样本下表现良好但在大样本下发散，则不能称为一致。
总结
| 评价标准 | 数学定义 | 描述含义 | 优点 | 局限性 |
|---|---|---|---|---|
| 无偏性 | \(E[\hat{\theta}] = \theta )\) | 平均意义下估计不偏离真值 | 估计“中立”、无系统性误差 | 不保证精确性、可伴随大方差 |
| 有效性 | 方差最小（在无偏估计中） | 估计值波动小、集中性强 | 提高精度、推断稳定性高 | 通常只定义于无偏估计类内 |
| 一致性 | $ \hat{\theta}_n \xrightarrow{P} \theta$ | 样本大时逼近真实参数值 | 大样本下可靠、长远准确 | 小样本下可能误差大或有偏 |
统计量用来估计未知总体的参数，每次估计是指把这个函数应用在一组已知的数据集上，求函数的结果。对于给定的参数，可以有许多不同的估计量；对于不用的样本，可以得到许多的估计值，因此我们需要通过一些选择标准从它们中选出较好的统计量。
这些标准如下：无偏：随机变量（估计量）的期望（均值）等于总体的均值；有效性：随机变量（估计量）围绕总体均值的波动（方差）小；一致性：随着样本容量增加（即估计量具体的估计值增加），估计量的方差逐渐减小，依概率收敛到总体均值；一致性： 渐近无偏性就是一致性。一致性对于统计量最重要：随着样本量增加，估计量会收敛致总体的数字特征，这样就可以用样本推断总体。
浙公网安备 33010602011771号