2.1.3极小充分统计量

极小充分统计量 知识点详解与推导证明

作为数理统计中统计推断的核心概念，极小充分统计量是在充分统计量的基础上，实现“样本信息上，实现“样本信息无损失前提下的最大程度压缩”，是统计推断中简化问题、降低维度的核心工具。以下从直观含义、严格定义、核心引理与定理、完整证明、归纳总结全链条展开讲解。

---

一、核心直观含义与统计量的“大小”偏序

1. 概念铺垫：充分统计量的核心价值

给定样本 \(X=(X_1,X_2,\dots,X_n)^T\)，我们的目标是用样本推断总体参数 \(\theta\)。充分统计量 \(T=T(X)\) 的核心是：对样本做“压缩加工”后，完全保留了样本中关于 \(\theta\) 的全部信息——给定 \(T(X)\) 后，样本的条件分布与 \(\theta\) 无关，没有任何信息损失。

而极小充分统计量，是在“不损失信息”的约束下，追求对样本的最大程度压缩：统计量维度越低、结构越简单、个数越少越好，也就是“压缩到极致，再压缩就会损失信息”。

2. 统计量“大小”的严格刻画

如何衡量两个统计量哪个“更精简、压缩程度更高”？我们通过函数映射关系定义偏序：
设两个统计量 \(T=T(X)\)、\(T^*=T^*(X)\)，若存在函数 \(\varphi(\cdot)\)，使得

\[T^*(X)=\varphi(T(X)) \]

则称 \(T^*\) 比 \(T\) 更小，\(T\) 比 \(T^*\) 更大。

集合视角的直观解释

\(T\) 的取值空间为 \(\mathcal{T}\)，\(T^*\) 的取值空间为 \(\mathcal{T}^*\)，\(\varphi\) 是从 \(\mathcal{T}\) 到 \(\mathcal{T}^*\) 的映射。对每个 \(t^*\in\mathcal{T}^*\)，定义原像集 \(A(t^*)=\varphi^{-1}(t^*)=\{t\in\mathcal{T}:\varphi(t)=t^*\}\)，则 \(\mathcal{T}=\bigcup_{t^*\in\mathcal{T}^*}A(t^*)\)。

这意味着：\(T^*\) 把 \(T\) 中“等价”的取值合并为一个值，对样本空间的划分更粗，压缩程度更高，因此更“小”。

示例：对正态分布 \(N(\theta,1)\) 的样本 \(X_1,\dots,X_n\)，样本本身 \(X=(X_1,\dots,X_n)\) 是充分统计量，\(T=\sum_{i=1}^n X_i\) 也是充分统计量，且 \(T=\varphi(X)\)（\(\varphi\) 为求和函数），因此 \(T\) 比 \(X\) 更小，压缩程度更高。

---

二、极小充分统计量的严格定义与推论

1. 定义2.1.3 极小充分统计量

称 \(T^*=T^*(X)\) 为极小充分统计量，当且仅当同时满足以下两个条件：

1. 充分性：\(T^*=T^*(X)\) 本身是充分统计量；
2. 极小性：对任意一个充分统计量 \(T=T(X)\)，都存在函数 \(\varphi(\cdot)\)，使得

\[T^*(X)=\varphi(T(X)) \]

定义解读

• 充分性是前提：若一个统计量压缩后丢失了 \(\theta\) 的信息，它连充分统计量都不是，更不可能是极小充分统计量；
• 极小性是核心：\(T^*\) 是所有充分统计量的“公共压缩结果”——任何充分统计量都能进一步压缩为 \(T^*\)，且不损失信息，因此 \(T^*\) 是所有充分统计量中“最精简”的。

2. 推论：极小充分统计量的等价性

命题：若充分统计量 \(S(X)\) 是极小充分统计量 \(T^*(X)\) 的函数，即 \(S(X)=h(T^*(X))\)，则 \(S(X)\) 也是极小充分统计量。

完整证明

要证 \(S(X)\) 是极小充分统计量，只需验证它满足定义的两个条件：

1. 充分性：命题已直接给出 \(S(X)\) 是充分统计量，满足第一个条件；
2. 极小性：需证明“对任意充分统计量 \(T\)，存在函数 \(\psi\)，使得 \(S(X)=\psi(T(X))\)”。

推导过程：

• 因为 \(T^*\) 是极小充分统计量，根据定义，对任意充分统计量 \(T\)，存在函数 \(\varphi\)，使得 \(T^*(X)=\varphi(T(X))\)；
• 已知 \(S(X)=h(T^*(X))\)，将 \(T^*(X)=\varphi(T(X))\) 代入，得：
  \[S(X)=h(\varphi(T(X))) \]

• 令复合函数 \(\psi(\cdot)=h(\varphi(\cdot))\)，则 \(S(X)=\psi(T(X))\)，满足极小性的要求。

综上，\(S(X)\) 满足极小充分统计量的定义，因此也是极小充分统计量。

推论的意义

极小充分统计量不唯一：所有与极小充分统计量构成可测函数关系、且自身满足充分性的统计量，都是等价的极小充分统计量。
示例：对 \(N(\theta,1)\) 的样本，\(\sum_{i=1}^n X_i\) 和 \(\bar{X}=\frac{1}{n}\sum_{i=1}^n X_i\) 互为函数关系，且都是充分统计量，因此二者都是该分布的极小充分统计量。

---

三、核心判定引理（引理2.1.3）与证明

引理2.1.3 把极小充分统计量的“函数关系”定义，转化为更直观的“样本等价类划分”，是连接定义与实用判定定理的桥梁。

1. 引理2.1.3(1)：统计量函数关系的充要条件

命题：设 \(T=T(X)\) 和 \(T^*=T^*(X)\) 为统计量，若对任意 \(x_1,x_2\in\mathcal{X}\)（样本空间），由 \(T(x_1)=T(x_2)\) 可推出 \(T^*(x_1)=T^*(x_2)\)，则必存在函数 \(\varphi(\cdot)\)，使得 \(T^*(X)=\varphi(T(X))\)。

完整证明

我们需要构造一个良定义的函数 \(\varphi\)，使得对所有 \(x\in\mathcal{X}\)，\(\varphi(T(x))=T^*(x)\)。

1. 定义映射的定义域：设 \(T\) 的值域为 \(\mathcal{T}=\{T(x):x\in\mathcal{X}\}\)，即所有 \(T\) 能取到的值的集合；
2. 构造函数 \(\varphi\)：对任意 \(t\in\mathcal{T}\)，存在至少一个 \(x\in\mathcal{X}\) 使得 \(T(x)=t\)，定义 \(\varphi(t)=T^*(x)\)；
3. 证明 \(\varphi\) 是良定义的：
   假设存在两个样本点 \(x_1,x_2\)，满足 \(T(x_1)=T(x_2)=t\)。根据引理的条件，\(T(x_1)=T(x_2)\) 可推出 \(T^*(x_1)=T^*(x_2)\)。
   这意味着：无论选择哪个满足 \(T(x)=t\) 的样本点 \(x\)，\(\varphi(t)\) 的取值都是唯一的，不会出现“一个 \(t\) 对应两个不同 \(T^*\) 值”的情况，因此 \(\varphi\) 是合法的函数。

综上，对任意 \(x\in\mathcal{X}\)，令 \(t=T(x)\)，则 \(\varphi(T(x))=\varphi(t)=T^*(x)\)，即 \(T^*(X)=\varphi(T(X))\)，引理(1)得证。

注：该命题的逆命题也成立（若 \(T^*=\varphi(T)\)，则 \(T(x_1)=T(x_2)\) 必推出 \(T^*(x_1)=T^*(x_2)\)），因此该条件是“一个统计量是另一个统计量的函数”的充要条件。

2. 引理2.1.3(2)：极小充分统计量的充要条件

命题：\(T^*=T^*(X)\) 为极小充分统计量的充要条件是：

1. \(T^*(X)\) 是充分统计量；
2. 对任何充分统计量 \(T=T(X)\)，都有：对任意 \(x_1,x_2\in\mathcal{X}\)，由 \(T(x_1)=T(x_2)\) 可推出 \(T^*(x_1)=T^*(x_2)\)。

完整证明

我们分别证明充分性和必要性：

（1）充分性：若满足条件1、2，则 \(T^*\) 是极小充分统计量

已知条件2：对任意充分统计量 \(T\)，\(T(x_1)=T(x_2)\Rightarrow T^*(x_1)=T^*(x_2)\)。
根据引理2.1.3(1)，该条件可直接推出：对任意充分统计量 \(T\)，存在函数 \(\varphi\)，使得 \(T^*(X)=\varphi(T(X))\)。
结合条件1“\(T^*\) 是充分统计量”，完全符合极小充分统计量的定义，因此 \(T^*\) 是极小充分统计量，充分性得证。

（2）必要性：若 \(T^*\) 是极小充分统计量，则满足条件1、2

• 条件1的证明：根据极小充分统计量的定义，\(T^*\) 首先必须是充分统计量，因此条件1自然成立；
• 条件2的证明：因为 \(T^*\) 是极小充分统计量，对任意充分统计量 \(T\)，根据定义存在函数 \(\varphi\)，使得 \(T^*(X)=\varphi(T(X))\)。
  当 \(T(x_1)=T(x_2)\) 时，必有 \(T^*(x_1)=\varphi(T(x_1))=\varphi(T(x_2))=T^*(x_2)\)，因此条件2成立。

综上，必要性得证，引理(2)完整得证。

引理的核心意义

它将极小性的定义，转化为样本空间划分的粗细比较：
极小充分统计量对样本空间的划分，是所有充分统计量中最粗的。如果两个样本点在任意充分统计量下是等价的（\(T(x_1)=T(x_2)\)），那么它们在极小充分统计量下一定也是等价的（\(T^*(x_1)=T^*(x_2)\)）。

---

四、实用判定定理（定理2.1.3）与证明

定理2.1.3 是实际应用中构造、验证极小充分统计量的最核心工具，它通过似然比的性质，直接给出极小充分统计量的判定方法。

定理2.1.3 命题

设样本 \(X=(X_1,\dots,X_n)^T \sim f(x,\theta),\theta\in\Theta,x\in\mathcal{X}\)，对任意 \(x,y\in\mathcal{X}\)，似然比 \(\frac{f(x,\theta)}{f(y,\theta)}\) 与 \(\theta\) 无关的充要条件为 \(T^*(x)=T^*(y)\)；且 \(T^*=T^*(X)\) 为充分统计量，则 \(T^*=T^*(X)\) 必为极小充分统计量。

完整证明

根据引理2.1.3(2)，要证 \(T^*\) 是极小充分统计量，只需证明：对任意充分统计量 \(T\)，若 \(T(x_1)=T(x_2)\)，则 \(T^*(x_1)=T^*(x_2)\)。

推导步骤如下：

1. 任取一个充分统计量 \(T=T(X)\)，根据充分统计量的因子分解定理，样本的联合密度可分解为：

   \[f(x,\theta)=g(T(x),\theta)\cdot h(x) \]

   其中 \(h(x)\) 与 \(\theta\) 无关，\(g\) 仅通过 \(T(x)\) 依赖于样本 \(x\)。

2. 假设对样本点 \(x_1,x_2\in\mathcal{X}\)，有 \(T(x_1)=T(x_2)\)，计算二者的似然比：

   \[\frac{f(x_1,\theta)}{f(x_2,\theta)}=\frac{g(T(x_1),\theta)\cdot h(x_1)}{g(T(x_2),\theta)\cdot h(x_2)} \]

   由 \(T(x_1)=T(x_2)\)，得 \(g(T(x_1),\theta)=g(T(x_2),\theta)\)，两项可约去，因此似然比化简为：

   \[\frac{f(x_1,\theta)}{f(x_2,\theta)}=\frac{h(x_1)}{h(x_2)} \]

3. 由于 \(h(x)\) 与 \(\theta\) 无关，因此 \(\frac{h(x_1)}{h(x_2)}\) 也与 \(\theta\) 无关，即 \(\frac{f(x_1,\theta)}{f(x_2,\theta)}\) 与 \(\theta\) 无关。

4. 根据定理的条件，“\(\frac{f(x,\theta)}{f(y,\theta)}\) 与 \(\theta\) 无关”的充要条件是“\(T^*(x)=T^*(y)\)”，因此必有 \(T^*(x_1)=T^*(x_2)\)。

综上，我们证明了“对任意充分统计量 \(T\)，\(T(x_1)=T(x_2)\Rightarrow T^*(x_1)=T^*(x_2)\)”，结合定理条件“\(T^*\) 是充分统计量”，由引理2.1.3(2)，\(T^*\) 是极小充分统计量，定理得证。

定理的实用价值

该定理给出了找极小充分统计量的标准流程：

1. 写出样本的联合密度/分布列 \(f(x,\theta)\)；
2. 对两个样本 \(x,y\)，化简似然比 \(\frac{f(x,\theta)}{f(y,\theta)}\)，分离出与 \(\theta\) 相关的部分；
3. 找到“似然比与 \(\theta\) 无关”的充要条件，该条件对应的统计量 \(T^*\)，就是极小充分统计量。

示例：对正态分布 \(N(\mu,\sigma^2)\)，参数 \(\theta=(\mu,\sigma^2)\)，似然比与 \(\theta\) 无关的充要条件是 \(\sum_{i=1}^n x_i=\sum_{i=1}^n y_i\) 且 \(\sum_{i=1}^n x_i^2=\sum_{i=1}^n y_i^2\)，因此 \(T^*=(\sum_{i=1}^n X_i,\sum_{i=1}^n X_i^2)\) 是极小充分统计量，等价的 \((\bar{X},S^2)\) 也是极小充分统计量。

---

五、核心知识点归纳总结表

模块	核心内容	前提条件	核心结论/性质	直观意义与用途
极小充分统计量直观定义	充分统计量中，对样本压缩程度最高、最精简的统计量	1. 是样本的可测函数（统计量）；2. 压缩后不损失关于 \(\theta\) 的任何信息	是所有充分统计量的公共最简压缩结果	用最少的统计量保留全部参数信息，大幅简化统计推断问题
极小充分统计量严格定义	定义2.1.3：\(T^*\) 是极小充分统计量，当且仅当	1. \(T^*\) 是充分统计量；2. 对任意充分统计量 \(T\)，存在函数 \(\varphi\) 使得 \(T^*=\varphi(T)\)	\(T^*\) 是所有充分统计量中“最小的”，可由任意充分统计量压缩得到	给出极小性的严格数学刻画，建立统计量的“大小”偏序关系
等价性推论	极小充分统计量的函数等价性	1. \(S\) 是充分统计量；2. \(S=h(T^*)\)，\(T^*\) 是极小充分统计量	\(S\) 也是极小充分统计量	说明极小充分统计量不唯一，互为可测函数的充分统计量等价
引理2.1.3(1)	统计量函数关系的充要条件	对任意 \(x_1,x_2\in\mathcal{X}\)，\(T(x_1)=T(x_2)\Rightarrow T^*(x_1)=T^*(x_2)\)	存在函数 \(\varphi\) 使得 \(T^*=\varphi(T)\)	将抽象的函数关系转化为样本等价类划分，更易理解和验证
引理2.1.3(2)	极小充分统计量的充要条件	1. \(T^*\) 是充分统计量；2. 对任意充分统计量 \(T\)，\(T(x_1)=T(x_2)\Rightarrow T^*(x_1)=T^*(x_2)\)	\(T^*\) 是极小充分统计量	把极小性定义转化为划分粗细的比较，为核心定理提供理论支撑
定理2.1.3	似然比判定极小充分统计量	1. 似然比 \(\frac{f(x,\theta)}{f(y,\theta)}\) 与 \(\theta\) 无关 \(\iff T^*(x)=T^*(y)\)；2. \(T^*\) 是充分统计量	\(T^*\) 是极小充分统计量	给出构造、验证极小充分统计量的最实用方法，是实际应用的核心工具

---

补充说明与常见误区

1. 极小充分统计量的维度不一定等于参数的维度：例如柯西分布 \(Cauchy(\theta,1)\) 的极小充分统计量是全体次序统计量，维度为 \(n\)，远高于参数维度1；
2. 充分统计量不一定是极小充分统计量：样本本身永远是充分统计量，但只有当不存在更低维度的充分统计量时，它才是极小充分统计量；
3. “极小”指压缩程度最高，而非数值大小：它描述的是统计量之间的偏序关系，而非数值的大小比较。

---

极小充分统计量例题详解（全步骤推导+核心逻辑拆解）

以下所有例题均采用定理2.1.3（似然比判定法）求解极小充分统计量，先明确通用解题四步法：

1. 写联合密度：根据i.i.d.样本的总体分布，写出样本的联合概率密度函数（pdf）/分布列（pmf）；
2. 构造并化简似然比：对任意两个样本点\(x=(x_1,\dots,x_n)\)和\(y=(y_1,\dots,y_n)\)，计算似然比\(\frac{f(x,\theta)}{f(y,\theta)}\)，分离出与参数\(\theta\)相关的项和与\(\theta\)无关的项；
3. 找似然比与\(\theta\)无关的充要条件：令似然比中所有含\(\theta\)的项的系数/指数为0，得到样本\(x\)和\(y\)需要满足的条件；
4. 确定极小充分统计量：上述充要条件对应的统计量，即为该分布的极小充分统计量（该统计量的充分性可由因子分解定理直接验证）。

---

例2.1.11 单参数正态分布\(N(\theta,1)\)的极小充分统计量

题目

设\(X_1,\dots,X_n\)为i.i.d.样本，\(X_1 \sim N(\theta,1)\)（均值\(\theta\)未知，方差1已知），求极小充分统计量。

完整推导过程

步骤1：写出样本的联合概率密度

单变量正态分布\(N(\theta,1)\)的pdf为：

\[f(x_1,\theta) = \frac{1}{\sqrt{2\pi}} \exp\left\{ -\frac{1}{2}(x_1-\theta)^2 \right\} \]

由于样本独立同分布，联合pdf为单变量pdf的乘积：

\[\begin{align*} f(x,\theta) &= \prod_{i=1}^n \frac{1}{\sqrt{2\pi}} \exp\left\{ -\frac{1}{2}(x_i-\theta)^2 \right\} \\ &= \left( \frac{1}{\sqrt{2\pi}} \right)^n \exp\left\{ -\frac{1}{2}\sum_{i=1}^n (x_i-\theta)^2 \right\} \end{align*} \]

步骤2：展开并化简似然比

对两个样本\(x\)和\(y\)，似然比为：

\[\frac{f(x,\theta)}{f(y,\theta)} = \frac{\left( \frac{1}{\sqrt{2\pi}} \right)^n \exp\left\{ -\frac{1}{2}\sum_{i=1}^n (x_i-\theta)^2 \right\}}{\left( \frac{1}{\sqrt{2\pi}} \right)^n \exp\left\{ -\frac{1}{2}\sum_{i=1}^n (y_i-\theta)^2 \right\}} \]

与\(\theta\)无关的常数项直接约去，得到：

\[\frac{f(x,\theta)}{f(y,\theta)} = \exp\left\{ -\frac{1}{2}\left[ \sum_{i=1}^n (x_i-\theta)^2 - \sum_{i=1}^n (y_i-\theta)^2 \right] \right\} \]

关键展开平方项：

\[(x_i-\theta)^2 = x_i^2 - 2\theta x_i + \theta^2, \quad (y_i-\theta)^2 = y_i^2 - 2\theta y_i + \theta^2 \]

代入求和后，\(n\theta^2\)项相互抵消，化简得：

\[\sum_{i=1}^n (x_i-\theta)^2 - \sum_{i=1}^n (y_i-\theta)^2 = \sum_{i=1}^n (x_i^2 - y_i^2) - 2\theta \cdot n(\bar{x} - \bar{y}) \]

其中\(\bar{x} = \frac{1}{n}\sum_{i=1}^n x_i\)，\(\bar{y} = \frac{1}{n}\sum_{i=1}^n y_i\)。

将展开结果代入似然比，拆分指数项：

\[\begin{align*} \frac{f(x,\theta)}{f(y,\theta)} &= \exp\left\{ -\frac{1}{2}\sum_{i=1}^n (x_i^2 - y_i^2) + n\theta(\bar{x} - \bar{y}) \right\} \\ &= \exp\left\{ -\frac{1}{2}\sum_{i=1}^n (x_i^2 - y_i^2) \right\} \cdot \exp\left\{ n(\bar{x} - \bar{y})\theta \right\} \end{align*} \]

步骤3：分析似然比与\(\theta\)无关的充要条件

似然比分为两部分：

• 第一部分仅与样本\(x,y\)有关，与\(\theta\)无关；
• 第二部分\(\exp\left\{ n(\bar{x} - \bar{y})\theta \right\}\)是唯一与\(\theta\)相关的项。

要让整个似然比与\(\theta\)无关，必须让第二部分为与\(\theta\)无关的常数。由于\(\theta\)是任意未知参数，只有当指数的系数为0时，该项恒为\(\exp(0)=1\)，与\(\theta\)无关。

因此充要条件为：

\[n(\bar{x} - \bar{y}) = 0 \iff \bar{x} = \bar{y} \]

步骤4：确定极小充分统计量

似然比与\(\theta\)无关的充要条件是样本均值相等，因此统计量\(T^* = \bar{X} = \frac{1}{n}\sum_{i=1}^n X_i\)是极小充分统计量（等价于\(T^*=\sum_{i=1}^n X_i\)）。

---

例2.1.12 Gamma分布与Beta分布的极小充分统计量

(1) Gamma分布\(\Gamma(\lambda,\nu)\)的极小充分统计量

题目

设\(X_1,\dots,X_n\)为i.i.d.样本，\(X_1 \sim \Gamma(\lambda,\nu)\)（形状参数\(\nu>0\)，率参数\(\lambda>0\)，均未知），求极小充分统计量。

完整推导过程

步骤1：写出样本的联合概率密度

Gamma分布的pdf为：

\[f(x_1;\lambda,\nu) = \frac{\lambda^\nu}{\Gamma(\nu)} x_1^{\nu-1} e^{-\lambda x_1} I\{x_1 \geq 0\} \]

其中\(I\{\cdot\}\)为指示函数，满足条件时取1，否则取0。

i.i.d.样本的联合pdf为：

\[\begin{align*} f(x;\lambda,\nu) &= \prod_{i=1}^n \frac{\lambda^\nu}{\Gamma(\nu)} x_i^{\nu-1} e^{-\lambda x_i} I\{x_i \geq 0\} \\ &= \left( \frac{\lambda^\nu}{\Gamma(\nu)} \right)^n \cdot \left( \prod_{i=1}^n x_i \right)^{\nu-1} \cdot \exp\left\{ -\lambda \sum_{i=1}^n x_i \right\} \cdot I\{x_{(1)} \geq 0\} \end{align*} \]

其中\(x_{(1)} = \min\{x_1,\dots,x_n\}\)，所有\(x_i \geq 0\)等价于最小值\(x_{(1)} \geq 0\)。

步骤2：构造并化简似然比

对两个样本\(x\)和\(y\)，似然比为：

\[\frac{f(x;\lambda,\nu)}{f(y;\lambda,\nu)} = \left( \frac{\prod_{i=1}^n x_i}{\prod_{i=1}^n y_i} \right)^{\nu-1} \cdot \exp\left\{ -\lambda \left( \sum_{i=1}^n x_i - \sum_{i=1}^n y_i \right) \right\} \cdot \frac{I\{x_{(1)} \geq 0\}}{I\{y_{(1)} \geq 0\}} \]

步骤3：分析似然比与\((\lambda,\nu)\)无关的充要条件

似然比中，仅与样本有关的指示函数项不影响参数相关性，核心约束为：

1. 含\(\nu\)的项：仅当\(\prod_{i=1}^n x_i = \prod_{i=1}^n y_i\)时，该项为\(1^{\nu-1}=1\)，与\(\nu\)无关；
2. 含\(\lambda\)的项：仅当\(\sum_{i=1}^n x_i = \sum_{i=1}^n y_i\)时，指数为0，该项为\(e^0=1\)，与\(\lambda\)无关。

因此充要条件为：

\[\prod_{i=1}^n x_i = \prod_{i=1}^n y_i \quad \text{且} \quad \sum_{i=1}^n x_i = \sum_{i=1}^n y_i \]

步骤4：确定极小充分统计量

充要条件对应的统计量为\(T^* = \left( \prod_{i=1}^n X_i, \sum_{i=1}^n X_i \right)\)，即为Gamma分布的极小充分统计量。

---

(2) Beta分布\(BE(p,q)\)的极小充分统计量

题目

设\(X_1,\dots,X_n\)为i.i.d.样本，\(X_1 \sim BE(p,q)\)（形状参数\(p>0,q>0\)，均未知），求极小充分统计量。

完整推导过程

步骤1：写出样本的联合概率密度

Beta分布的pdf为：

\[f(x_1;p,q) = \frac{1}{\beta(p,q)} x_1^{p-1} (1-x_1)^{q-1}, \quad 0 < x_1 < 1 \]

其中\(\beta(p,q) = \frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)}\)为Beta函数。

i.i.d.样本的联合pdf为：

\[\begin{align*} f(x;p,q) &= \prod_{i=1}^n \frac{1}{\beta(p,q)} x_i^{p-1} (1-x_i)^{q-1} \\ &= \left( \frac{1}{\beta(p,q)} \right)^n \cdot \left( \prod_{i=1}^n x_i \right)^{p-1} \cdot \left( \prod_{i=1}^n (1-x_i) \right)^{q-1} \end{align*} \]

步骤2：构造并化简似然比

对两个样本\(x\)和\(y\)，似然比为：

\[\frac{f(x;p,q)}{f(y;p,q)} = \left( \frac{\prod_{i=1}^n x_i}{\prod_{i=1}^n y_i} \right)^{p-1} \cdot \left( \frac{\prod_{i=1}^n (1-x_i)}{\prod_{i=1}^n (1-y_i)} \right)^{q-1} \]

步骤3：分析似然比与\((p,q)\)无关的充要条件

要让似然比与两个参数都无关，必须两项都为常数：

1. 含\(p\)的项：仅当\(\prod_{i=1}^n x_i = \prod_{i=1}^n y_i\)时，与\(p\)无关；
2. 含\(q\)的项：仅当\(\prod_{i=1}^n (1-x_i) = \prod_{i=1}^n (1-y_i)\)时，与\(q\)无关。

因此充要条件为：

\[\prod_{i=1}^n x_i = \prod_{i=1}^n y_i \quad \text{且} \quad \prod_{i=1}^n (1-x_i) = \prod_{i=1}^n (1-y_i) \]

步骤4：确定极小充分统计量

充要条件对应的统计量为\(T^* = \left( \prod_{i=1}^n X_i, \prod_{i=1}^n (1-X_i) \right)\)，即为Beta分布的极小充分统计量。

---

例2.1.13 指数族分布的通用极小充分统计量

题目

设\(X_1,\dots,X_n\)为i.i.d.样本，总体分布为指数族分布，pdf/pmf为：

\[f(x_1;\theta) = h(x_1) \exp\left\{ Q^\mathrm{T}(\theta) T(x_1) - b(\theta) \right\} \]

其中\(\theta\)为未知参数向量，\(Q(\theta)\)为参数的向量函数，\(T(x_1)\)为单样本充分统计量向量，求极小充分统计量。

完整推导过程

步骤1：写出样本的联合pdf/pmf

i.i.d.样本的联合分布为：

\[\begin{align*} f(x;\theta) &= \prod_{i=1}^n h(x_i) \exp\left\{ Q^\mathrm{T}(\theta) T(x_i) - b(\theta) \right\} \\ &= \left( \prod_{i=1}^n h(x_i) \right) \cdot \exp\left\{ Q^\mathrm{T}(\theta) \sum_{i=1}^n T(x_i) - n b(\theta) \right\} \end{align*} \]

步骤2：构造并化简似然比

对两个样本\(x\)和\(y\)，似然比为：

\[\frac{f(x;\theta)}{f(y;\theta)} = \left( \prod_{i=1}^n \frac{h(x_i)}{h(y_i)} \right) \cdot \exp\left\{ Q^\mathrm{T}(\theta) \left( \sum_{i=1}^n T(x_i) - \sum_{i=1}^n T(y_i) \right) \right\} \]

步骤3：分析似然比与\(\theta\)无关的充要条件

似然比的第一部分与参数无关，第二部分含未知参数\(\theta\)。由于\(Q(\theta)\)是参数的任意函数，只有当指数的系数向量为0时，该项恒为1，与\(\theta\)无关。

因此充要条件为：

\[\sum_{i=1}^n T(x_i) = \sum_{i=1}^n T(y_i) \]

步骤4：确定极小充分统计量

充要条件对应的统计量为\(T^* = \sum_{i=1}^n T(X_i)\)，即为指数族分布的极小充分统计量。

核心意义

该结论是指数族分布的通用性质，覆盖了正态、Gamma、Beta、二项、泊松等绝大多数常见分布，可直接套用：正则指数族的极小充分统计量，就是单样本充分统计量的样本和。

---

例2.1.14 平移指数分布\(\mu + \Gamma(\lambda,1)\)的极小充分统计量

题目

设\(X_1,\dots,X_n\)为i.i.d.样本，\(X_1 \sim \mu + \Gamma(\lambda,1)\)，即带位置参数的指数分布，pdf为：

\[f(x_1;\lambda,\mu) = \lambda e^{-\lambda(x_1 - \mu)} I\{x_1 \geq \mu\}, \quad \lambda>0, \mu\in\mathbb{R} \text{ 均未知} \]

求极小充分统计量。

完整推导过程

步骤1：写出样本的联合pdf

i.i.d.样本的联合pdf为：

\[\begin{align*} f(x;\lambda,\mu) &= \prod_{i=1}^n \lambda e^{-\lambda(x_i - \mu)} I\{x_i \geq \mu\} \\ &= \lambda^n \exp\left\{ -\lambda \sum_{i=1}^n x_i + n\lambda \mu \right\} \cdot I\{x_{(1)} \geq \mu\} \end{align*} \]

其中\(x_{(1)} = \min\{x_1,\dots,x_n\}\)，所有\(x_i \geq \mu\)等价于最小值\(x_{(1)} \geq \mu\)。

步骤2：构造并化简似然比

对两个样本\(x\)和\(y\)，似然比为：

\[\frac{f(x;\lambda,\mu)}{f(y;\lambda,\mu)} = \exp\left\{ -\lambda \left( \sum_{i=1}^n x_i - \sum_{i=1}^n y_i \right) \right\} \cdot \frac{I\{x_{(1)} \geq \mu\}}{I\{y_{(1)} \geq \mu\}} \]

步骤3：分析似然比与\((\lambda,\mu)\)无关的充要条件

1. 指数项（与\(\lambda\)相关）：仅当\(\sum_{i=1}^n x_i = \sum_{i=1}^n y_i\)时，该项与\(\lambda\)无关；
2. 指示函数项（与\(\mu\)相关）：要让比值对任意未知\(\mu\)都为常数，必须让两个指示函数对所有\(\mu\)的取值完全一致，即\(x_{(1)} = y_{(1)}\)。

因此充要条件为：

\[\sum_{i=1}^n x_i = \sum_{i=1}^n y_i \quad \text{且} \quad x_{(1)} = y_{(1)} \]

步骤4：确定极小充分统计量

充要条件对应的统计量为\(T^* = \left( X_{(1)}, \sum_{i=1}^n X_i \right)\)，即为该平移指数分布的极小充分统计量。

补充说明

该分布不属于正则指数族（支撑集\(x_1 \geq \mu\)与参数\(\mu\)有关），无法直接套用指数族通用结论，必须通过指示函数的约束分析，这也是非正则分布的核心特点。

---

例2.1.15 双参数均匀分布\(R(\theta_1,\theta_2)\)的极小充分统计量

题目

设\(X_1,\dots,X_n\)为i.i.d.样本，\(X_1 \sim R(\theta_1,\theta_2)\)（区间\((\theta_1,\theta_2)\)上的均匀分布，\(\theta_1 < \theta_2\)均未知），求极小充分统计量。

完整推导过程

步骤1：写出样本的联合pdf

均匀分布\(R(\theta_1,\theta_2)\)的pdf为：

\[f(x_1;\theta_1,\theta_2) = \frac{1}{\theta_2 - \theta_1} I\{\theta_1 \leq x_1 \leq \theta_2\} \]

i.i.d.样本的联合pdf为：

\[\begin{align*} f(x;\theta_1,\theta_2) &= \prod_{i=1}^n \frac{1}{\theta_2 - \theta_1} I\{\theta_1 \leq x_i \leq \theta_2\} \\ &= \left( \frac{1}{\theta_2 - \theta_1} \right)^n \cdot I\{\theta_1 \leq x_{(1)}\} \cdot I\{x_{(n)} \leq \theta_2\} \end{align*} \]

其中\(x_{(1)} = \min\{x_1,\dots,x_n\}\)，\(x_{(n)} = \max\{x_1,\dots,x_n\}\)。

步骤2：构造并化简似然比

对两个样本\(x\)和\(y\)，似然比为：

\[\frac{f(x;\theta_1,\theta_2)}{f(y;\theta_1,\theta_2)} = \frac{I\{\theta_1 \leq x_{(1)}\} \cdot I\{x_{(n)} \leq \theta_2\}}{I\{\theta_1 \leq y_{(1)}\} \cdot I\{y_{(n)} \leq \theta_2\}} \]

步骤3：分析似然比与\((\theta_1,\theta_2)\)无关的充要条件

要让比值对任意未知的\(\theta_1,\theta_2\)都为常数，必须让分子和分母的指示函数对所有参数取值完全一致：

1. 对\(\theta_1\)的约束：仅当\(x_{(1)} = y_{(1)}\)时，\(I\{\theta_1 \leq x_{(1)}\}\)与\(I\{\theta_1 \leq y_{(1)}\}\)完全一致；
2. 对\(\theta_2\)的约束：仅当\(x_{(n)} = y_{(n)}\)时，\(I\{x_{(n)} \leq \theta_2\}\)与\(I\{y_{(n)} \leq \theta_2\}\)完全一致。

因此充要条件为：

\[x_{(1)} = y_{(1)} \quad \text{且} \quad x_{(n)} = y_{(n)} \]

步骤4：确定极小充分统计量

充要条件对应的统计量为\(T^* = \left( X_{(1)}, X_{(n)} \right)\)，即为双参数均匀分布的极小充分统计量。

---

全例题核心信息总结表

例题序号	总体分布	未知参数	极小充分统计量	分布类型	核心要点
2.1.11	单参数正态分布\(N(\theta,1)\)	均值\(\theta\)	样本均值\(\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i\)	正则指数族	单参数指数族，极小充分统计量为样本和/均值
2.1.12(1)	Gamma分布\(\Gamma(\lambda,\nu)\)	形状\(\nu\)、率\(\lambda\)	\(\left( \prod_{i=1}^n X_i, \sum_{i=1}^n X_i \right)\)	正则指数族	双参数指数族，极小充分统计量为两个充分统计量的样本和
2.1.12(2)	Beta分布\(BE(p,q)\)	形状\(p,q\)	\(\left( \prod_{i=1}^n X_i, \prod_{i=1}^n (1-X_i) \right)\)	正则指数族	双参数指数族，极小充分统计量对应两个形状参数的充分统计量
2.1.13	通用指数族分布	参数向量\(\theta\)	\(\sum_{i=1}^n T(X_i)\)	正则指数族	指数族通用结论，极小充分统计量为充分统计量的样本和
2.1.14	平移指数分布\(\mu+\Gamma(\lambda,1)\)	位置\(\mu\)、率\(\lambda\)	\(\left( X_{(1)}, \sum_{i=1}^n X_i \right)\)	非正则指数族	支撑集与参数有关，需结合次序统计量（最小值）和样本和
2.1.15	双参数均匀分布\(R(\theta_1,\theta_2)\)	上下界\(\theta_1,\theta_2\)	\(\left( X_{(1)}, X_{(n)} \right)\)	非正则指数族	支撑集与参数有关，极小充分统计量为次序统计量的两个端点

---

通用解题关键提醒

1. 正则指数族：直接套用通用结论，极小充分统计量为充分统计量的样本和，维度与参数维度一致；
2. 非正则分布（支撑集与参数有关）：核心是处理指示函数，必须保证指示函数的比值与参数无关，通常需要用到次序统计量；
3. 等价性：极小充分统计量不唯一，互为一一可测函数的统计量都是等价的极小充分统计量（如\(\sum X_i\)和\(\bar{X}\)）；
4. 充分性前提：极小充分统计量首先必须是充分统计量，所有推导都以因子分解定理为基础，似然比法是在充分性的基础上验证极小性。