极限理论04：Delta方法与方差平稳变换

目录

• Delta 方法

Delta 方法

如果我们有估计量\(T_n\)用来估计参数\(\theta\)。若 \(T_n\)以某种收敛到\(\theta\)并且\(g\)连续,由连续映射定理可知相应的\(g(T_n)\)也收敛到\(g(\theta)\)。当\(\sqrt{n} (T_n-\theta)\)收敛到某一分布时，在一定条件下根据以下Delta方法可以得到\(\sqrt{n} (g(T_n)-g(\theta))\)也会收敛到某一分布。

定理 6.1（一元Delta方法）：设 \(\sqrt{n}\left(T_{n}-\theta\right) \stackrel{d}{\rightarrow} N\left(0, \sigma^{2}(\theta)\right)\). 令 \(g: \mathbb{R} \mapsto \mathbb{R}\) 在 \(\theta\) 可微且 \(g^{\prime}(\theta) \neq 0 .\) 则

\[\sqrt{n}\left\{g\left(T_{n}\right)-g(\theta)\right\} \stackrel{d}{\rightarrow} N\left(0,\left\{g^{\prime}(\theta)\right\}^{2} \sigma^{2}(\theta)\right) \]

更一般地，设 \(r_{n}\left(T_{n}-\theta\right) \stackrel{d}{\rightarrow} T\) ，其中 \(T\)为随机变量 (不一定服从正态分布)， \(r_{n} \rightarrow \infty\) (并不一定为 \(n^{1 / 2}\) )。如果 \(g\) 在 \(\theta\)可微且 \(g^{\prime}(\theta) \neq 0\), 则

\[r_{n}\left\{g\left(T_{n}\right)-g(\theta)\right\} \stackrel{d}{\rightarrow} g^{\prime}(\theta) T \]

如果 \(g^{\prime}(\theta)=0\), 那么得到的极限分布为一退化分布。则对\(g(T_n)\)考虑更高阶的展开

\[g\left(T_{n}\right)=g(\theta)+g^{\prime \prime}(\theta) \frac{\left(T_{n}-\theta\right)^{2}}{2}+o_{p}\left\{\left(T_{n}-\theta\right)^{2}\right\} \]

则有

\[\begin{aligned} n\left\{g\left(T_{n}\right)-g(\theta)\right\} &=g^{\prime \prime}(\theta) \frac{\left\{\sqrt{n}\left(T_{n}-\theta\right)\right\}^{2}}{2}+o_{p}(1) \\ & \stackrel{d}{\rightarrow} \frac{g^{\prime \prime}(\theta) \sigma^{2}(\theta)}{2} \chi_{1}^{2} \end{aligned} \]

由此给出定理6.2

定理6.2：设 \(\sqrt{n}\left(T_{n}-\theta\right) \stackrel{d}{\rightarrow} N\left(0, \sigma^{2}(\theta)\right)\). 令 \(g: \mathbb{R} \mapsto \mathbb{R}\) 在 \(\theta\) k阶可微且 \(g^{(j)}(\theta)=0\) \(\forall j<k\) 但 \(g^{(k)}(\theta) \neq 0\). 则

\[n^{k / 2}\left\{g\left(T_{n}\right)-g(\theta)\right\} \stackrel{d}{\rightarrow} \frac{g^{(k)}(\theta) \sigma^{k}(\theta)}{k !}\{N(0,1)\}^{k} \]

例：设 \(X_{1}, X_{2}, \ldots, X_{n}\) 为 i.i.d.随机变量有均值 \(\mu\), 方差 \(\sigma^{2}\) 且有 $\mathrm{E}\left(X_{1}^{4}\right)<\infty $。由CMT即Slutsky定理知 \(\sqrt{n}\left(S_{n}^{2}-\sigma^{2}\right) \stackrel{d}{\rightarrow} N\left(0, \mu_{4}-\sigma^{4}\right)\)。令\(g(x)=\sqrt{x}\),由Delta方法可知\(\sqrt{n}\left(S_{n}-\sigma\right) \stackrel{d}{\rightarrow} N\left(0, \frac{\mu_{4}-\sigma^{4}}{4 \sigma^{2}}\right)\)

以下给出多元情形Delta方法

定理6.3（Delta方法）：设 \(\sqrt{n}\left(\boldsymbol{T}_{n}-\boldsymbol{\theta}\right) \stackrel{d}{\rightarrow} N_{p}(\mathbf{0}, \Sigma(\boldsymbol{\theta}))\). 令 \(\boldsymbol{g}: \mathbb{R}^{p} \mapsto \mathbb{R}^{m}\) 在 \(\boldsymbol{\theta}\) 可微且有非零梯度 \(\nabla \mathbf{g}(\boldsymbol{\theta})\)。则

\[\sqrt{n}\left\{\boldsymbol{g}\left(\boldsymbol{T}_{n}\right)-\boldsymbol{g}(\boldsymbol{\theta})\right\} \stackrel{d}{\rightarrow} N_{m}\left(\mathbf{0}, \nabla^{\top} \boldsymbol{g}(\boldsymbol{\theta}) \Sigma(\boldsymbol{\theta}) \nabla \boldsymbol{g}(\boldsymbol{\theta})\right) \]

例：设 \(X_{1}, X_{2}, \ldots, X_{n}\) 为 i.i.d.随机变量有均值 \(\mu\), 方差 \(\sigma^{2}\) 且有 $\mathrm{E}\left(X_{1}^{4}\right)<\infty $。则有

\(\sqrt{n}\left(\begin{array}{c}\bar{X}_{n}-\mu \\ S_{n}^{2}-\sigma^{2}\end{array}\right) \stackrel{d}{\rightarrow} N_{2}\left(\left(\begin{array}{l}0 \\ 0\end{array}\right),\left(\begin{array}{cc}\sigma^{2} & \mu_{3} \\ \mu_{3} & \mu_{4}-\sigma^{4}\end{array}\right)\right)\)

例：方差平稳变换（VST）: \(g(\theta)=\int \frac{1}{\sigma(\theta)} \mathrm{d} \theta\)