独立同分布的大样本OLS回归

本文将把OLS回归，从小样本推广到大样本的情形。关于小样本OLS回归，可见《小样本OLS回归的框架》和《小样本OLS回归梳理》。

尽管在大样本下，假设、推导、结论都与在小样本情形下不同，但总体的思路还是一样的：

• 进行点估计，再研究估计量的性质；
• 构造统计量，在大样本下推导其渐近分布，并进行假设检验。

本文考虑大样本情形中最简单的情况：独立同分布的随机样本。

1 记号与假设

由于可能会考虑到时间序列的情形，因此这里对于单个样本的下标采用\(t\)，不再用\(i\)。记\(Q=\text{E}(x_t x_t')\)，\(V=\text{Var}(x_t\varepsilon_t)\)，其他记号与小样本情形下一样。

• 假设1 独立同分布：\(\{x_t',y_t\}'\)，\(t=1,\ldots,N\)是可观测的独立同分布的随机样本；
• 假设2 线性性：\(y_t=x_t'\beta+\varepsilon_t\)，可写作矩阵形式\(y=X\beta+\varepsilon\)；
• 假设3 模型正确设定：\(\text{E}(\varepsilon_t|x_t)=0\)且\(\text{E}(\varepsilon_t^2)=\sigma^2<\infty\)；
• 假设4 非奇异性：\(K\times K\)矩阵\(Q\)是对称、有限、非奇异的；
• 假设5：\(K\times K\)矩阵\(V\)是对称、有限、正定的；
• 假设6 条件同方差：\(\text{E}(\varepsilon_t^2|x_t)=\sigma^2\)。

由假设1与假设3，可推出\(\text{E}(\varepsilon_t|X)=0\)，即满足了严格外生性。另外，由于有假设3的保证，\(V=\text{Var}(x_t\varepsilon_t)=\text{E}(x_t x_t' \varepsilon^2_t)\)。

可以看到，在大样本下，不需要对扰动项作出正态分布的假设。而这里的独立同分布假设，也保证了扰动项无自相关，因此，在后续的推导中，只需要考虑假设6是否满足即可。若满足假设6，那么假设5可由假设4保证，若不满足假设6即存在条件异方差，可以用\(\text{E}(\varepsilon_t^4)<\infty\)和\(\text{E}(x_{tk}^4)<\infty\)联合保证假设5的矩条件。在推导后续结论时，一般要对是否满足假设6做分类讨论。

2 一些定理

定理1 独立同分布随机样本的弱大数定律：假设\(\{Z_t\}_{t=1}^n\)为独立同分布随机样本，\(\text{E}(Z_t)=\mu\)且\(\text{E}(\vert Z_t\vert)<\infty\)，定义\(\bar Z_n=n^{-1}\sum_{t=1}^{n}Z_t\)，则当\(n\to \infty\)时，有\(\bar{Z}_n \xrightarrow{p}\mu\)。

定理2 独立同分布随机样本的多元中心极限定理：若\(\{Z_t\}_{t=1}^n\)为独立同分布随机样本，\(\text{E}(Z_t)=0\)且\(\text{Var}(Z_t)=V\)为有限、对称、正定的矩阵。定义\(\bar{Z}_n=n^{-1}\sum_{t=1}^{n} Z_t\)，则当\(n\to\infty\)时，有

\[\sqrt{n}\bar{Z}_n\xrightarrow{d}\mathcal{N}(0,V) \]

定理3 依概率收敛的连续性：若当\(n\to\infty\)时，\(A_n\xrightarrow{p}A\)，\(B_n\xrightarrow{p}B\)，且\(g(\cdot)\)和\(f(\cdot)\)都是连续函数，则

\[\begin{aligned} g(A_n)+h(B_n)&\xrightarrow{p}g(A)+h(B)\\ g(A_n)h(B_n)&\xrightarrow{p}g(A)h(B) \end{aligned} \]

定理4 Slutsky定理：若\(Z_n\xrightarrow{d}Z\)，\(a_n\xrightarrow{p}a\)且\(b_n\xrightarrow{p}b\)，其中\(a\)和\(b\)是常数，则当\(n\to\infty\)时有\(a_n+b_nZ_n \xrightarrow{d}a+bZ\)。

3 \(\hat\beta\)的性质

\(\beta\)的点估计与小样本情形一样：\(\hat\beta=(X'X)^{-1}X'y\)。在后续推导中，主要用到的是\(\hat\beta\)与\(\beta\)之差，\(\hat\beta-\beta=(X'X)^{-1}X'\varepsilon\)。

为方便地使用大数定律和中心极限定理，可将它改写为\(\hat\beta-\beta=(\dfrac{1}{N}X'X)^{-1}(\dfrac{1}{N}X'\varepsilon)\)。若将矩阵形式展开，上式就变为

\[\hat\beta-\beta=(\dfrac{1}{N}\sum_{t=1}^{N}x_t x_t')^{-1}(\dfrac{1}{N}\sum_{t=1}^{N}x_t\varepsilon_t) \]

其中\(\dfrac{1}{N}\sum_{t=1}^{N}x_t x_t'=\dfrac{1}{N}XX'\)其实就是\(Q\)的样本矩形式，记为\(\hat Q\)。由大数定律，\(\hat Q\xrightarrow{p}Q\)，而矩阵求逆操作可视为连续函数，因此有\(\hat {Q}^{-1}\xrightarrow{p}Q^{-1}\)。

同样利用大数定律和假设3，可得\(\dfrac{1}{N}\sum_{t=1}^{N}x_t\varepsilon_t \xrightarrow{p} \text{E}(x_t\varepsilon_t)=0\)。再由定理3，可知\(\hat\beta-\beta\xrightarrow{p}0\)。这就是估计量\(\hat\beta\)的一致性。

4 \(\hat\beta\)的渐近分布及假设检验

4.1 \(\hat\beta\)的渐近分布

由中心极限定理可得

\[\sqrt{N}\cdot\dfrac{1}{N}\sum_{t=1}^{N}x_t\varepsilon_t\xrightarrow{d}\mathcal{N}(0,V) \]

因此

\[\sqrt{N}(\hat\beta-\beta)\xrightarrow{d}\mathcal{N}(0,Q^{-1}VQ^{-1}) \]

它的渐近分布的方差又称为渐近方差，记为\(\text{Avar}(\sqrt{N}\hat\beta)=Q^{-1}VQ^{-1}\)。

若满足假设6，即在条件同方差下，\(V=\sigma^2Q\)，渐近分布就变成了

\[\sqrt{N}(\hat\beta-\beta)\xrightarrow{d}\mathcal{N}(0,\sigma^2 Q^{-1}) \]

4.2 假设检验

检验零假设\(H_0: R\beta=r\)，其中\(R\)为\(J\times K\)矩阵。

4.2.1 条件异方差

若零假设成立，则\(R(\hat\beta-\beta)=R\hat\beta-r\)，而左边的渐近分布已经知道了，因此，可构造

\[\sqrt{N}(R\hat\beta-r)'(RQ^{-1}VQ^{-1}R')^{-1}\sqrt{N}(R\hat\beta-r)\xrightarrow{d}\chi^2_J \]

式中的\(Q\)和\(V\)我们还需要进行估计。由前文可知\(\hat Q\xrightarrow{p}Q\)，对于\(V\)，我们同样可其用样本形式估计：

\[\begin{aligned} \hat V&=N^{-1}\sum_{t=1}^{N}x_tx_t' e_t^2\\ &=\dfrac{X'D(e)D(e)'X}{N} \end{aligned} \]

其中\(D(e)=\text{diag}(e_1,\ldots,e_N)\)。

可以证得，\(\hat V\xrightarrow{p}V\)。证明只需将\(e_t\)写为\(e_t=\varepsilon_t-(\hat\beta-\beta)'x_t\)后代入\(\hat V\)中，然后逐项推导依概率收敛即可。

最后，我们用\(\hat Q\)和\(\hat V\)进行替换，得：

\[N(R\hat\beta-r)'(R\hat{Q}^{-1}\hat V\hat{Q}^{-1}R')^{-1}(R\hat\beta-r)\xrightarrow{d}\chi^2_J \]

当\(J=1\)时，\(\chi^2_1\)开根号就是标准正态分布，因此可直接构造\(t\)统计量：

\[\dfrac{\sqrt{N}(R\hat\beta-r)}{\sqrt{R\hat{Q}^{-1}\hat{V}\hat{Q}^{-1}R'}}\xrightarrow{d}\mathcal{N}(0,1) \]

值得注意的是，在大样本下，\(t\)统计量的\(t_{N-K}\)分布变成了标准正态分布。

4.2.2 条件同方差

若满足假设6，则\(V=\sigma^2 Q\)，代入上一节，有

\[N(R\hat\beta-r)'(\sigma^2 R\hat{Q}^{-1}R')^{-1}(R\hat\beta-r)\xrightarrow{d}\chi^2_J \]

与小样本情形中遇到的问题一样，由于不知道\(\sigma^2\)的值，无法直接计算统计量。因此，可同样用\(s^2\)代替\(\sigma^2\)，这也是一致估计量，即\(s^2\xrightarrow{p}\sigma^2\)。最后可得

\[N(R\hat\beta-r)'(s^2 R\hat{Q}^{-1}R')^{-1}(R\hat\beta-r)\xrightarrow{d}\chi^2_J \]

当\(J=1\)时，可得

\[\dfrac{\sqrt{N}(R\hat\beta-r)}{\sqrt{s^2 R\hat{Q}^{-1}R'}}\xrightarrow{d}\mathcal{N}(0,1) \]