数学 - 回归分析 - 第 6 章 多重共线性的情形及其处理 - 6.2 多重共线性对回归模型的影响

6.2 多重共线性对回归模型的影响

6.2.1 多重共线性对回归模型的影响

设下述回归模型存在完全多重共线性

\[y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_p x_p + \varepsilon \]

即对设计矩阵 \(X\) 的列向量存在不全为零的一组数 \(c_0\)，\(c_1\)，\(\cdots\)，\(c_p\) 使得

\[c_0 + c_1 x_{i1} + c_2 x_{i2} + \cdots + c_p x_{ip} = 0, \quad i = 1,2,\cdots,n \]

设计矩阵的秩 \(\text{rank}(X) < p+1\)，此时 \(|X'X| = 0\)，正规方程组 \(X'X \hat{\bm{\beta}} = X' \bm{y}\) 的解不唯一，\((X'X)^{-1}\) 不存在，回归参数的最小二乘估计表达式 \(\hat{\bm{\beta}} = (X'X)^{-1}X' \bm{y}\) 不成立。

在实际问题中，经常遇到的是近似共线性的情形，即存在不全为零的一组数 \(c_0\)，\(c_1\)，\(\cdots\)，\(c_p\) 使得

\[c_0 + c_1 x_{i1} + c_2 x_{i2} + \cdots + c_p x_{ip} \approx 0, \quad i = 1,2,\cdots,n \]

此时设计矩阵 \(X\) 的秩 \(\text{rank}(X) = p+1\) 虽然成立，但是 \(|X'X| \approx 0\)，\((X'X)^{-1}\) 的对角线元素很大，\(\hat{\bm{\beta}}\) 的方差阵 \(D(\hat{\bm{\beta}}) = \sigma^2 (X'X)^{-1}\) 的对角线元素很大，而 \(D(\bm{\hat{\beta}})\) 的对角线元素即 \(\text{var}(\hat{\beta}_0)\)，\(\text{var}(\hat{\beta}_1)\)，\(\cdots\)，\(\text{var}(\hat{\beta}_p)\)，因而 \(\beta_0\)，\(\beta_1\)，\(\cdots\)，\(\beta_p\) 的估计精度很低。这样，虽然用普通最小二乘估计能得到 \(\bm{\beta}\) 的无偏估计，但估计量 \(\hat{\bm{\beta}}\) 的方差很大，不能正确判断解释变量对被解释变量的影响程度，甚至导致估计量的实际意义无法解释。

6.2.2 二元回归的例子

以二元回归为简单例子，我们可以看到当自变量间的相关性从小到大增加时，估计量的方差增大得很快。

做 \(y\) 对两个自变量 \(x_1\)，\(x_2\) 的线性回归，假定 \(y\) 与 \(x_1\)，\(x_2\) 都已经中心化，此时回归常数项为零，回归方程为：

\[\hat{y} = \hat{\beta}_1 x_1 + \hat{\beta}_2 x_2 \]

记 \(L_{11} = \sum_{i=1}^{n} x_{i1}^2\)，\(L_{12} = \sum_{i=1}^n x_{i1} x_{i2}\)，\(L_{22} = \sum_{i=1}^n x_{i2}^2\)，则 \(x_1\) 与 \(x_2\) 之间的相关系数为：

\[r_{12} = \frac{L_{12}}{\sqrt{L_{11} L_{22}}} \]

由于

\[X' X = \begin{bmatrix} L_{11} & L_{12} \\ L_{12} & L_{22} \end{bmatrix} \]

我们可以计算 \(\hat{\bm{\beta}} = (\hat{\beta}_1, \hat{\beta}_2)\) 的协方差阵为：

\[\begin{align*} \text{cov} (\hat{\bm{\beta}}) & = \sigma^2 (\bm{X}' \bm{X})^{-1} \\ & = \sigma^2 \frac{1}{|X'X|} \begin{bmatrix} L_{22} & -L_{12} \\ -L_{12} & L_{11} \end{bmatrix} \\ & = \sigma^2 \frac{1}{L_{11}L_{22}(1-r_{12}^2)} \begin{bmatrix} L_{22} & -L_{12} \\ -L_{12} & L_{11} \end{bmatrix} \\ \end{align*} \]

由此可得

\[\text{var}(\hat{\beta}_1) = \frac{\sigma^2}{(1 - r_{12}^2)L_{11}}, \quad \text{var}(\hat{\beta}_1) = \frac{\sigma^2}{(1 - r_{12}^2)L_{22}} \tag{6.2.1} \]

可知，随着自变量 \(x_1\) 与 \(x_2\) 的相关性增强，\(\hat{\beta}_1\) 和 \(\hat{\beta}_2\) 的方差将逐渐增大。我们可认为当 \(x_1\) 与 \(x_2\) 完全相关（\(r=1\)）时，方差将变为无穷大。