线性统计模型 2.25

在诸多例子中，\(Y\) 通常被称作因变量或响应变量，\(X\) 被称为自变量或预报变量。\(Y\) 的值由两部分构成：一部分是由 \(X\) 决定的部分，为 \(X\) 的函数 \(f(X)\) ；另一部分是由其他未考虑因素（含随机因素）产生影响的随机误差 \(e\) 。由此得到模型

\[Y = f(X)+e \]

且作为随机误差的 \(e\) ，其均值 \(E(e)=0\) ，\(E(\cdot)\) 表示随机变量的均值。
特别,当\(f(X)\)是线性函数\(f(X)=\beta_0 + \beta_1X\)时,我们得到

\[Y = \beta_0 + \beta_1X + e \]

在这个模型中,若忽略掉\(e\),它就是一个通常的直线方程. 因此,我们称之为线性回归模型或线性回归方程.
常数项\(\beta_0\)是直线的截距,\(\beta_1\)是直线的斜率,也称为回归系数.在实际应用中,\(\beta_0\)和\(\beta_1\)皆是未知的,需要通过观测数据来估计.
假设自变量\(X\)分别取值为\(x_1,x_2,\cdots,x_n\)时,因变量\(Y\)对应的观测值分别为\(y_1,y_2,\cdots,y_n\).于是我们有\(n\)组观测值\((x_i,y_i)\),\(i = 1,\cdots,n\).如果\(Y\)与\(X\)有回归关系,则这些\((x_i,y_i)\)应该满足

\[y_i = \beta_0 + \beta_1x_i + e_i, \\ i = 1,\cdots,n \]

这里\(e_i\)为对应的随机误差. 应用适当的统计方法, 可以得到\(\beta_0\)和\(\beta_1\)的估计值\(\hat{\beta}_0,\hat{\beta}_1\),将它们代入 ,再略去误差项\(e_i\)得到

\[Y = \hat{\beta}_0 + \hat{\beta}_1X \]

在实际问题中，影响因变量的主要因素通常较多，需考虑含多个自变量的回归问题。假设因变量\(Y\)和\(p - 1\)个自变量\(X_1,\cdots,X_{p - 1}\)的关系为\(Y = \beta_0 + \beta_1X_1 + \cdots + \beta_{p - 1}X_{p - 1} + e\)，此为多元线性回归模型，其中\(\beta_0\)是常数项，\(\beta_1,\cdots,\beta_{p - 1}\)是回归系数，\(e\)是随机误差。
假设对\(Y,X_1,\cdots,X_{p - 1}\)进行\(n\)次观测，得到\(n\)组观测值\(x_{i1},\cdots,x_{i,p - 1},y_{i}\) ，\(i = 1,\cdots,n\) ，它们满足一定关系式
在实际问题中，影响因变量的主要因素往往很多，这就需要考虑含多个自变量的回归问题.假设因变量\(Y\)和\(p - 1\)个自变量\(X_1,\cdots,X_{p - 1}\)之间有如下关系：

\[Y = \beta_0 + \beta_1X_1 + \cdots + \beta_{p - 1}X_{p - 1} + e \]

这是多元线性回归模型，其中\(\beta_0\)为常数项，\(\beta_1,\cdots,\beta_{p - 1}\)为回归系数，\(e\)为随机误差.
假设我们对\(Y,X_1,\cdots,X_{p - 1}\)进行了\(n\)次观测，得到\(n\)组观测值

\[x_{i1},\cdots,x_{i,p - 1},y_{i}$， $i = 1,\cdots,n \]

它们满足关系式

\[y_{i} = \beta_0 + x_{i1}\beta_1 + \cdots + x_{i,p - 1}\beta_{p - 1} + e_{i}$， $i = 1,\cdots,n \]

这里\(e_{i}\)为对应的随机误差.引进矩阵记号

\[\boldsymbol{y} = \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{pmatrix} \]

\[\boldsymbol{X} = \begin{pmatrix} 1 & x_{11} & \cdots & x_{1,p - 1} \\ 1 & x_{21} & \cdots & x_{2,p - 1} \\ \vdots & \vdots & & \vdots \\ 1 & x_{n1} & \cdots & x_{n,p - 1} \end{pmatrix} \]

\[\boldsymbol{\beta} = \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_{p - 1} \end{pmatrix} \]

\[\boldsymbol{e} = \begin{pmatrix} e_1 \\ e_2 \\ \vdots \\ e_n \end{pmatrix} \]

(1.1.10)就写为如下简洁形式：

\[\boldsymbol{y} = \boldsymbol{X}\boldsymbol{\beta} + \boldsymbol{e} \]

这里\(\boldsymbol{y}\)为\(n \times 1\)的观测向量，\(\boldsymbol{X}\)为\(n \times p\)已知矩阵，通常称为设计矩阵.对于线性回归模型，术语“设计矩阵”中的“设计”两字并不蕴含任何真正设计的含义，只是习惯用法而已.近年来，有一些学者建议改用“模型矩阵”.但就目前来讲，沿用“设计矩阵”者居多.\(\boldsymbol{\beta}\)为未知参数向量，其中\(\beta_0\)称为常数项，\(\beta_1,\cdots,\beta_{p - 1}\)为回归系数.而\(\boldsymbol{e}\)为\(n \times 1\)随机误差向量，关于其最常用的假设是：
(a) 误差项均值为零，即\(E(e_{i}) = 0\)，\(i = 1,\cdots,n\).
(b) 误差项具有等方差，即

\[\text{Var}(e_{i}) = \sigma^{2} \\i = 1,\cdots,n \]

(c) 误差是彼此不相关的，即

\[\text{Cov}(e_{i},e_{j}) = 0 \\i \neq j \quad j = 1,\cdots,n \]

通常称以上三条为Gauss - Markov假设.模型(1.1.11)和假设(1.1.12)构成了我们以后要讨论的最基本的线性回归模型.
在Gauss - Markov假设中，第一条表明误差项不包含任何系统的趋势，因而观测值\(y_{i}\)的均值

\[E(y_{i}) = \beta_0 + x_{i1}\beta_1 + \cdots + x_{i,p - 1}\beta_{p - 1}$， $i = 1,\cdots,n \]

这就是说，观测值\(y_{i}\)大于或小于其均值\(E(y_{i})\)的波动完全是一种随机性的，这种随机性来自误差项\(e_{i}\).我们知道，一个随机变量的方差刻画了该随机变量取值散布程度的大小，因此假设(b)要求\(e_{i}\)等方差，也就是要求不同次的观测\(y_{i}\)在其均值附近波动程度是一样的.这个要求有时显得严厉一些.在一些情况下，我们不得不放松为\(\text{Var}(e_{i}) = \sigma_{i}^{2}\)，\(i = 1,\cdots,n\)，这种情况将在§7.2讨论.第三条假设等价于要求不同次的观测是不相关的.在实际应用中这个假设比较容易满足.但是在一些实际问题中，误差往往是相关的.这时估计问题比较复杂，本书中不少地方要讨论这种情形.
假设

\[\hat{\boldsymbol{\beta}} = (\hat{\beta}_0,\hat{\beta}_1,\cdots,\hat{\beta}_{p - 1})' \]

为\(\boldsymbol{\beta}\)的一种估计，将它们代入(1.1.9)，并略去其中的误差项\(e\)，得到经验回归方程

\[Y = \hat{\beta}_0 + \hat{\beta}_1X_1 + \cdots + \hat{\beta}_{p - 1}X_{p - 1} \]

和单个回归自变量的情形一样，这个经验回归方程是否真正描述了因变量\(Y\)与自变量\(X_1,\cdots,X_{p - 1}\)之间的关系，还需要适当的统计检验.
上面我们讨论的都是线性回归模型.有一些模型虽然是非线性的，但经过适当变换，可以化为线性模型.
例1.1.3 在经济学中，著名的Cobb - Douglas生产函数为
\(Q_{t} = aL_{t}^{b}K_{t}^{c}\)
这里\(Q_{t},L_{t}\)和\(K_{t}\)分别为\(t\)年的产值、劳力投入量和资金投入量，\(a,b\)和\(c\)为参数.在上式两边取自然对数
\(\ln(Q_{t}) = \ln a + b\ln(L_{t}) + c\ln(K_{t})\).
若令
\(y_{t} = \ln(Q_{t})\)，\(x_{t1} = \ln(L_{t})\)，\(x_{t2} = \ln(K_{t})\)，
\(\beta_0 = \ln a\)，\(\beta_1 = b\)，\(\beta_2 = c\)，
则再加上误差项，便得到线性关系
\(y_{t} = \beta_0 + \beta_1x_{t1} + \beta_2x_{t2} + e_{t}\\t = 1,\cdots,T\). (1.1.15)
因此我们把非线性模型(1.1.14)化成了线性模型.
例1.1.4 多项式回归模型
假设因变量\(Y\)和自变量\(X\)之间具有关系

\[Y = \beta_0 + \beta_1X + \beta_2X^{2} + \beta_3X^{3} + e \]

这是三次多项式回归模型.若令\(X_1 = X\)，\(X_2 = X^{2}\)，\(X_3 = X^{3}\)，则有

\[Y = \beta_0 + \beta_1X_1 + \beta_2X_2 + \beta_3X_3 + e \]

这就是一个线性模型.从这里我们看到，线性模型(1.1.9)的基本特征是：它关于未知参数

\[\beta_0,\beta_1,\cdots,\beta_{p - 1} \]

是线性的.

在结束这一节之前，我们解释一下“回归”一词的由来.“回归”英文为“regression”，是由英国著名生物学家兼统计学家高尔顿(Galton)在研究人类遗传问题时提出的.为了研究父代与子代身高的关系，高尔顿收集了1 078对父亲及其一子的身高数据.用\(X\)表示父亲身高，\(Y\)表示儿子身高，单位为英寸(1英寸为2.54cm).将这1 078对\((x_{i},y_{i})\)标在直角坐标纸上，他发现散点图大致呈直线状.也就是说，总的趋势是父亲的身高\(X\)增加时，儿子的身高\(Y\)也倾向于增加，这与我们的常识是一致的.但是，高尔顿对数据的深入分析，发现了一个很有趣的现象——回归效应.
因为这1 078个\(x_{i}\)值的算术平均值\(\bar{x} = 68\)英寸，而1 078个\(y_{i}\)值的平均值为\(\bar{y} = 69\)英寸，这就是说，子代身高平均增加了1英寸.人们自然会这样推想，若父亲身高为\(x\)，他儿子的平均身高大致应为\(x + 1\)​，但高尔顿的仔细研究所得