协方差模型 2

§1.3 协方差分析模型

我们已经知道，线性回归模型所涉及的自变量一般是取连续值的数量因子. 设计阵\(X\) 的元素\(x_{ij}\) 可取连续值. 而在方差分析模型中，自变量是属性因子，设计阵\(X\) 的元素\(x_{ij}\) 只能取\(0\)、\(1\)两个值. 现在我们要介绍的协方差分析模型则是上述两种模型的混合. 模型中的自变量既有属性因子又有数量因子. 设计矩阵由两部分组成，一部分以\(0\)、\(1\)两个数为元素，而另一部分的元素可取连续值. 它可以看作由方差分析模型和线性回归模型的设计矩阵组拼而成.
我们用一个经典的例子来引进这种模型. 假定试验者用几种饲料喂养小猪，并以小猪的生长速度（用小猪体重增加量来度量）来比较饲料的催肥效果，这是一个单向分类问题. 如前所述在试验中我们要求除饲料外，其余因素应该尽量控制在相同条件之下. 但是，在这里参与试验的小猪初始体重不同，可能对生长速度有一定影响. 为了消除这种影响，可以采取两种方法：其一是选择体重都一样的小猪来做试验. 但这个条件很苛刻，在实际中真正做起来困难很大. 另一种方法是，设法把小猪初始体重的影响消除掉，这正是协方差分析所要解决的问题. 在这个例子里，猪的饲料分几个品种，是属性因子，称为方差分量. 小猪的初始体重是因为试验者难以很好的控制而进入试验的，称为协变量（或伴随变量），它是连续变量.
例1.3.1 试验者欲比较两种饲料的催肥效果，用每种饲料喂三头猪. 要考虑的协变量是小猪的初始体重，记\(y_{ij}\) 为喂第\(i\) 种饲料的第\(j\) 头猪的体重增加量，则\(y_{ij}\) 可分解为

\[y_{ij}=\mu+\alpha_{i}+\gamma x_{ij}+e_{ij} \qquad i = 1,2 \qquad j = 1,2,3 \]

这里和单向分类模型一样，\(\mu\) 为总平均，\(\alpha_{i}\) 为第\(i\) 种饲料的效应，\(x_{ij}\) 为喂第\(i\) 种饲料的第\(j\) 头猪的初始体重，\(\gamma\) 为协变量的系数，即回归系数. \(e_{ij}\) 的假设同单向分类模型. 若记

\[ y = \begin{pmatrix} y_{11} \\ y_{12} \\ y_{13} \\ y_{21} \\ y_{22} \\ y_{23} \end{pmatrix}， X = \begin{pmatrix} 1 & 0 & 0 & x_{11} \\ 1 & 1 & 0 & x_{12} \\ 1 & 1 & 0 & x_{13} \\ 1 & 0 & 1 & x_{21} \\ 1 & 0 & 1 & x_{22} \\ 1 & 0 & 1 & x_{23} \end{pmatrix}， \beta = \begin{pmatrix} \mu \\ \alpha_{1} \\ \alpha_{2} \\ \gamma \end{pmatrix}， e = \begin{pmatrix} e_{11} \\ e_{12} \\ e_{13} \\ e_{21} \\ e_{22} \\ e_{23} \end{pmatrix} \]

则模型具有形式

\[y = X\beta+e \]

这和前两节引进的线性回归模型(1.1.8)和方差分析模型(1.2.2)在形式上完全一样，它的特点是：设计阵\(X\) 的部分的元素只取\(0\)，剩余列的元素则取连续值，我们把此类模型称为协方差分析模型，它也是一种特殊的线性模型.
协方差分析模型虽然是线性回归模型和方差分析模型的一种“混合”，但是我们对这两部分并不同等看待. 像例子中所看到的，回归部分只是因为某些量不能完全人为控制而不得已引入的，虽然对回归系数的估计与检验也有一定的实际意义，但总的说起来，对协方差分析模型我们最关心的还是方差分析部分. 因而这种模型的统计分析——协方差分析，基本上具有方差分析的特色，即有关效应存在性的检验占有突出地位，与方差分析比较起来，在协方差分析中并没有引进任何新的概念，实际上它只是一种计算方法，旨在利用一般方差分析的结果很简便地作协方差分析模型的统计分析. 详细的讨论将留在第八章进行.

§1.4 混合效应模型

混合效应模型的最一般形式为

\[y = X\beta+U_{1}\xi_{1}+U_{2}\xi_{2}+\cdots+U_{k}\xi_{k} \]

其中\(y\) 为\(n\times1\) 观测向量，\(X\) 为\(n\times p\) 已知设计阵，\(\beta\) 为\(p\times1\) 非随机的参数向量，称为固定效应，\(U_{i}\) 为\(n\times q_{i}\) 已知设计阵，\(\xi_{i}\) 为\(q_{i}\times1\) 随机向量，称为随机效应，一般我们假设

\[E(\xi_{i}) = 0 \qquad \text{Cov}(\xi_{i})=\sigma_{i}^{2}I_{q_{i}} \qquad \text{Cov}(\xi_{i},\xi_{j}) = 0$，$i\neq j \]

于是

\[E(y)=X\beta \qquad \text{Cov}(y)=\sum_{i = 1}^{k}\sigma_{i}^{2}U_{i}U_{i}' \]

\(\sigma_{i}^{2}\) 称为方差分量，因此，往往也称(1.4.1)为方差分量模型.
在模型(1.4.1)中，最后一个随机效应向量\(\xi_{k}\) 是通常的随机误差向量\(e\)，而\(U_{k}=I_{n}\). 对于混合效应模型，我们的问题是对两类参数：固定效应和方差分量作估计和检验，并对随机效应\(\xi_{k}\) 进行预测.
例1.4.1 两向分类混合模型
研究人的血压在一天内的变化规律. 在一天内选择\(a\) 个时间点测量被观测者的血压，假设观测了\(b\) 个人，用\(y_{ij}\) 表示第\(i\) 个时间点的第\(j\) 个人的血压，则\(y_{ij}\) 可表为

\[y_{ij}=\mu+\alpha_{i}+\beta_{j}+e_{ij} , \qquad i = 1,\cdots,a \qquad j = 1,\cdots,b \]

这里\(\alpha_{i}\) 为第\(i\) 个时间点的效应，它是非随机的，是固定效应. \(\beta_{j}\) 为第\(j\) 个人的个体效应. 如果这\(b\) 个人是我们感兴趣的特定的\(b\) 个人. 那么\(\beta_{j}\) 也是非随机的，是固定效应. 这时模型(1.4.3)就是固定效应模型，这是在§1.2我们讨论过的两向分类模型. 但是，如果我们要研究的兴趣只是放在比较不同时间点人的血压高低上，被观测的\(b\) 个人是随机抽取的，这时\(\beta_{j}\) 就是随机变量，于是在这种情况下，它就是随机效应. 相应的，模型(1.4.3)就是混合效应模型.
Thompson曾经研究了用几台设备同时测量炮弹速度问题. 假设试验所用的炮弹都是从某厂生产的同种炮弹的总体中随机抽取的. 记\(y_{ij}\) 可分解成模型(1.4.3)的形式，对现在的情况，\(\alpha_{i}\) 是第\(i\) 台设备的效应，它是固定效应. \(\beta_{j}\) 是第\(j\) 发炮弹的效应. 因为炮弹是随机抽取的，所以它是随机的. 于是\(\beta_{j}\) 是随机效应.
从上面的讨论我们可以看出，一个效应究竟看作随机的还是固定的，这取决于研究的目的和样品取得的方法. 如果观测的个体是随机抽取来的，那么它们的效应就是随机的，否则就是固定的.
引进适当的矩阵记号，模型(1.4.3)可以写成(1.4.1)的形式. 记

\[y=(y_{11},\cdots,y_{1b},\cdots,y_{a1},\cdots,y_{ab})' \]

这是\(ab\times1\) 的向量.

\[X=(1_{ab}\vdots I_{a}\otimes1_{b}) \qquad U_{1}=I_{a}\otimes I_{b}\qquad \gamma=(\mu,\alpha_{1},\cdots,\alpha_{a})' \]

\[\beta=(\beta_{1},\cdots,\beta_{b})'\qquad e=(e_{11},\cdots,e_{1b},\cdots,e_{a1},\cdots,e_{ab})' \]

其中\(\otimes\) 表示矩阵的Kronecker乘积（见第二章），\(1_{n}\) 表示\(n\times1\) 向量，它的所有元素均为1. 此时，模型(1.4.3)变形为

\[y = X\gamma+U\beta+e \]

一般我们总是假设所有随机效应都是不相关的，\(\text{Var}(\beta_{j})=\sigma_{\beta}^{2}\)，\(\text{Var}(e_{ij})=\sigma^{2}\). 则观测向量的协方差阵为

\[\text{Cov}(y)=\sigma_{\beta}^{2}UU'+\sigma^{2}I_{ab}=\sigma_{\beta}^{2}(J_{a}\otimes I_{b})+\sigma^{2}I_{ab} \]

其中\(J_{a}=1_{a}1_{a}'\)，\(\sigma_{\beta}^{2}\) 和\(\sigma^{2}\) 是方差分量.

例1.4.2 Panel数据模型
这个模型常出现在计量经济学中. 假设我们对\(N\) 个个体（如个人，家庭，公司，城市，国家或区域等）进行了\(T\) 个时刻的观测，观测数据可写为

\[y_{it}=x_{it}^{T}\beta+\xi_{i}+\varepsilon_{it} \qquad i = 1,\cdots,N \qquad t = 1,\cdots,T \]

其中\(y_{it}\) 表示第\(i\) 个个体第\(t\) 时刻的某项经济指标，\(x_{it}\) 是\(p\times1\) 已知向量，它刻画了第\(i\) 个个体在时刻\(t\) 的一些自身特征，\(\xi_{i}\) 是第\(i\) 个个体的个体效应，\(\varepsilon_{it}\) 是随机误差项.
如果我们的目的是研究整个市场的运行规律，而不是关心这特定的\(N\) 个个体，这\(N\) 个个体只不过是从总体中抽取的随机样本，这时个体效应就是随机的，

\[y=(y_{11},\cdots,y_{1T},y_{21},\cdots,y_{NT})'\qquad X=(x_{11},\cdots,x_{1T},x_{21},\cdots,x_{NT})' \]

\[U_{1}=I_{N}\otimes1_{T}, \qquad \xi=(\xi_{1},\cdots,\xi_{N})' \qquad e=(\varepsilon_{11},\cdots,\varepsilon_{1T},\varepsilon_{21},\cdots,\varepsilon_{NT})' \]

则模型(1.4.4)可表为

\[y = X\beta+U_{1}\xi+e \]

如果假设\(\text{Var}(\xi_{i})=\sigma_{\xi}^{2}\)，\(\text{Var}(\varepsilon_{it})=\sigma_{\varepsilon}^{2}\)，所有\(\xi_{i}\) 和\(\varepsilon_{it}\) 都不相关，则

\[\text{Cov}(y)=\sigma_{\xi}^{2}U_{1}U_{1}'+\sigma_{\varepsilon}^{2}I_{NT}=\sigma_{\xi}^{2}(I_{N}\otimes J_{T})+\sigma_{\varepsilon}^{2}I_{NT} \]

\(\sigma_{\xi}^{2}\) 和\(\sigma_{\varepsilon}^{2}\) 就是方差分量.
模型(1.4.4)也称为具有套误差结构（nested error structure）的线性模型. 它也常出现在试验设计、抽样调查等类问题中.
在上述问题中，如果我们把时间效应也考虑进来，则模型(1.4.4)可以改写为

\[y_{it}=x_{it}^{T}\beta+\xi_{i}+\lambda_{t}+\varepsilon_{it} \qquad i = 1,\cdots,N, \quad t = 1,\cdots,T \]

如果时间效应\(\lambda_{t}\) 也看成随机的，并且假设\(\text{Var}(\lambda_{t})=\sigma_{\lambda}^{2}\)，\(\lambda_{t}\) 与所有的\(\xi_{i}\) 和\(\varepsilon_{it}\) 不相关，记\(U_{2}=1_{N}\otimes I_{T}\)，\(\lambda=(\lambda_{1},\cdots,\lambda_{T})'\)，则我们得到如下模型

\[y = X\beta+U_{1}\xi+U_{2}\lambda+e \]

此时，观测向量的协方差阵为

\[\text{Cov}(y)=\sigma_{\xi}^{2}(I_{N}\otimes J_{T})+\sigma_{\lambda}^{2}(J_{N}\otimes I_{T})+\sigma_{\varepsilon}^{2}I_{NT} \]

\(\sigma_{\xi}^{2}\)，\(\sigma_{\lambda}^{2}\) 和\(\sigma_{\varepsilon}^{2}\) 为方差分量.