协方差矩阵

在主成分分析中用到了协方差矩阵，这里详细介绍。

一、预备知识

* 数学期望

　　随机变量ξ的一切可能值x_i 与对应的概率P(ξ = x_i)的乘积之和叫做随机变量ξ的数学期望，记作E(ξ)，即

　　E(ξ)=Σx_iP(ξ=x_i)    ...............................(1)

　　若P(ξ=x_i)=1/n，i=1,2,...,n，则有

　　.............................(2)

　　数学期望具有线性性，即 E(aξ+bη)=aE(ξ)+bE(η)。对于常数c，有E(c)=c.

* 离差

　　ξ - E(ξ) 叫做随机变量 ξ 的离差。

* 方差

　　随机变量ξ 的离差平方的数学期望叫做随机变量ξ 的方差，记作D(ξ)或var(ξ)，D(ξ) = E((ξ - E(ξ))²).

* 协方差

　　在统计学上，协方差用了刻画两个随机变量间的相关性，反映的是变量之间的二阶统计特征。两个随机变量x_i 和x_j ，它们的协方差定义为

　　

　　易知下式成立：

　　

　　

　　n 维随机变量X=(x₁,x₂,...,x_n)^T的协方差矩阵定义为：

　　

二、公式推导

设x₁,x₂,...,x_n为一组随机变量，记X=(x₁,x₂,...,x_n)^T为由这n个随机变量构成的随机向量。假设每个随机变量有m个样本，得到样本矩阵为：

为推导公式方便起见，引入向量

即对应矩阵S的n个行，而对应矩阵S的m个列，矩阵S可以表示成：

　　推导的第一步是给出c_i,j的公式。由公式（2）知，E(x_i) 和 E(x_j) 可用下面两个公式近似：

　　                                     (1.5)

　　令Y=(X_i - E(X_i))(X_j - E(X_j)):=(Y₁,Y₂,...,Y_m)，其中Y_k=(x_ik - E(X_i))(x_jk - E(X_j)), k=1,2,...,m ，可得

　　                (1.6)

　　化简（1.6），展开中间括号，得

　　      (1.7)

　　接下来的思路是：引入矩阵A，B，使得C = A - B，再分别化简A，B。

　　引入矩阵A=(a_i,j)_n*n，其中

　　                 (1.8)         

　　         (1.9)

　　再次引入矩阵B=(b_i,j)_n*n，其中

　　             (1.10)

　　         (1.11)

　　所以：

　　

　    　                                        (1.12)

　　至此，协方差矩阵C的推导就完成了。如果想将上式的两项合并成一项，则有

　　 (1.13)