21/8/26 读书笔记 协方差矩阵和椭圆
21/8/26 读书笔记
程序员的数学2 协方差矩阵和椭圆的关系
我们在之前的学习中可以得知，对于一个随机变量\(\bold X\)，我们可以通过其协方差矩阵得到其在任意方向上的发散程度（即方差）:
我们用一个椭圆来表示，该椭圆在任意方向上的径恰等于\(\bold X\)在这个方向上的标准差\(\sqrt{V[\bold u^T\bold X]}\)，需要注意：
- 这个椭圆的径只是标准差而不是极差，这意味着有的点是在椭圆之外的，事实上大部分可取的值都不会处在该椭圆中。
- \(\bold X\)的概率密度函数不一定是一个椭圆（它不一定是多元正态分布），我们只能保证其在该方向上的标准差为一定值，但是不能确保其具体的分布情况。
当我们的协方差矩阵\(V[\bold X]\)是一个单位矩阵时，获得的椭圆自动变为一个半径为1的圆。
当我们的协方差矩阵\(V[\bold X]\)是一个对角矩阵时，我们可以将其理解为对\(\bold X\)进行一定变换成\(\bold Z\)，使得协方差矩阵\(V[\bold Z]\)是一个单位矩阵，再在变换后的空间里画圆，然后逆变换回来，我们得到的是一个主轴平行与坐标轴的椭圆。
更一般的，当我们的协方差矩阵\(V[\bold X]\)是一个一般矩阵时，我们还是遵从上述的思想，对\(\bold X\)进行一定变换成\(\bold Z\)，使得协方差矩阵\(V[\bold Z]\)是一个对角矩阵，再在变换后的空间里画椭圆，然后逆变换回来。这里的变换主要涉及的旋转，需要借助正交矩阵\(Q\)，这在之前的学习中已经解释清楚了。我们需要注意到，\(Q\)是由协方差矩阵\(V[\bold X]\)的特征向量单位化后组成的，因此对于单位向量\(\bold e_i=(\underbrace{0,..0}_{i-1个0},1,...0)\)，我们知道\(Q\bold e_i=\bold q_i\)就是其中一个特征向量，而由于变换后，椭圆主轴平行于\(\bold Z\)所在空间内坐标轴，因此逆变换后，\(\bold Z\)所在空间内的单位向量按上述方式被逆变换成了\(\bold q_i\)，其与椭圆主轴的平行关系不改变，因此椭圆主轴与特征向量始终平行。
由此我们可以发现，无论对于何种分布，协方差矩阵始终对应一个用于描述标准差的椭圆。
但是协方差矩阵也具有一定局限性，其不能描述高阶相关的随机变量，比如对于\(X_1\)、\(X_2\)、\(X_3\)，如果\(X_3\)只有当\(X_1\)和\(X_2\)均取得较大值时才倾向于取较大值，此时协方差矩阵无法准确描述三个变量的相关关系。实际上，协方差矩阵可以考察任意两个随机变量之间的相关性，但是无法得出所有随机变量之间的相关性。
\(X_3\)与(\(X_1\)和\(X_2\)之间的关联)相关联，故称为高阶相关
