协方差矩阵

统计学的基本概念(原文链接

一、

  有n个样本的集合: X = {X1,X2,...,Xn}

  均值

 

 

   标准差:

 

 

   方差:

 

 

     有两个数据集,数据集1,X = [0,8,12,20];数据集2,Y = [8,9,11,12]。两者的均值一样都为10。数据集1的标准差8.3,数据集2的标准差为1.8,因为后者的数据分布比较集中,标准差描述的是这种散布度。之所以除以n-1而不是n,是因为这样使我们以较小的样本集更好的逼近总体的标准差,即统计上的无偏估计。方差是标准差的平方。

二、为什么需要协方差

1、

  标准差和方差一般是用来描述一维数据的,但现实生活中遇到的通常是含有多维数据的数据集,最简单的是大家上学时要统计多个学科的考试成绩。另外,我们想要知道两件事之间的关联程度,例如,一个男孩子的猥琐成都和他受女孩子欢迎程度是否存在联系。协方差就是解决这样一个问题,度量两个随机变量关系的统计量。

  仿照方差的定义,度量各个维度偏离其均值的程度

 

 

  协方差定义为

 

 

  协方差结果的意义?如果结果为正值,说明两者是正相关,也就是说:一个人越猥琐越受女孩子欢迎。如果结果为负值,说明两者是负相关,说明女孩喜欢正经的人(不太可能)。如果为0,说明两者没有关系,相互独立。

 

2、

 

  上述是两件事的关联程度,如果是三件事{X,Y,Z}就需要用矩阵表示了,这就是协方差矩阵

 

 

3、协方差的计算

  3.1

    两个数据集A和B的组成的矩阵X为

 

      其协方差矩阵正好与矩阵(X*X的转置)/m相等,如图所示

 

 

     3.2

      如果是三个数据集A、B、C组成的矩阵Y为

 

       同理验证

 

  3.3 

    同理可以推广到更高维空间,所以可以直接使用数据集组成的矩阵计算协方差矩阵,即

 

 

 

 

 

 

 

 

 

 

  

posted @ 2020-06-03 18:55  蛮好不太坏  阅读(...)  评论(...编辑  收藏