方差

  1. 方差(variance):用于描述一组随机变量的离散程度
  2. 计算公式:

协方差

  1. 协方差(covariance):描述不同特征之间的相关情况,通过计算协方差来判断不同特征之间的关联关系。不同特征之间的协方差大于0则正相关,小于0则负相关,等于0则不相关
  2. 计算公式:假定训练集中存在m个样本,样本存在两个特征a和b。当Cov(a,b)大于0,则a,b同向变化,a,b正相关;当Cov(a,b)小于0,则a,b反向变化,a,b负相关。

协方差矩阵

  1. 协方差矩阵:计算不同特征之间的协方差和方差
  2. a,b两个特征的协方差矩阵如下所示:主对角线上的元素为各个随机变量的方差,非对角线上的元素为两两随机变量之间的协方差。协方差矩阵是一个对称矩阵。
  3. 协方差矩阵的计算: