机器学习系列——预备基础（一）高斯分布

1、高斯密度函数

• 
• 
•  为常数
• 若变量 X 满足上述函数，则称其服从参数为 μ,σ 的正态分布或高斯分布
• 记作 X~N(μ,σ^2 )

 

2、参数的极大似然估计

• μ 的极大似然估计
  •             （一维数据）
  •      （高维数据）
  •  x 和 μ 的马氏距离：，∑ 是 x 和 μ 的协方差矩阵
  • 当协方差矩阵 ∑ 是单位矩阵，马氏距离就变成了欧氏距离
  • 　　
  • μ 的极大似然估计=

                                                             

• • 由上式可得，
  • 即  
• 此处的  是 μ 的无偏估计

•  的极大似然估计
  • 的极大似然估计=

                                                

• 由上式可得，
• 即

                                           

• 此处的 是 的有偏估计，而  的无偏估计应该是