机器学习（五） 线性回归-贝叶斯方法

 高斯分布：

多元高斯分布的一个重要的性质是：如果两个变量集合是联合高斯分布，以其中一个集合为条件的分布也是高斯分布。同样的，任何一个变量的边缘分布也是高斯分布

 

最大似然估计：等价于最小化平方和误差函数的w

最大后验概率 等价于正则化最小化平方和误差的函数，λ=α/β

( 先验为）

 

 

 同样的，对于独立同分布的数据

现在我们需要寻找一个合适的先验概率使得

1.适用于当前问题

2.利与计算后验概率

因此采用共轭先验

共轭先验：如果p（w|x）和p（w）是同分布，则称  p(w)是似然函数p(x|w) 的共轭先验

常用共轭先验表

设x 符合正态分布 

 

则y在x 的条件下的分布为

由此推出

其中

 

因此 假设一个以mo，S0为参数的正态分布

在经过N次训练数据点（xn,tn)后，后验概率应为

其中

 

 其中最大后验概率 Wmap=mN