最大似然估计和最大后验估计

最大似然估计是一种参数估计的方法。 max P(D|W)

最大似然估计假设采样是独立同分布的，并且假设一个分布，参数未知。我们需要在已知采样，分布模型的情况下估计分布的参数。

最大似然估计一般有以下步骤：

1. 写出似然函数(p(x1)*p(x2)*...*p(xn))

2. 对似然函数取对数

3. 求导数

4. 计算使导数为0（使似然函数最大的）的参数

MLE缺点是数据少的时候overfitting

 

最大后验估计是已知要估计参数的分布的情况下对参数做估计。最大似然估计相当于参数满足平均分布的最大后验估计。

max P(W|D) = max P(D|W)*P(W) / P(D) = maxP(D|W) * P(W)

 

最大似然估计是频率学派的观点，最大后验估计是贝叶斯学派的观点。两种都是点估计。