最大似然估计

最大似然估计法

什么是最大似然

最大似然估计,是一种概率论在统计学中的应用,是参数估计的一种方法。它想要表达的内容是:已知某个随机样本满足某种概率分布,但是其中的参数并不清楚,这时我们要做的就是进行若干次实验,观察其结果,利用结果的情况推出参数的最大可能取值,将该值作为参数的真实值。

举个栗子:有一枚硬币你并不知道它的两面均是什么情况(可能是"花",可能是"字"),我只是告诉你我用它做了100次实验,100次都是"花"在上面,然后你告诉我这枚硬币哪面是"花"、哪面是"字"。这种通过事实,反过来推测硬币的情况,就是似然。通过实验结果我们知道了"花"出现的概率为100%,基于这种情况我们可以推断出最有可能的硬币的情况是两面都是"花",这种通过事实推断出最有可能的硬币情况,就是最大似然估计

如何进行最大似然估计

最大似然估计值的一般步骤

  Step1:写出似然函数;

  Step2:对似然函数取对数,并整理;

  Step3:求导数;

  Step4:解似然方程。

 

假如我们抛硬币实验的结果是100次实验60次"花"朝上。因为抛硬币符合二项分布,故其似然函数可以表示为:

当参数为0.5时,

    当参数为0.6时,

此时,0.6作为参数的可能性是0.5作为参数的可能性的8倍,新的实验结果更加支持0.6这个参数。

图像如下:

故我们推断参数的真实值时0.6 。

更复杂问题的似然函数表示,我们用表示每次实验的结果,因为每次实验都是独立的,所以似然函数可以写成(独立事件的联合概率,直接相乘就可以得到):

θ表示的是表达式的参数。表示在同一个参数下的实验结果,也可以认为是条件概率。

 

posted @ 2017-10-15 14:08  ML小菜鸟  阅读(1240)  评论(0编辑  收藏  举报