MLE

在参数估计时,经常采用MLE,也就是$L = \prod{ P(X = x_i) }$。

比如我们测试一下学校中的人口数量,完全可以采用MLE的方式进行评估,而MLE必须确定下statistical model,当其不定时,我们可以采用$G-test$进行评估。

$$\ln{(\frac{L(\theta)}{L(\hat{\theta})})} = \sum{x_i ln{\frac{e_i}{x_i}}}$$,其中$\theta, e_i$代表无误差估计情形下的参数与 $i$ 出现的次数,而$\hat{\theta}, x_i$则是MLE估计下的情形,这样应用 

$$G = -2 \times \sum{x_i ln{\frac{e_i}{x_I}}} = \sum{x_i ln{\frac{x_i}{e_i}}}$$ 作为逼近程度的评价,可以注意到$0 \leq x_i$,而$e_i > 0$,且对于$xln(x)$ 求解 0 极限得 0,从而只需要统计 $x_i > 0$ 项即可。

这样我们在不知道要怎样估算一个数据集,进而给出预测时,可以采用多个模型尝试拟合,得出一个合理的估计。

当然我们也可以采用ML中常用的梯度下降法。

应用 $G-test$ / 其他估价函数 进行迭代进而得到极小值,相对于本方法更加普适,但效果以及简介度并不如MLE。

posted @ 2018-04-06 15:48  PH=X  阅读(227)  评论(0)    收藏  举报