最大似然估计

一、似然函数

• 概率（possibility）是在已知参数 \(\theta\) 的情况下，给定发生观测结果 \(x\) 可能性大小；

• 似然函数（likelihood）则是从观测结果 \(x\) 出发，给定分布函数的参数为 \(\theta\) （相比于其他参数\(\theta_1\)）的可能性大小；

似然函数与概率之间的关系可用公式 \(L(\theta | x)\) = \(p(x \vert \theta)\)表示，其核心意思就是对于事件发生的两种角度的看法，在已知一个 \(\theta\) 或者 \(x\) 的时候，给定另一方面发生可能性大小。

二、最大似然估计

1、概念：已知观测数据 \(x\) ，希望能从所有的参数 \(\theta_1,\theta_2,\theta_3,...,\theta_n\) 中找出能最大概率重现观测数据的参数 \(\theta_i\) 作为参数估计结果.

2、被估计出的参数 \(\theta_i\) 应该满足 \(L(\theta_i|x)\) = \(p(x\vert\theta_i) \geq p(x\vert\theta) = L(\theta\vert x)\), \(\theta\) 为 \(\theta_1,\theta_2,\theta_3,...,\theta_n\).

3、将待估计的参数 \(\theta\) 看作变量，计算概率函数 \(p(x\vert\theta)\), 对概率函数求导等于0解出参数 \(\theta_i\).