伯努利分布和高斯分布下的最大似然估计、交叉熵

伯努利分布是一个离散型机率分布。试验成功，随机变量取值为1；试验失败，随机变量取值为0。成功机率为p，失败机率为q =1-p，N次试验后，成功期望为N*p，方差为N*p*(1-p) ，所以伯努利分布又称两点分布。

观察到的数据为D1，D2，D3，...，DN，极大似然的目标：

联合分布难计算，我们因此引入一个假设，独立同分布（i.i.d.），目标公式改变为：

将函数取对数，函数的极值点不会改变，公式变为：

伯努利分布下随机变量的最大似然计算方法，P(X=1)=p，P(X=0)=1-p：

对p求导可得：

令导数为0,得：

高斯分布下最大似然估计法：

对期望求导：

令导数为0：

对方差求导，令导数为0：