摘要：2.2 Multinomial variables多项变量的分布 考虑多项变量即K个互斥变量(可能取值)，使用1-of-K方式表示为K维向量x，其中某个向量xk=1，且其他向量=0。例如某个变量发生，对应向量为x3，则x3=1 ：xk=1发生的概率为μk，那么x的分布为：这里，且，该分布可以看作是Bernoulli分布多输出的普遍形式，很明显上式是归一化的normalized：考虑N个独立观测值 {x1,…,xN} 数据集D, 对应的似然函数：其中：代表xk=1在D中发生次数。这是都是该分布的完全统计sufficient statistics。2.29的限制条件是，那么可以使用拉格朗日乘子法对 阅读全文

摘要：Bernouli 分布 单变量x ∈{0, 1} ,x的概率由参数 μ，表示： 统一格式，有： Bernouli 分布，期望与方差： 对于x的观察数据集 ，似然函数是 μ 的函数，假定 xi 之间独立，有： 从频率论角度，我们可以用最大化似然函数的方法(等价于最大化ln函数)来评估 μ 值，似然函数的自然对数有： 使得 lnp(D|μ)=0 ，得到μ 的最大似然估计： 也即是样本均值，x=1的个数为m，则: 对于仍硬币实验，总共仍了3次，且出现的都是正面，那么μ ML= 1，预测以后都是扔出正面了，最大似然估计造成了over-fitting。对于小样本集更容易引起该问题，后面会介绍引入μ .. 阅读全文