摘要： 基本想法：既不想像参数估计（最大似然，贝叶斯学习）那样需要假定特定的分布函数形式，又不想像非参数估计那样在最终生成的模型中带着所有的训练样本。 注意理解这个式子:p(j)是样本概率由第j个组分得到的概率，式（1）中也就是对联合分布求和得到了边缘分布。P(j)的取值需要满足概率函数的约束： 同理，条... 阅读全文

摘要： 在进行参数估计的时候， 常用到最大似然估计，其形式很简单，对于含有N个样本的训练数据集DN，假设样本独立同分布，分布参数为，则似然概率定义如下： 简单说就是参数为时训练集出现的概率，然后我们根据不同的分布形式求导，得到参数的最有值使得似然概率最大。 贝叶斯学习过程不同之处在于，一开始并不试图去求解一个最优的参数值，而是假设参数本身符合某个分布，即先验概率p()（例如高斯分布，只要知道均... 阅读全文