Icould

摘要： 非参数Bayesian模型的学习基础 非参数模型中，Dirichlet process是基础。Dirichlet process是Dirichlet分布的推广，而Dirichlet 分布是Beta分布的推广。理解Dirichlet过程，先从了解Beta分布开始。Beta分布有关两个随机变量，而Dirichlet分布关于多维变量的概率分布。 抛硬币的实验中，设硬币正面的概率为p，反面的概率则为1-p。那么，连续抛n次硬币，其中k次为正面的概率服从二项分布B(n,p)。在实际的问题中，简单地处理，可以假设一枚硬币正面和反面的概率相等，即p=0.5。但若进一步考虑，由于一些特别的原因，一枚硬币正.. 阅读全文

摘要： EM算法作者：罗维初稿：2011年1月15日修正：2012年1月14日很碰巧，时隔一年了。面对经典的EM算法，我有了新的认识。经常有人谈到它就是"鸡生蛋，蛋生鸡"的解法，这个很通俗，但是只了解到这一层，是远不够的……EM算法的全名是Expectation Maximization，中文名叫期望最大化算法。它是一个在含有隐变量的模型中常用的算法，在最大似然估计（MLE）和最大后验估计（MAP）中常用。在GMM、HMM、PCFG、IBM 5个对齐模型以及K-Means聚类方法中均有它的影子。下面会以MLE估计来介绍它，随后给出其两种证明方法，最后以实际模型中的应用为例，以期达到 阅读全文