摘要：EM算法用于含有隐含变量的概率模型参数的极大似然估计。什么是隐含变量的概率模型呢？举个例子，假设有3枚硬币，分别记为A,B,C，它们正面出现的概率分别为r,p,q。每次实验先掷硬币A，如果出现的是正面就投B，如果出现的反面就投C，出现正面记为1，出现反面记为0。独立10次实验，观测结果如下：1101 阅读全文

摘要：1,信息 \( i(x)=-log(p(x)) \) 事件x不确定性的度量，不确定性越大，信息量越大。 从信息编码角度，这是编码这一信息所需要的最小比特数(log以2为底，以e为底的叫做奈特)。 2,熵 \( H(X) = \sum_x{-p(x)log(p(x))} \) 随机变量X不确定的度量， 阅读全文

摘要：目录： 机器学习中的微积分 机器学习中的概率与统计 机器学习中的矩阵论 阅读全文

摘要：Quaro上的问答，我感觉回答的非常好！What are the advantages of different classification algorithms?For instance, if we have large training data set with approx more t... 阅读全文

摘要：这篇文章浅谈一下我对机器学习中生成模型和判别模型的认识。首先，机器学习算法分为监督学习、半监督学习、非监督学习等。而对于监督学习，又可以分成生成学习(generative approach)和判别学习(discriminative approach)。下面是NG对这两个概念的解释：Algorithm... 阅读全文