摘要：上一篇博客复习了贝叶斯决策论，以及生成式模型的参数方法。本篇就给出一个具体的例子：朴素贝叶斯分类器应用于文本分类。后面简单谈了一下文本分类的方法。 （五）朴素贝叶斯分类器（Naïve Bayes） 既然说到了朴素贝叶斯，那就从信息检索的一些概念开始说起好了。 一、以概率角度出发的文档生成 如果以概率 阅读全文

摘要：本文简单整理了以下内容： （一）贝叶斯决策论：最小错误率决策、最小风险决策；经验风险与结构风险 （二）判别函数；生成式模型；多元高斯密度下的判别函数：线性判别函数LDF、二次判别函数QDF （三）贝叶斯错误率 （四）生成式模型的参数估计：贝叶斯学派与频率学派；极大似然估计、最大后验概率估计、贝叶斯估 阅读全文

摘要：网上有很多Simple RNN的BPTT（Backpropagation through time，随时间反向传播）算法推导。下面用自己的记号整理一下。 我之前有个习惯是用下标表示样本序号，这里不能再这样表示了，因为下标需要用做表示时刻。 典型的Simple RNN结构如下： 图片来源：[3] 约定 阅读全文

摘要：这里把按 [1] 推导的BP算法（Backpropagation）步骤整理一下。突然想整理这个的原因是知乎上看到了一个帅呆了的求矩阵微分的方法（也就是 [2]），不得不感叹作者的功力。[1] 中直接使用矩阵微分的记号进行推导，整个过程十分简洁。而且这种矩阵形式有一个非常大的优势就是对照其进行编程实现 阅读全文