Determined22

摘要： 上一篇博客复习了贝叶斯决策论，以及生成式模型的参数方法。本篇就给出一个具体的例子：朴素贝叶斯分类器应用于文本分类。后面简单谈了一下文本分类的方法。 （五）朴素贝叶斯分类器（Naïve Bayes） 既然说到了朴素贝叶斯，那就从信息检索的一些概念开始说起好了。 一、以概率角度出发的文档生成 如果以概率 阅读全文

摘要： 本文简单整理了以下内容： （一）贝叶斯决策论：最小错误率决策、最小风险决策；经验风险与结构风险 （二）判别函数；生成式模型；多元高斯密度下的判别函数：线性判别函数LDF、二次判别函数QDF （三）贝叶斯错误率 （四）生成式模型的参数估计：贝叶斯学派与频率学派；极大似然估计、最大后验概率估计、贝叶斯估 阅读全文

摘要： 网上有很多Simple RNN的BPTT（Backpropagation through time，随时间反向传播）算法推导。下面用自己的记号整理一下。 我之前有个习惯是用下标表示样本序号，这里不能再这样表示了，因为下标需要用做表示时刻。 典型的Simple RNN结构如下： 图片来源：[3] 约定 阅读全文

摘要： 这里把按 [1] 推导的BP算法（Backpropagation）步骤整理一下。突然想整理这个的原因是知乎上看到了一个帅呆了的求矩阵微分的方法（也就是 [2]），不得不感叹作者的功力。[1] 中直接使用矩阵微分的记号进行推导，整个过程十分简洁。而且这种矩阵形式有一个非常大的优势就是对照其进行编程实现 阅读全文

摘要： 上篇博文提到，原始的CBOW / Skip-gram模型虽然去掉了NPLM中的隐藏层从而减少了耗时，但由于输出层仍然是softmax()，所以实际上依然“impractical”。所以接下来就介绍一下如何对训练过程进行加速。 paper中提出了两种方法，一种是Hierarchical Softmax 阅读全文

摘要： 本文简述了以下内容： 神经概率语言模型NPLM，训练语言模型并同时得到词表示 word2vec：CBOW / Skip-gram，直接以得到词表示为目标的模型 （一）原始CBOW(Continuous Bag-of-Words)模型 （二）原始Skip-gram模型 （三）word analogy 阅读全文

摘要： 本文简述了以下内容： 什么是词表示，什么是表示学习，什么是分布式表示 one-hot representation与distributed representation（分布式表示） 基于distributional hypothesis的词表示模型 （一）syntagmatic models（co 阅读全文

摘要： 最近接触了pLSA模型，该模型需要使用期望最大化（Expectation Maximization）算法求解。 本文简述了以下内容： 为什么需要EM算法 EM算法的推导与流程 EM算法的收敛性定理 使用EM算法求解三硬币模型 为什么需要EM算法 数理统计的基本问题就是根据样本所提供的信息，对总体的分 阅读全文

摘要： 在前段时间做本科毕业设计的时候，遇到了各个类别的样本量分布不均的问题——某些类别的样本数量极多，而有些类别的样本数量极少，也就是所谓的类不平衡（class-imbalance）问题。 本篇简述了以下内容： 什么是类不平衡问题 为什么类不平衡是不好的 几种解决方案 SMOTE过采样算法 进一步阅读 什 阅读全文