摘要： 注意力机制（Attention Mechanism）在自然语言处理中的应用 近年来，深度学习的研究越来越深入，在各个领域也都获得了不少突破性的进展。基于注意力（attention）机制的神经网络成为了最近神经网络研究的一个热点，本人最近也学习了一些基于attention机制的神经网络在自然语言处理（ 阅读全文

摘要： 如何产生好的词向量？ 词向量、词嵌入（word vector，word embedding）也称分布式表示（distributed representation），想必任何一个做NLP的研究者都不陌生。如今词向量已经被广泛应用于各自NLP任务中，研究者们也提出了不少产生词向量的模型并开发成实用的工具 阅读全文

摘要： 谈谈评价指标中的宏平均和微平均   今天在阅读周志华老师的《机器学习》一书时，看到性能度量这一小节，里面讲到了宏平均和微平均的计算方法，这也是我一直没有很清晰的一个概念，于是在看了之后又查阅了一些资料，但是还是存在一些问题，想和大家分享一下。 （1）召回率、准确率、F值 对于二分类问题，可将样例根据 阅读全文

摘要： 在NLP中深度学习模型何时需要树形结构？ 前段时间阅读了Jiwei Li等人[1]在EMNLP2015上发表的论文《When Are Tree Structures Necessary for Deep Learning of Representations?》,该文主要对比了基于树形结构的递归神经... 阅读全文

摘要： Windows下MetaMap工具安装一、Main MetaMap安装Prerequisties12G磁盘空间JAVA6 or newer JRE or SDK installedDownloading The distribution is available at the MetaMap Ma... 阅读全文

摘要： Choosing a Machine Learning ClassifierbyEdwin ChenonWed 27 April 2011How do you know what machine learning algorithm to choose for your classification... 阅读全文

摘要： 感知机Perceptrons 学习Hinton神经网络公开课的学习笔记https://class.coursera.org/neuralnets-2012-001 1 感知机历史 在19世纪60年代由Frank Rosenblatt提出，是神经网络和支持向量机的基础。2 模型表示 在hinton的课... 阅读全文

摘要： 神经网络Neural Networks 1 为什么要用神经网络？既然前面降了逻辑回归，为什么还需要神经网络呢？前面我们制定在非线性分类问题中，也可以使用逻辑回归进行分类，不过我们的特征变量就变成了原始特征的高阶多项式。假设有100个特征变量，要使用逻辑回归进行分类的话，特征就呈指数增长，不仅计算量十... 阅读全文

摘要： 文本分类之特征选择1 研究背景 对于高纬度的分类问题，我们在分类之前一般会进行特征降维，特征降维的技术一般会有特征提取和特征选择。而对于文本分类问题，我们一般使用特征选择方法。特征提取：PCA、线性判别分析特征选择：文档频数、信息增益、期望交叉熵、互信息、文本证据权、卡方等特征选择的目的一般是：避... 阅读全文

摘要： 逻辑回归Logistic Regression 1 分类 Classification 首先我们来看看使用线性回归来解决分类会出现的问题。下图中，我们加入了一个训练集，产生的新的假设函数使得我们进行分类出现了错误；而且线性回归计算的结果往往会远小于0或者远大于1，这对于0,1分类变得很奇怪。可见线... 阅读全文