2016年10月12日
摘要: 注意力机制(Attention Mechanism)在自然语言处理中的应用 近年来,深度学习的研究越来越深入,在各个领域也都获得了不少突破性的进展。基于注意力(attention)机制的神经网络成为了最近神经网络研究的一个热点,本人最近也学习了一些基于attention机制的神经网络在自然语言处理( 阅读全文
posted @ 2016-10-12 11:15 robert_ai 阅读(72244) 评论(11) 推荐(11) 编辑
  2016年6月26日
摘要: 如何产生好的词向量? 词向量、词嵌入(word vector,word embedding)也称分布式表示(distributed representation),想必任何一个做NLP的研究者都不陌生。如今词向量已经被广泛应用于各自NLP任务中,研究者们也提出了不少产生词向量的模型并开发成实用的工具 阅读全文
posted @ 2016-06-26 10:32 robert_ai 阅读(12317) 评论(2) 推荐(2) 编辑
  2016年3月14日
摘要: 谈谈评价指标中的宏平均和微平均   今天在阅读周志华老师的《机器学习》一书时,看到性能度量这一小节,里面讲到了宏平均和微平均的计算方法,这也是我一直没有很清晰的一个概念,于是在看了之后又查阅了一些资料,但是还是存在一些问题,想和大家分享一下。 (1)召回率、准确率、F值 对于二分类问题,可将样例根据 阅读全文
posted @ 2016-03-14 19:58 robert_ai 阅读(26629) 评论(8) 推荐(6) 编辑
  2015年11月29日
摘要: 在NLP中深度学习模型何时需要树形结构? 前段时间阅读了Jiwei Li等人[1]在EMNLP2015上发表的论文《When Are Tree Structures Necessary for Deep Learning of Representations?》,该文主要对比了基于树形结构的递归神经... 阅读全文
posted @ 2015-11-29 11:33 robert_ai 阅读(7040) 评论(0) 推荐(2) 编辑
  2015年6月29日
摘要: Windows下MetaMap工具安装一、Main MetaMap安装Prerequisties12G磁盘空间JAVA6 or newer JRE or SDK installedDownloading The distribution is available at the MetaMap Ma... 阅读全文
posted @ 2015-06-29 15:35 robert_ai 阅读(1397) 评论(0) 推荐(0) 编辑
  2015年6月10日
摘要: Choosing a Machine Learning ClassifierbyEdwin ChenonWed 27 April 2011How do you know what machine learning algorithm to choose for your classification... 阅读全文
posted @ 2015-06-10 19:26 robert_ai 阅读(458) 评论(0) 推荐(0) 编辑
  2015年4月27日
摘要: 感知机Perceptrons 学习Hinton神经网络公开课的学习笔记https://class.coursera.org/neuralnets-2012-001 1 感知机历史 在19世纪60年代由Frank Rosenblatt提出,是神经网络和支持向量机的基础。2 模型表示 在hinton的课... 阅读全文
posted @ 2015-04-27 22:19 robert_ai 阅读(1228) 评论(0) 推荐(0) 编辑
  2015年4月20日
摘要: 神经网络Neural Networks 1 为什么要用神经网络?既然前面降了逻辑回归,为什么还需要神经网络呢?前面我们制定在非线性分类问题中,也可以使用逻辑回归进行分类,不过我们的特征变量就变成了原始特征的高阶多项式。假设有100个特征变量,要使用逻辑回归进行分类的话,特征就呈指数增长,不仅计算量十... 阅读全文
posted @ 2015-04-20 15:36 robert_ai 阅读(1273) 评论(0) 推荐(0) 编辑
  2015年3月27日
摘要: 文本分类之特征选择1 研究背景 对于高纬度的分类问题,我们在分类之前一般会进行特征降维,特征降维的技术一般会有特征提取和特征选择。而对于文本分类问题,我们一般使用特征选择方法。特征提取:PCA、线性判别分析特征选择:文档频数、信息增益、期望交叉熵、互信息、文本证据权、卡方等特征选择的目的一般是:避... 阅读全文
posted @ 2015-03-27 15:34 robert_ai 阅读(6408) 评论(0) 推荐(0) 编辑
  2015年3月10日
摘要: 逻辑回归Logistic Regression 1 分类 Classification 首先我们来看看使用线性回归来解决分类会出现的问题。下图中,我们加入了一个训练集,产生的新的假设函数使得我们进行分类出现了错误;而且线性回归计算的结果往往会远小于0或者远大于1,这对于0,1分类变得很奇怪。可见线... 阅读全文
posted @ 2015-03-10 10:42 robert_ai 阅读(1642) 评论(0) 推荐(0) 编辑