随笔-27  评论-72  文章-2 
  2018年10月21日
摘要: 自然语言处理中的语言模型预训练方法(ELMo、GPT和BERT) 最近,在自然语言处理(NLP)领域中,使用语言模型预训练方法在多项NLP任务上都获得了不错的提升,广泛受到了各界的关注。就此,我将最近看的一些相关论文进行总结,选取了几个代表性模型(包括ELMo [1],OpenAI GPT [2]和阅读全文
posted @ 2018-10-21 10:59 robert_ai 阅读(9553) 评论(10) 编辑
  2018年6月22日
摘要: 基线系统需要受到更多关注:基于词向量的简单模型 最近阅读了《Baseline Needs More Love: On Simple Word-Embedding-Based Models and Associated Pooling Mechanisms》这篇论文[1],该工作来自杜克大学,发表在A阅读全文
posted @ 2018-06-22 11:00 robert_ai 阅读(913) 评论(0) 编辑
  2018年3月24日
摘要: 自然语言处理中的自注意力机制(Self-attention Mechanism) 近年来,注意力(Attention)机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中,之前我对早期注意力机制进行过一些学习总结(可见http://www.cnblogs.com/robert-dlut/p阅读全文
posted @ 2018-03-24 11:46 robert_ai 阅读(36731) 评论(3) 编辑
  2017年10月22日
摘要: 基于神经网络的实体识别和关系抽取联合学习 联合学习(Joint Learning)一词并不是一个最近才出现的术语,在自然语言处理领域,很早就有研究者使用基于传统机器学习的联合模型(Joint Model)来对一些有着密切联系的自然语言处理任务进行联合学习。例如实体识别和实体标准化联合学习,分词和词性阅读全文
posted @ 2017-10-22 17:04 robert_ai 阅读(11944) 评论(7) 编辑
  2017年5月12日
摘要: 神经网络结构在命名实体识别(NER)中的应用 近年来,基于神经网络的深度学习方法在自然语言处理领域已经取得了不少进展。作为NLP领域的基础任务—命名实体识别(Named Entity Recognition,NER)也不例外,神经网络结构在NER中也取得了不错的效果。最近,我也阅读学习了一系列使用神阅读全文
posted @ 2017-05-12 21:57 robert_ai 阅读(29723) 评论(28) 编辑
  2017年3月20日
摘要: 使用维基百科训练简体中文词向量 最近需要训练简体中文的词向量,而中文大规模语料获取并没有像英文那样方便。搜狗语料库(http://www.sogou.com/labs/resource/list_yuliao.php)是能够免费获取的比较大的中文新闻语料库。但是最新的也就是更新到2012年的语料,后阅读全文
posted @ 2017-03-20 10:45 robert_ai 阅读(5216) 评论(8) 编辑
  2016年10月12日
摘要: 注意力机制(Attention Mechanism)在自然语言处理中的应用 近年来,深度学习的研究越来越深入,在各个领域也都获得了不少突破性的进展。基于注意力(attention)机制的神经网络成为了最近神经网络研究的一个热点,本人最近也学习了一些基于attention机制的神经网络在自然语言处理(阅读全文
posted @ 2016-10-12 11:15 robert_ai 阅读(45484) 评论(8) 编辑
  2016年6月26日
摘要: 如何产生好的词向量? 词向量、词嵌入(word vector,word embedding)也称分布式表示(distributed representation),想必任何一个做NLP的研究者都不陌生。如今词向量已经被广泛应用于各自NLP任务中,研究者们也提出了不少产生词向量的模型并开发成实用的工具阅读全文
posted @ 2016-06-26 10:32 robert_ai 阅读(7607) 评论(2) 编辑
  2016年3月14日
摘要: 谈谈评价指标中的宏平均和微平均   今天在阅读周志华老师的《机器学习》一书时,看到性能度量这一小节,里面讲到了宏平均和微平均的计算方法,这也是我一直没有很清晰的一个概念,于是在看了之后又查阅了一些资料,但是还是存在一些问题,想和大家分享一下。 (1)召回率、准确率、F值 对于二分类问题,可将样例根据阅读全文
posted @ 2016-03-14 19:58 robert_ai 阅读(7947) 评论(6) 编辑
  2015年11月29日
摘要: 在NLP中深度学习模型何时需要树形结构? 前段时间阅读了Jiwei Li等人[1]在EMNLP2015上发表的论文《When Are Tree Structures Necessary for Deep Learning of Representations?》,该文主要对比了基于树形结构的递归神经...阅读全文
posted @ 2015-11-29 11:33 robert_ai 阅读(4589) 评论(0) 编辑