随笔- 29  评论- 85  文章- 2 
  2019年10月5日
摘要:学术研究的一些心得体会 当我们开始高校研究生活时,我们就踏上了学术研究之路。这是一条探索未知世界,追求知识真理之路。这条道路上布满荆棘,充满了冒险和乐趣。本文通过分享自己在博士学习阶段亲身经历的研究经验和体会(主要涉及到文献检索、文献阅读、实验设计和论文写作这四个方面),希望能帮助一些入门研究不久的 阅读全文
posted @ 2019-10-05 09:37 robert_ai 阅读 (2047) 评论 (7) 编辑
  2019年9月26日
摘要:生物医学命名实体识别(BioNER)研究进展 最近把之前整理的一些生物医学命名实体识别(Biomedical Named Entity Recognition, BioNER)相关的论文做了一个BioNER Progress放在了github(https://github.com/lingluodl 阅读全文
posted @ 2019-09-26 17:38 robert_ai 阅读 (211) 评论 (0) 编辑
  2018年10月21日
摘要:自然语言处理中的语言模型预训练方法(ELMo、GPT和BERT) 最近,在自然语言处理(NLP)领域中,使用语言模型预训练方法在多项NLP任务上都获得了不错的提升,广泛受到了各界的关注。就此,我将最近看的一些相关论文进行总结,选取了几个代表性模型(包括ELMo [1],OpenAI GPT [2]和 阅读全文
posted @ 2018-10-21 10:59 robert_ai 阅读 (24087) 评论 (10) 编辑
  2018年6月22日
摘要:基线系统需要受到更多关注:基于词向量的简单模型 最近阅读了《Baseline Needs More Love: On Simple Word-Embedding-Based Models and Associated Pooling Mechanisms》这篇论文[1],该工作来自杜克大学,发表在A 阅读全文
posted @ 2018-06-22 11:00 robert_ai 阅读 (1113) 评论 (0) 编辑
  2018年3月24日
摘要:自然语言处理中的自注意力机制(Self-attention Mechanism) 近年来,注意力(Attention)机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中,之前我对早期注意力机制进行过一些学习总结(可见http://www.cnblogs.com/robert-dlut/p 阅读全文
posted @ 2018-03-24 11:46 robert_ai 阅读 (58177) 评论 (4) 编辑
  2017年10月22日
摘要:基于神经网络的实体识别和关系抽取联合学习 联合学习(Joint Learning)一词并不是一个最近才出现的术语,在自然语言处理领域,很早就有研究者使用基于传统机器学习的联合模型(Joint Model)来对一些有着密切联系的自然语言处理任务进行联合学习。例如实体识别和实体标准化联合学习,分词和词性 阅读全文
posted @ 2017-10-22 17:04 robert_ai 阅读 (15983) 评论 (7) 编辑
  2017年5月12日
摘要:神经网络结构在命名实体识别(NER)中的应用 近年来,基于神经网络的深度学习方法在自然语言处理领域已经取得了不少进展。作为NLP领域的基础任务—命名实体识别(Named Entity Recognition,NER)也不例外,神经网络结构在NER中也取得了不错的效果。最近,我也阅读学习了一系列使用神 阅读全文
posted @ 2017-05-12 21:57 robert_ai 阅读 (32784) 评论 (30) 编辑
  2017年3月20日
摘要:使用维基百科训练简体中文词向量 最近需要训练简体中文的词向量,而中文大规模语料获取并没有像英文那样方便。搜狗语料库(http://www.sogou.com/labs/resource/list_yuliao.php)是能够免费获取的比较大的中文新闻语料库。但是最新的也就是更新到2012年的语料,后 阅读全文
posted @ 2017-03-20 10:45 robert_ai 阅读 (6173) 评论 (10) 编辑
  2016年10月12日
摘要:注意力机制(Attention Mechanism)在自然语言处理中的应用 近年来,深度学习的研究越来越深入,在各个领域也都获得了不少突破性的进展。基于注意力(attention)机制的神经网络成为了最近神经网络研究的一个热点,本人最近也学习了一些基于attention机制的神经网络在自然语言处理( 阅读全文
posted @ 2016-10-12 11:15 robert_ai 阅读 (51317) 评论 (9) 编辑
  2016年6月26日
摘要:如何产生好的词向量? 词向量、词嵌入(word vector,word embedding)也称分布式表示(distributed representation),想必任何一个做NLP的研究者都不陌生。如今词向量已经被广泛应用于各自NLP任务中,研究者们也提出了不少产生词向量的模型并开发成实用的工具 阅读全文
posted @ 2016-06-26 10:32 robert_ai 阅读 (9530) 评论 (2) 编辑