Deep Learning - 随笔分类 - robert_ai

生物医学命名实体识别（BioNER）研究进展

摘要：生物医学命名实体识别（BioNER）研究进展最近把之前整理的一些生物医学命名实体识别（Biomedical Named Entity Recognition, BioNER）相关的论文做了一个BioNER Progress放在了github（https://github.com/lingluodl 阅读全文

posted @ 2019-09-26 17:38 robert_ai 阅读(6763) 评论(0) 推荐(2) 编辑

自然语言处理中的语言模型预训练方法（ELMo、GPT和BERT）

摘要：自然语言处理中的语言模型预训练方法（ELMo、GPT和BERT）最近，在自然语言处理（NLP）领域中，使用语言模型预训练方法在多项NLP任务上都获得了不错的提升，广泛受到了各界的关注。就此，我将最近看的一些相关论文进行总结，选取了几个代表性模型（包括ELMo [1]，OpenAI GPT [2]和阅读全文

posted @ 2018-10-21 10:59 robert_ai 阅读(61352) 评论(21) 推荐(22) 编辑

基线系统需要受到更多关注：基于词向量的简单模型

摘要：基线系统需要受到更多关注：基于词向量的简单模型最近阅读了《Baseline Needs More Love: On Simple Word-Embedding-Based Models and Associated Pooling Mechanisms》这篇论文[1]，该工作来自杜克大学，发表在A 阅读全文

posted @ 2018-06-22 11:00 robert_ai 阅读(1783) 评论(0) 推荐(0) 编辑

自然语言处理中的自注意力机制（Self-attention Mechanism）

摘要：自然语言处理中的自注意力机制（Self-attention Mechanism）近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中，之前我对早期注意力机制进行过一些学习总结（可见http://www.cnblogs.com/robert-dlut/p 阅读全文

posted @ 2018-03-24 11:46 robert_ai 阅读(160220) 评论(4) 推荐(21) 编辑

基于神经网络的实体识别和关系抽取联合学习

摘要：基于神经网络的实体识别和关系抽取联合学习联合学习（Joint Learning）一词并不是一个最近才出现的术语，在自然语言处理领域，很早就有研究者使用基于传统机器学习的联合模型（Joint Model）来对一些有着密切联系的自然语言处理任务进行联合学习。例如实体识别和实体标准化联合学习，分词和词性阅读全文

posted @ 2017-10-22 17:04 robert_ai 阅读(26769) 评论(11) 推荐(2) 编辑

神经网络结构在命名实体识别（NER）中的应用

摘要：神经网络结构在命名实体识别（NER）中的应用近年来，基于神经网络的深度学习方法在自然语言处理领域已经取得了不少进展。作为NLP领域的基础任务—命名实体识别（Named Entity Recognition，NER）也不例外，神经网络结构在NER中也取得了不错的效果。最近，我也阅读学习了一系列使用神阅读全文

posted @ 2017-05-12 21:57 robert_ai 阅读(40780) 评论(30) 推荐(10) 编辑

注意力机制（Attention Mechanism）在自然语言处理中的应用

摘要：注意力机制（Attention Mechanism）在自然语言处理中的应用近年来，深度学习的研究越来越深入，在各个领域也都获得了不少突破性的进展。基于注意力（attention）机制的神经网络成为了最近神经网络研究的一个热点，本人最近也学习了一些基于attention机制的神经网络在自然语言处理（阅读全文

posted @ 2016-10-12 11:15 robert_ai 阅读(72339) 评论(11) 推荐(11) 编辑

如何产生好的词向量

摘要：如何产生好的词向量？词向量、词嵌入（word vector，word embedding）也称分布式表示（distributed representation），想必任何一个做NLP的研究者都不陌生。如今词向量已经被广泛应用于各自NLP任务中，研究者们也提出了不少产生词向量的模型并开发成实用的工具阅读全文

posted @ 2016-06-26 10:32 robert_ai 阅读(12330) 评论(2) 推荐(2) 编辑

在NLP中深度学习模型何时需要树形结构？

摘要：在NLP中深度学习模型何时需要树形结构？前段时间阅读了Jiwei Li等人[1]在EMNLP2015上发表的论文《When Are Tree Structures Necessary for Deep Learning of Representations?》,该文主要对比了基于树形结构的递归神经... 阅读全文

posted @ 2015-11-29 11:33 robert_ai 阅读(7066) 评论(0) 推荐(2) 编辑

DL四（预处理：主成分分析与白化 Preprocessing PCA and Whitening ）

摘要：预处理：主成分分析与白化Preprocessing：PCA and Whitening 一主成分分析 PCA1.1 基本术语主成分分析 Principal Components Analysis 白化 whitening 亮度 intensity 平均值 mean 方差 variance 协方差... 阅读全文

posted @ 2015-01-08 15:44 robert_ai 阅读(2978) 评论(0) 推荐(0) 编辑

DL三（向量化编程 Vectorized implementation）

摘要：向量化编程实现Vectorized implementation 一向量化编程 Vectorization 1.1 基本术语向量化 vectorization 1.2 向量化编程（Vectorization）向量化编程是提高算法速度的一种有效方法。为了提升特定数值运算操作（如矩阵相乘、矩阵相加、矩阵... 阅读全文

posted @ 2014-11-01 20:12 robert_ai 阅读(3430) 评论(0) 推荐(0) 编辑

DL二（稀疏自编码器 Sparse Autoencoder）

摘要：稀疏自编码器Sparse Autoencoder 一神经网络（Neural Networks）1.1 基本术语神经网络（neural networks）激活函数（activation function）偏置项（bias units）激活值（activation）前向传播（forward propag... 阅读全文

posted @ 2014-10-30 09:17 robert_ai 阅读(3694) 评论(0) 推荐(1) 编辑

DL一（ML基础知识）

摘要：基础知识ML 在进行深度学习前，根据学习网站的建议，首先学习机器学习的基础课程，学习资料主要是Andrew讲的ShortVideo，网址：http://openclassroom.stanford.edu/MainFolder/CoursePage.php?course=DeepLearning。下... 阅读全文

posted @ 2014-10-24 16:20 robert_ai 阅读(11941) 评论(0) 推荐(0) 编辑

随笔分类 - Deep Learning