随笔分类 -  NLP

NLP常见任务
摘要：借助 "BERT" 论文, 梳理下自然语言处理当前常见的任务. NLP任务 根据判断主题的级别, 将所有的NLP任务分为两种类型: token level task : token级别的任务. 如 完形填空 (Cloze), 预测句子中某个位置的单词; 或者 实体识别 ; 或是 词性标注 ; SQu 阅读全文
posted @ 2018-12-26 23:47 gart 阅读(22328) 评论(2) 推荐(11)
[阅读笔记]Attention Is All You Need - Transformer结构
摘要：Transformer 本文介绍了 Transformer 结构, 是一种 encoder decoder , 用来处理序列问题, 常用在NLP相关问题中. 与传统的专门处理序列问题的encoder decoder相比, 有以下的特点: 结构完全 不依赖于CNN和RNN 完全依赖于 self att 阅读全文
posted @ 2018-12-23 15:28 gart 阅读(4280) 评论(1) 推荐(0)
论文阅读 A SIMPLE BUT TOUGH-TO-BEAT BASELINE FOR SEN- TENCE EMBEDDINGS
摘要："这篇论文" 提出了 SIF sentence embedding 方法, 作者提供的代码在 "Github" . 引入 作为一种 无监督 计算句子之间相似度的方法, sif sentence embedding 使用预训练好的词向量, 使用加权平均的方法, 对句子中所有词对应的词向量进行计算, 得 阅读全文
posted @ 2018-10-14 21:53 gart 阅读(3974) 评论(3) 推荐(0)
神经网络中注意力机制概述
摘要：总结来自 "这篇论文的第7章" 注意力机制 注意力机制是一种在 编码器 解码器 结构中使用到的机制, 现在已经在多种任务中使用: 机器翻译(Neural Machine Translation, NMT) 图像描述(Image Captioning (translating an image to 阅读全文
posted @ 2018-10-10 23:24 gart 阅读(28928) 评论(1) 推荐(0)
论文阅读笔记: Natural Language Inference over Interaction Space
摘要：这篇文章提出了 DIIN (DENSELY INTERACTIVE INFERENCE NETWORK)模型. 是解决 NLI (NATURAL LANGUAGE INFERENCE)问题的很好的一种方法. 模型结构 首先, 论文提出了 IIN (Interactive Inference Netw 阅读全文
posted @ 2018-07-15 09:39 gart 阅读(1331) 评论(0) 推荐(0)
论文阅读笔记: Multi-Perspective Sentence Similarity Modeling with Convolution Neural Networks
摘要：论文概况 Multi Perspective Sentence Similarity Modeling with Convolution Neural Networks 是处理 比较两个句子相似度 的问题, 适用于解决 智能客服问题匹配场景 中用户提交的问句与知识库中问句的匹配. 文章将整个问题的解 阅读全文
posted @ 2018-07-08 17:39 gart 阅读(698) 评论(0) 推荐(0)