随笔分类 -  自然语言处理

<<Natural Language Inference over Interaction Space >> 句子匹配
摘要：模型结构 code :https://github.com/YichenGong/Densely-Interactive-Inference-Network 首先是模型图： Embedding Layer 词嵌入+字嵌入+syntactical features （句法特征） 拼接。 词嵌入:glo 阅读全文
posted @ 2018-10-25 17:17 乐乐章 阅读(515) 评论(0) 推荐(0)
《Semantic Sentence Matching with Densely-connected Recurrent and Co-attentive Information》DRCN 句子匹配
摘要：模型结构 首先是模型图： 传统的注意力机制无法保存多层原始的特征，根据DenseNet的启发，作者将循环网络的隐层的输出与最后一层连接。 另外加入注意力机制，代替原来的卷积。由于最后的特征维度过大，加入AE降维。 Word Representation Layer 层 自然语言的任务首先就是输入层， 阅读全文
posted @ 2018-10-24 17:07 乐乐章 阅读(920) 评论(0) 推荐(0)
《A Structured Self-Attentive Sentence Embedding》（注意力机制）
摘要：Background and Motivation: 现有的处理文本的常规流程第一步就是：Word embedding。也有一些 embedding 的方法是考虑了 phrase 和 sentences 的。这些方法大致可以分为两种： universal sentence（general 的句子）和 阅读全文
posted @ 2018-10-05 11:53 乐乐章 阅读(457) 评论(0) 推荐(0)
《Convolutional Neural Network Architectures for Matching Natural Language Sentences》句子匹配
摘要：模型结构与原理 1. 基于CNN的句子建模 这篇论文主要针对的是句子匹配(Sentence Matching)的问题，但是基础问题仍然是句子建模。首先，文中提出了一种基于CNN的句子建模网络，如下图： 图中灰色的部分表示对于长度较短的句子，其后面不足的部分填充的全是0值(Zero Padding)。 阅读全文
posted @ 2018-05-26 17:54 乐乐章 阅读(1906) 评论(0) 推荐(0)
《Convolutional Neural Networks for Sentence Classification》 文本分类
摘要：文本分类任务中可以利用CNN来提取句子中类似 n-gram 的关键信息。 TextCNN的详细过程原理图见下： keras 代码： 说明如下： 输入层 如图所示，，假设句子有 n 个词，vector的维数为 k ，那么这个矩阵就是 n×k 的。 这个矩阵的类型可以是静态的(static)，也可以是动 阅读全文
posted @ 2018-05-26 15:48 乐乐章 阅读(4446) 评论(0) 推荐(0)
<<Joint Deep Modeling of Users and Items Using Reviews for Recommendation>> 评论打分预测
摘要：综述： 本文将 CNN 与 FM(Factorization Machine) 结合，基于评论文本来进行评分预测。 简介： 目前将神经网络应用推荐系统的研究工作中，有一类思路是把如CNN等神经网络作为特征提取器，从图片、文本等辅助信息中提取特征向量， ’再融合到传统的如BPR, PMF等基于矩阵分解 阅读全文
posted @ 2018-05-19 15:31 乐乐章 阅读(705) 评论(0) 推荐(0)
《User Modeling with Neural Network for Review Rating Prediction》评论打分预测
摘要：摘要： 传统的评分预测只考虑到了文本信息，没有考虑到用户的信息，因为同一个词 在不同的用户表达中是不一样的。同样good 一词， 有人觉得5分是good 有人觉得4分是good。但是传统的文本向量表达无法区分。所以每个人都应该有一个属于自己的词向量。 传统的是word embedding的方式，这样 阅读全文
posted @ 2018-05-14 15:08 乐乐章 阅读(559) 评论(0) 推荐(0)