gart

摘要： 借助 "BERT" 论文, 梳理下自然语言处理当前常见的任务. NLP任务 根据判断主题的级别, 将所有的NLP任务分为两种类型: token level task : token级别的任务. 如 完形填空 (Cloze), 预测句子中某个位置的单词; 或者 实体识别 ; 或是 词性标注 ; SQu 阅读全文

摘要： Transformer 本文介绍了 Transformer 结构, 是一种 encoder decoder , 用来处理序列问题, 常用在NLP相关问题中. 与传统的专门处理序列问题的encoder decoder相比, 有以下的特点: 结构完全 不依赖于CNN和RNN 完全依赖于 self att 阅读全文

摘要： "这篇论文" 提出了 SIF sentence embedding 方法, 作者提供的代码在 "Github" . 引入 作为一种 无监督 计算句子之间相似度的方法, sif sentence embedding 使用预训练好的词向量, 使用加权平均的方法, 对句子中所有词对应的词向量进行计算, 得 阅读全文

摘要： 总结来自 "这篇论文的第7章" 注意力机制 注意力机制是一种在 编码器 解码器 结构中使用到的机制, 现在已经在多种任务中使用: 机器翻译(Neural Machine Translation, NMT) 图像描述(Image Captioning (translating an image to 阅读全文

摘要： 引入 1. 随机梯度下降的特点 随机梯度下降法 (Stochastic Gradient Descent)作为深度学习中主流使用的最优化方法, 有以下的优点: 躲避和逃离假的 鞍点 和 局部极小点 的能力 这篇论文认为, 这些 局部极小 也包含着一些有用的信息, 能够帮助提升模型的能力. 2. 局部 阅读全文

摘要： 从 "变形卷积核、可分离卷积？卷积神经网络中十大拍案叫绝的操作。" 中梳理提取补充. 前提名词 feature map : 特征图, 卷积核的输入和输出都被称为feature map 卷积核技巧 0x01 多个小卷积核代替大卷积核 之前的观念是越大的卷积核 感受野(receptive field) 阅读全文

摘要： keras允许自定义Layer层, 大大方便了一些复杂操作的实现. 也方便了一些novel结构的复用, 提高搭建模型的效率. 实现方法 通过继承 类, 重写其中的部分方法, 实现层的自定义. 主要需要实现的方法及其意义有: _ _init_ _(self, kwargs) 作为类的初始化方法, 一般 阅读全文

摘要： 使用背景 最常见的一种情况, 在 问题的句子补全方法中, 按照一定的长度, 对句子进行填补和截取操作. 一般使用 包中的 方法, 在句子前面或者后面补0. 但是这些零是我们不需要的, 只是为了组成可以计算的结构才填补的. 因此计算过程中, 我们希望用 的思想, 在计算中, 屏蔽这些填补0值得作用. 阅读全文

摘要： 这篇文章提出了 DIIN (DENSELY INTERACTIVE INFERENCE NETWORK)模型. 是解决 NLI (NATURAL LANGUAGE INFERENCE)问题的很好的一种方法. 模型结构 首先, 论文提出了 IIN (Interactive Inference Netw 阅读全文

摘要： 论文概况 Multi Perspective Sentence Similarity Modeling with Convolution Neural Networks 是处理 比较两个句子相似度 的问题, 适用于解决 智能客服问题匹配场景 中用户提交的问句与知识库中问句的匹配. 文章将整个问题的解 阅读全文