摘要："这篇论文" 提出了 SIF sentence embedding 方法, 作者提供的代码在 "Github" . 引入 作为一种 无监督 计算句子之间相似度的方法, sif sentence embedding 使用预训练好的词向量, 使用加权平均的方法, 对句子中所有词对应的词向量进行计算, 得 阅读全文

摘要：总结来自 "这篇论文的第7章" 注意力机制 注意力机制是一种在 编码器 解码器 结构中使用到的机制, 现在已经在多种任务中使用: 机器翻译(Neural Machine Translation, NMT) 图像描述(Image Captioning (translating an image to 阅读全文

摘要：引入 1. 随机梯度下降的特点 随机梯度下降法 (Stochastic Gradient Descent)作为深度学习中主流使用的最优化方法, 有以下的优点: 躲避和逃离假的 鞍点 和 局部极小点 的能力 这篇论文认为, 这些 局部极小 也包含着一些有用的信息, 能够帮助提升模型的能力. 2. 局部 阅读全文