随笔分类 - 论文阅读
整理一些度过的论文
摘要：论文地址 NLP的数据增强可以防止过拟合，为深度学习系统注入先验知识提供了最简单的方法，并为这些模型的泛化能力提供了一个视角。 背景 对图像进行语义保留增强很容易，但在文本领域要做到这一点要困难得多。 对迁移学习、自监督学习等很大的意义 文本数据增强的主题 加强决策边界:数据增强通过扰动数据(删除或
阅读全文
摘要：最近老板让我去读对比学习的论文，我断断续续读了一些。在这里对读到的文章做一下整理，因为考试和假期这些论文也是比较久之前读的了，难免有所不足，请见谅。 EMNLP 2021-SimCSE: Simple Contrastive Learning of Sentence Embeddings 这篇文章大
阅读全文
摘要：本篇论文美团已经给出了很详细的解读 论文：https://arxiv.org/abs/2105.11741 代码：https://github.com/yym6472/ConSERT 本文的想法思路也是一样即对比学习，主要创新点就是试了一些数据增强如对抗攻击、打乱词序、裁剪、dropout等等。通过
阅读全文
摘要：论文 代码 对于这篇经典论文的讲解已经有很多，这里推荐两个感觉讲的很清楚的讲解1、讲解2，相信看了这两篇论文后对整体的内容已经大致清楚，但是对于SimCSE如何减少各向异性的证明可能还会比较模糊（公式太多了/(ㄒoㄒ)/~~）。因此本文将会这部分进行比较详细的说明。参考自参考1、参考2 ##各向异性
阅读全文
摘要：在这篇文章中，我将对最近阅读的几篇关于可控难度的问题生成的论文进行简单说明，共四篇分别为： 1 Difficulty Controllable Generation of Reading Comprehension Questions. IJCAI, 2019 2 Difficulty-contro
阅读全文
摘要：1，问题 本文同样是针对QG中，由于答案信息的缺失或使用不当的导致的问题： 生成的问题与答案无关 如果在生成过程中没有适当的指导，尤其是在应用复制机制时，生成的问题中可能会包含答案。 基于以上问题，在本文中，作者提出了一个答案驱动的深度问题生成（ADDQG）模型，它更好地利用目标答案作为指导来促进深
阅读全文
摘要：1 问题 下载点此，关于seq2seq和encoder-decoder的一些基础可以参考这里:参考1、参考二此外，要注意所有的公式和图片都是t时刻的(代表每一时刻)不是说是最后时刻的，要区分好文章中的t时刻和最后时刻，每次生成的也都是t时刻的结果（词），还不是最终的结果。 当前的QG模型普遍有以下两
阅读全文
摘要：#Improving Neural Question Generation using Answer Separation 本篇是2019年发表在AAAI上的一篇文章。该文章在基础的seq2seq模型的基础上提出了answer-separated seq2seq模型，并通过实验证明该模型显着减少了包
阅读全文
浙公网安备 33010602011771号