摘要：论文地址：https://arxiv.org/abs/1905.07799?context=cs.LG 研究的问题： 相对于LSTM来说，Transformer几乎在所有的NLP任务上都能胜出。但是有一点，Transformer的时间复杂度是O(n^2)的，因为对于每一步，它都需要计算该步与之前的所 阅读全文

摘要：论文地址： https://arxiv.org/abs/1907.03748 已有研究工作： 已有的研究工作主要关注完全监督情况下的问题，如有对应文本的机器翻译，在弱监督领域研究较少，往往使用结构化的预测目标。 本文的创新点： 本文主要研究的是从弱反馈中提取输出结构监控信号的方法。也就是对于不依赖于 阅读全文

摘要：论文地址：https://www.aclweb.org/anthology/P19-1030/ 已有的研究工作： 最近有众多的模型关注对于句子的通用编码建模，从而将其用在任何监督任务中。针对单词序列，完全基于Attention的模型存在两个主要的问题：1、随着句子长度的增长，其对内存的消耗会呈2次方 阅读全文

摘要：论文地址：https://arxiv.org/abs/1907.05190?context=stat.ML 已有研究工作： 在主动强化学习框架中，已经解决了将查询成本纳入强化学习的问题。对于主动强化学习，它的核心问题是量化reward信息的长期价值，但通常假定每一轮的每个动作的cost都是固定的；当 阅读全文