机器阅读理解综述Neural Machine Reading Comprehension Methods and Trends(略读笔记)

标题:Neural Machine Reading Comprehension: Methods and Trends

  • 作者:Shanshan Liu, Xin Zhang, Sheng Zhang, Hui Wang, Weiming Zhang

  • 链接:https://arxiv.org/pdf/1907.01118.pdf

摘要:过去几年里,随着深度学习的出现,机器阅读理解(其要求机器基于给定的上下文回答问题)已经赢得了越来越广泛的关注。虽然基于深度学习的机器阅读理解研究正蓬勃发展,但却没有综合性调研文章来总结该领域已经提出的方法和近期发展趋势。所以,本文对这一充满潜力的领域中的近期研究工作进行了全面概述。

具体来说,研究者首先对比了不同维度下的机器阅读理解任务,并介绍了总体架构。接着,他们又进一步对该领域常用模型中使用的 SOTA 方法进行分类。最后,研究者讨论了该领域新的发展趋势,并在文章结尾提出一些未决问题。

推荐:国防科技大学的这篇文章全面介绍了机器阅读理解研究的现状、发展和新趋势,是该领域内少有的综述类文章。机器阅读理解在机器问答、信息搜索等方面的具有重要意义,推荐有兴趣的读者阅读本文。

文章结构:

1.介绍MRC

2.任务和评估矩阵

 

MRC可以分成四个任务:

对应的数据集

loze Test, 完形填空

CNN & Daily Mail,CBT (The Children’s Book Test),LAM-

BADA dataset (LAnguage Modeling Boardened to Account for Discourse Aspects),Who-did-What,CLOTH,CliCR

Multiple Choice, 单选

MCTest,RACE

Span Extraction,跨度提取

SQuAD,NewsQA,TriviaQA,DuoRC

Free Answering,自由回答

bAbI,MS MARCO,SearchQA,NarrativeQA,DuReader

评价维度:construction, understanding, flexibility, evaluation and application

评价标准:ACC,F1, ROUGE-L, ROUGE (Recall-Oriented Understudy for Gisting Evaluation),BLEU (Bilingual Evaluation Understudy)

 

3.MRC系统的大体结构:

步骤

举例

Embeddings

Word2vec

Feature Extraction

RNN,CNN

Context-Question Interaction(在文中找到与问题最相关的部分)

Attention mechanism(注意力机制), unidirectional or bidirectional

Answer Prediction

 

 

4.深度学习在MRC系统中的应用

 

5.最新的进展

基于知识的机器阅读理解

不可回答问题

多段式机器阅读理解

对话问答

 

6.未解决的问题

外部知识的整合

MRC系统的鲁棒性

给定上下文的局限性

推理能力不足

 

7.结论

posted on 2019-08-03 14:58  蔡军帅  阅读(4248)  评论(0编辑  收藏  举报