184 注意力模型直觉

之前我们学的RNN尝试先把整个句子全部都记下来，然后在进行翻译，所以可能出现一个问题，就是我们的模型没能够记住句子，这就是导致我们的\(\text{BLEU}\)分数下降。但是注意力机制让我们像人类一样翻译，也就是先翻译一部分，再翻译一部分，他和前者的\(\text{BLEU}\)分数曲线如下

蓝色的是RNN,绿色的事注意力机制