摘要：
本文是对文献 《An Attentive Survey of Attention Models》 的总结，详细内容请参照原文。 引言 注意力模型现在已经成为神经网络中的一个重要概念，并已经应用到多个应用领域。本文给出了注意力机制的主要思想，并对现有的一些注意力模型进行了分类，以及介绍了注意力机制与不 阅读全文
摘要：
基本信息 论文题目：GRAPH ATTENTION NETWORKS 时间：2018 期刊：ICLR 主要动机 探讨图谱（Graph）作为输入的情况下如何用深度学习完成分类、预测等问题；通过堆叠这种层（层中的顶点会注意邻居的特征），我们可以给邻居中的顶点指定不同的权重，不需要任何一种耗时的矩阵操作（ 阅读全文
摘要：
什么是注意力机制？ 注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。例如人的视觉在处理一张图片时，会通过快速扫描全局图像，获得需要重点关注的目标区域，也就是注意力焦点。然后对这一区域投入更多的注意力资源，以获得更多所需要关注的目标的细节信息， 阅读全文