keras实现注意力机制(链接)

注意力机制

注意力模型也称资源分配模型,它借鉴了人类的选择注意力机制,其核心思想是对目标数据进行加权变换。

截止到目前,尝试过的注意力机制,要么是

(1)基于时间步的注意力机制

(2)基于维度的注意力机制(大佬魔改)

都是用于多维数据处理的

在一篇论文中,提到了针对一维向量的注意力机制:Attention本质就是给不同特征给予不同的注意程度,也就是权重分配

该文献中,使用的是相关性系数

Feature_Value = corr * Feature_Value

实现权重的重新分配,从而实现给不同的特征给予不同的重视程度

 

以上,是目前接触到的注意力机制应用方向,包括:

  1. 针对多维数据的基于时间步的注意力机制
  2. 针对多维数据的基于维度的注意力机制
  3. 针对一维数据的注意力机制(权重分配)

以下,是学习过程中使用的一些精品博客,代码基本都运行过

 

【注意力参考博客】

https://blog.csdn.net/qq_35649669/article/details/103807915

这是这位大佬的实战

https://blog.csdn.net/qq_35649669/article/details/104793484

 

【注意力项目地址】

这个是大佬参考的大佬代码,但貌似发生了更新,绘图部分程序跑不出来(基于时间步的注意力机制),主要程序没有任何问题

https://github.com/philipperemy/keras-attention-mechanism

这个是大佬的代码(作者进行了改进,实现了 基于维度的注意力机制

https://github.com/PatientEz/keras-attention-mechani

 

【keras实现注意力机制】

启蒙博客+项目,程序亲试可以运行,就是改起来相当费劲,针对多维数据

https://www.cnblogs.com/lunge-blog/p/11496287.html

https://github.com/Choco31415/Attention_Network_With_Keras

 

【注意力其他博客】

https://mlln.cn/2018/09/02/keras%E6%95%99%E7%A8%8B-n-%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E7%9A%84%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6%E7%9A%84%E7%90%86%E8%AE%BA%E5%92%8C%E5%AE%9E%E7%8E%B0/

https://www.freesion.com/article/6186223004/

 

posted @ 2021-01-21 12:19  远征i  阅读(4222)  评论(0编辑  收藏  举报