注意力机制

 

加速计算(效果不一定好)-> CNN 

 

 如何做选择，可以不同head做不同选择。

 

 

CNN中注意力的获取

　　SENet 的核心思想在于通过网络根据 损失函数值loss去学习特征权重，使得对于任务更为效 果明显的特征图权重变大，无效果或效果不明显的特征 图权重变小的方式来训练模型从而达到更好的结果

 注意力机制：灵活捕捉全局信息和局部信息之间的联系