2022年7月28日
代码笔记22 关于注意力机制中的归一化问题
摘要： #1 直接上结论，需要归一化，尤其是对sigmoid之前的特征，其他的过程特征不归一化也无所谓。先看sigmoid函数 看到了吧，这玩意儿在极小的时候是0，极大的时候是1。 以通道注意力机制为例，获得的1D的attentionmap代表着对每个通道（也就是特征）的筛选与强调，如果不归一化会导致大量的 阅读全文
posted @ 2022-07-28 17:42 The1912 阅读(729) 评论(0) 推荐(0)