2020年3月10日
注意力机制+ReLU激活函数：自适应参数化ReLU激活函数
摘要： 本文首先回顾了一些传统的激活函数和注意力机制，然后解读了一种“注意力机制下的激活函数”，也就是自适应参数化修正线性单元（Adaptively Parametric Rectifier Linear Unit，APReLU）。 1. 激活函数 激活函数是目前人工神经网络的核心组成部分之一，其作用是进行 阅读全文
posted @ 2020-03-10 00:24 翼下之峰 阅读(799) 评论(0) 推荐(0) 编辑