会员
周边
新闻
博问
AI培训
云市场
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
翼下之峰
博客园
首页
新随笔
联系
订阅
管理
2020年3月10日
注意力机制+ReLU激活函数:自适应参数化ReLU激活函数
摘要: 本文首先回顾了一些传统的激活函数和注意力机制,然后解读了一种“注意力机制下的激活函数”,也就是自适应参数化修正线性单元(Adaptively Parametric Rectifier Linear Unit,APReLU)。 1. 激活函数 激活函数是目前人工神经网络的核心组成部分之一,其作用是进行
阅读全文
posted @ 2020-03-10 00:24 翼下之峰
阅读(801)
评论(0)
推荐(0)
编辑
公告