摘要: 顾名思义,深度残差收缩网络是在“残差网络”基础上的一种改进算法,是由“残差网络”和“收缩”两部分所组成的。其中,残差网络在2016年斩获了ImageNet图像识别竞赛的冠军,目前已经成为了深度学习领域的基础网络;收缩指的是软阈值化,是许多信号降噪算法的关键步骤。在深度残差收缩网络中,软阈值化所需要的 阅读全文
posted @ 2020-03-01 10:43 翼下之峰 阅读(1274) 评论(1) 推荐(3) 编辑
摘要: 本文在综述传统激活函数和注意力机制的基础上,解读了一种注意力机制下的激活函数,即自适应参数化修正线性单元(Adaptively Parametric Rectifier Linear Unit,APReLU),希望对大家有所帮助。 1. 激活函数 激活函数是现代人工神经网络的重要组成部分,其作用是实 阅读全文
posted @ 2020-03-01 09:33 翼下之峰 阅读(1625) 评论(0) 推荐(0) 编辑