大胃熊

摘要： 本文首先盘点了传统的激活函数以及注意力机制，然后解读了一种“注意力机制下的新型激活函数”，也就是自适应参数化修正线性单元（Adaptively Parametric Rectifier Linear Unit，APReLU）。 1. 激活函数 激活函数是现代人工神经网络的核心组成部分，其用处是进行人 阅读全文

摘要： 顾名思义，深度残差收缩网络是由“残差网络”和“收缩”两个部分所组成的，是“残差网络”的一种改进算法。 其中，残差网络在2016年获得了ImageNet图像识别竞赛的冠军，目前已成为深度学习领域的基础网络；“收缩”就是“软阈值化”，是许多信号降噪方法的核心步骤。 深度残差收缩网络也是一种“注意力机制” 阅读全文