怀古钦英风

摘要： 本文首先回顾了一些传统的激活函数和注意力机制，然后解读了一种“注意力机制下的激活函数”，也就是自适应参数化修正线性单元（Adaptively Parametric Rectifier Linear Unit，APReLU）。 1. 激活函数 激活函数是目前人工神经网络的核心组成部分之一，其作用是进行 阅读全文

摘要： 深度残差网络ResNet获得了2016年IEEE Conference on Computer Vision and Pattern Recognition的最佳论文奖，目前在谷歌学术的引用量已高达38295次。 深度残差收缩网络是深度残差网络的一种的改进版本，其实是深度残差网络、注意力机制和软阈值 阅读全文