2020年5月17日
深度残差网络+自适应参数化ReLU激活函数（调参记录6）
摘要： 续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录5）https://www.cnblogs.com/shisuzanian/p/12907423.html本文继续调整超参数，测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果。 阅读全文
posted @ 2020-05-17 22:42 世俗杂念 阅读(1219) 评论(0) 推荐(0)
深度残差网络+自适应参数化ReLU激活函数（调参记录5）
摘要： 续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录4）https://www.cnblogs.com/shisuzanian/p/12907218.html本文继续测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果，每个残差模块 阅读全文
posted @ 2020-05-17 22:33 世俗杂念 阅读(950) 评论(0) 推荐(0)
深度残差网络+自适应参数化ReLU激活函数（调参记录4）
摘要： 续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录3）https://www.cnblogs.com/shisuzanian/p/12907095.html 本文在深度残差网络中采用了自适应参数化ReLU激活函数，继续测试其在Cifar10图像集上的效果。与上一篇不同的是，这次修改了残差 阅读全文
posted @ 2020-05-17 22:02 世俗杂念 阅读(722) 评论(0) 推荐(0)
深度残差网络+自适应参数化ReLU激活函数（调参记录3）
摘要： 续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录2）https://www.cnblogs.com/shisuzanian/p/12906984.html本文继续测试深度残差网络和自适应参数化ReLU激活函数在Cifar10图像集上的表现，残差模块仍然是27个，卷积核的个数分别增加到1 阅读全文
posted @ 2020-05-17 21:44 世俗杂念 阅读(429) 评论(0) 推荐(0)
深度残差网络+自适应参数化ReLU激活函数（调参记录2）
摘要： 续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录1）https://www.cnblogs.com/shisuzanian/p/12906954.html 本文依然是测试深度残差网络+自适应参数化ReLU激活函数，残差模块的数量增加到了27个，其他保持不变，卷积核的个数依然是8个、16 阅读全文
posted @ 2020-05-17 21:26 世俗杂念 阅读(707) 评论(0) 推荐(0)
深度残差网络+自适应参数化ReLU激活函数（调参记录1）
摘要： 本文采用了深度残差网络和自适应参数化ReLU激活函数，构造了一个网络（有9个残差模块，卷积核的个数比较少，最少是8个，最多是32个），在Cifar10数据集上进行了初步的尝试。 其中，自适应参数化ReLU激活函数原本是应用在基于振动信号的故障诊断，是参数化ReLU的一种改进，其基本原理如下图所示： 阅读全文
posted @ 2020-05-17 21:20 世俗杂念 阅读(659) 评论(0) 推荐(0)
2020年3月21日
自适应参数化ReLU：一种新的注意力机制下的激活函数
摘要： 本文在简述传统激活函数和注意力机制的基础上，解读了一种新的注意力机制下的激活函数，即自适应参数化修正线性单元（Adaptively Parametric Rectifier Linear Unit，APReLU），希望对大家有所帮助。 1. 经典激活函数 激活函数是现代人工神经网络的重要组成部分，其 阅读全文
posted @ 2020-03-21 19:01 世俗杂念 阅读(472) 评论(0) 推荐(0)
深度残差收缩网络：一种新的深度注意力机制算法
摘要： 本文解读了一种新的深度注意力算法，即深度残差收缩网络（Deep Residual Shrinkage Network）。从功能上讲，深度残差收缩网络是一种面向强噪声或者高度冗余数据的特征学习方法。本文首先回顾了相关基础知识，然后介绍了深度残差收缩网络的动机和具体实现，希望对大家有所帮助。 1.相关基 阅读全文
posted @ 2020-03-21 18:44 世俗杂念 阅读(2407) 评论(0) 推荐(0)