摘要: 论文地址:https://arxiv.org/abs/1507.06149 1. 主要思想 权值矩阵对应的两列i,j,如果差异很小或者说没有差异的话,就把j列与i列上(合并,也就是去掉j列),然后在下一层中把第j行的权值累加在第i像。 这个过程就想象一下隐藏层中少一个单元,对权值矩阵的影响。 整体思 阅读全文
posted @ 2017-11-14 18:41 清水汪汪 阅读(1657) 评论(0) 推荐(0) 编辑
摘要: 参考论文:ImageNet Classification with Deep Convolutional Neural Networks 1.特点 1.1 ReLU Nonlinearity的提出 ReLU是非饱和非线性函数,f(x) = max(0, x),收敛速度比饱和激活函数快。 优缺点: Re 阅读全文
posted @ 2017-11-14 10:34 清水汪汪 阅读(2146) 评论(0) 推荐(0) 编辑