摘要：1 引言 学习神经网络的时候总是听到激活函数这个词，常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。学习激活函数之前，先问几个问题： 什么是激活函数？ 为什么需要激活函数？ 有哪些激活函数，都有什么性质和特点？ 应用中如何选择合适的激活函数？ 2 什么是激活函数？ 首先要了解神经 阅读全文

摘要：一：回顾 1.1 人工全连接神经网络 （1）每相邻两层之间的每个神经元之间都是有边相连的。 （2）当输入层的特征维度变得很高时，这时全连接网络需要训练的参数就会增大很多，计算速度就会变得很慢。 1.2传统神经网络存在的问题： （1）权值太多，计算量太大。 （2）权值太多，需要大量样本进行训练 。 二 阅读全文

摘要：什么是卷积网络？ 卷积⽹络是指那些⾄少在⽹络的⼀层中使⽤卷积运算来替代一般的矩阵乘法运算的神经⽹络。 卷积运算 卷积操作是指对不同的数据窗口数据 (图像) ⽤一组固定的权重 (滤波矩阵，可以看做⼀个恒定的滤波器 Filter) 逐个元素相乘再求和 (做内积)。也可以⽤如下⽅式理解，如果想要低噪声估计 阅读全文