神经网络基础

学习资料：机器学习周志华、网易云课堂吴恩达教程

一、 神经元模型

       神经元模型是神经网络最基本的构成部分，如图是典型的MP神经元模型，其中包括n个输入，每个输入有各自的连接权

重，计算输入与连接权乘积的和与阈值的差值，作为激活函数的输入，得到输出。

二、感知机模型与多层网络

感知机模型是由两层神经元构成，一层输入神经元，一层输出神经元，输出神经元是MP神经元模型，模型示意图如下。

 

 

 

 

 

 

 

 

感知机模型采用阶跃函数作为激活函数，可以解决与或非这类线性可分问题，不能解决异或问题这类线性不可分问题。

 为了解决线性不可分问题，就要增加网络层数，于是用到多层网络，即除了输入层和输出层，还包含隐层的神经网网络。

三、激活函数

 采用非线性激活函数的原因：1可以使模型解决线性不可分问题；2线性的激活函数会使神经网络的层数失去意义。

 常用的激活函数如下：

 

                                                                                                           

 

                                                 

 其中，tanh函数性能较好，比较常用。

四、BP神经网络

BP神经网络可以看作是使用BP算法进行训练的单隐层前馈神经网络。模型如下：

BP算法即误差逆传播算法，可以分为正向传播和误差反向传播两个阶段。在正向传播时采用Sigmoid作为激活函数，计算实际输出值，然后计算出实际输出与预期输出之间的误差，根据梯度下降法，反向传播，计算更新值。

梯度下降法原理：

误差函数是关于连接权与阈值的凸函数，函数的沿梯度的反方向下降最快，进而寻找梯度为0的全局最小点。

五、全局最小与局部极小

全局最小值，是期望的结果，但是模型还有局部极小点，如果陷入局部极小点所得到的结果不是我们所期望的。

 通常用来跳出局部极小点的方法：1、重新初始化，更换起点 2、模拟退火算法 3、随机梯度下降

六、深度学习

典型的深度学习模型可以看作是具有很多隐层的神经网络。

深度学习模型包括处理时间序列的循环神经网络（RNN）、处理图像识别的卷积神经网络（CNN）、处理图像分类的深度信念网络（DBN）等。以后学习更多的内容会继续更新。