神经网络介绍

1.人工神经网络的概念

 　　人工神经网络(英语:ArtificialNeuralNetwork，ANN)，简称神经网络(NeuralNetwork，NN)或类神经网络，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型，用于对函数进行估计或近似。

2. 神经元的概念

　　在生物神经网络中，每个神经元与其他神经元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位;如果某神经元的电位超过了一个“值"，那么它就会被激活，即“兴奋”起来，向其他神经元发送化学物质。把许多这样的神经元按一定的层次结构连接起来，就得到了神经网络。简单神经结构如下：

其中:

　　1.a1,a2...an 为各个输入的分量; 
　　2.w1,w2……·wn”为各个输入分量对应的权重参数

　　3.b为偏置
　　4.f为激活函数，常见的激活的数有tanh，sigmoid，relu
　　5.t为神经元的输出
使用数学公式表示就是:

　　 一个神经元的功能是求得输入向量与权向量的内积后，经一个非线性传递函数得到一个标量结果

 3.单层神经网络　　

　　是最基本的神经元网络形式，由有限个神经元构成，所有神经元的输入向量都是同一个向量。由于每一个神经元都会产生一个标量结果，所以单层神经元的输出是一个向量，向量的维数等于神经元的数目。

 

4. 感知机：两层的神经网络

　　感知机由两层神经网络组成，输入层接收外界输入信号后传递给输出层(输出+1正例，-1反例)输出层是 M-P 神经元。w为权重

 

作用：把一个n维向呈空问用一个超平面分割成两部分，给定一个输入向量，超平面可以判断出这个向呈位于超平面的哪一边，得到输入时正类或者是反类，对应到2维空间就是一条直线把一个平面分为两个部分。即简单二分类模型，给定阈值，判断数据归属。

5.多层神经网络

　　多层神经网络就是由单层神经网络进行参加之后得到的，所以就形成了层的概念，常见的多层神经网络有如下结构:

　　　　输入层(Inpurlayer)，众多神经元(Neuron)接受大显非线形输入消息。输入的消息称为输入向量。

　　　　输出层(Output layer)，消息在神经元链接中传输、分析、权衡，形成输出结果。输出的消息称为输出向量。

　　　　隐藏层(Hidden layer)，简称"隐层”，是输入层和输出层之间众多神经元和链接组成的各个层面。隐层可以有一层或多层。隐层的节点(神经元)数目不定，但数目越多神经网络的非线性越显齐，从而神经网络的强健性(robustness)更显著。

　　　　全连接层:当前一层和前一层每个神经元相互链接，我们称当前这一层为全连接层。

数学表达核心理解：

 

 6.激活函数

 　　线性模型：存在模型f(x)=y ，同时使得满足 f(x1+x2)=Y1+y2 且 f(kx1)=ky1。（积分与微分均是线性）。线性模型不能难以解决非线性分割问题能力有限。

　　非线性激活函数 激活后，线性模型的输出结果不再是一条直线。

        因此激活函数很重要的一个作用就是增加模型的非线性分割能力，完成对问题的非线性分割。常见激活函数如下：

 看图可知

　　sigmoid 只会输出正数，以及靠近0的输出变化率最大
　　tanh和sigmoid不同的是，tanh输出可以是负数
　　Relu是输入只能大于0,如果你输入含有负数，Relu就不适合，如果你的输入是图片格式，Relu就挺常用的，因为图片的像素值作为输入时取值为[0,255]。

激活函数的其他作用：

　　提高模型鲁棒性（稳健性）；缓解梯度消失问题；加速模型收敛等。、