人工神经网络

1. 概述

• 神经网络（neural networks，NN），也称作人工神经网络（artificial neural networks，ANN），或神经计算（neural computing， NC），是对人脑或生物神经网络的抽象和建模，具有从环境学习的能力，以类似生物的交互方式适应环境。

1.1 神经元模型

• 神经网络中最基本的成分是神经元（neuron）模型，如图所示。在这个模型中，神经元接接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值与神经元的阈值进行比较，然后通过激活函数处理以产生神经元的输出
  
• 10个神经元两两连接，则有100个参数：90个连接权和10个阈值
  

2. 人工神经网络的发展

• 第一阶段：启蒙时期（1940-1960），M-P模型、Hebb规则、感知器模型、ADALine模型
• 第二阶段：低潮时期（1960-1980），SOM模型、ART
• 第三阶段：复兴时期（1980-2000），Hopfield模型、Boltzmann机、BP模型、CNN、RBF
• 第四阶段：高潮时期（2006-），深度学习
  

3. 神经网络分类

1. 前馈神经网络：一般的前馈神经网络包括一个输入层和一个输出层，若干隐层单元。隐层单元可以分层也可以不分层，若分层，则称为多层前馈网络。 网络的输入、输出神经元其激活函数一般取为线性函数，而隐单元则为非线性函数

• 代表类型：BP网络、RBF网络、多层感知器神经网络MLP

2. 反馈神经网络：以Hopfield模型为代表

3. 自组织网络（竞争学习网络）：以SOM模型为代表

4. 深度神经网络：CNN、RNN

4. 人工神经元结构

• 该结构实际上被称为感知器，是最早的人工神经网络模型。
  

• 感知器对单个神经元建模，如果输入的加权和大于某个可调整的阈值就输出1（否则输出0）

• 感知器本身由权值，加法器，激活函数以及可调阈值（偏置）组成
  

5. 感知机

6. RBF网络

7. Hopfield网络

8. SOM