反馈神经网络：Hopfield网络

1. 概念

• Hopfield网络是一种单层反馈神经网络
• Hopfield是一种由非线性元件构成的反馈系统，其稳定状态的分析比前向神经网络要复杂得多
• Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN和CHNN

2. Hopfield反馈神经网络

• Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接
  

• 对于一个Hopfield网络来说，关键是在于确定它在稳定状态下的权值系数

3. 离散型Hopfield网络

3.1 离散型Hopfield网络

• Hopfield最早提出的网络是二值神经网络，神经元的输出只取0和1这两个值，所以，也称离散Hopfield神经网络

• 所输出的离散值1和0分别表示神经元处于激活和抑制状态
  
  

• 第0层仅仅是作为网络的输入，它不是实际神经元，所以无计算功能

• 第一层是实际神经元，故而执行对输入信息和权系数乘积求累加和，并由非线性函数f处理后产生输出信息
  
  

3.2 无自反馈 vs 自反馈

• 无自反馈的网络：当\(W_{ij}在i=j时等于0，说明一个神经元的输出不会反馈到它自己的输入\)
• 有自反馈的网络：当\(W_{ij}在i=j时不等于0，说明一个神经元的输出会反馈到它自己的输入\)

3.3 离散Hopfield的工作方式

1. 串行（异步）工作方式

• 在时刻t时，只有某一个神经元的状态发生变化

2. 并行（同步）工作方式

• 在任一时刻t，所有的神经元的状态都产生了变化

3.4 稳定性分析

• 对于离散Hopfield网络，其状态为Y(t):

经过有限时刻t，有\(Y(t + \Delta{t}) = Y(t)\)，则称网络是稳定的

• 如果Hopfield网络的联接权系数矩阵是对角线为0的对称矩阵，则它是稳定的，这只是Hopfield网络稳定的充分条件，而不是必要条件

4. 连续Hopfield网络

• 连续Hopfield网络在时间上是连续的，所以，网络中各神经元是处于同步方式工作的
• 连续Hopfield网络和离散Hopfield网络不同的地方在于其函数g不是阶跃函数，而是S型的连续函数，一般取
  $ g(u) = \frac{1}{1 + e ^ {-u}}$
• 当Hopfield网络的神经元传递函数g是连续且有界的，例如Sigmoid函数，并且网络的权系数矩阵对称\(W_{ij} = W_{ji}\),则这个连续Hopfield网络是稳定的