Hopfield神经网络

Hopfield - ANN

目录

基础知识

李雅普诺夫稳定

定义

\(\forall x\in \R^n, \forall a\in A,\ \lim_{n\rightarrow\infty}d(f^n(x),f^n(a))=0\)， A为吸引子

[半]正/负定函数

  • 正定：\(V:\R^n\rightarrow \R,\ V(0)=0,\ V(x)>0,\ \forall x\in V-\{0\}\)
  • 负定：\(V:\R^n\rightarrow \R,\ V(0)=0,\ V(x)<0,\ \forall x\in V-\{0\}\)
  • 半正定：\(V:\R^n\rightarrow \R,\ V(0)=0,\ V(x)\geq0,\ \forall x\in V-\{0\}\)
  • 半负定：\(V:\R^n\rightarrow \R,\ V(0)=0,\ V(x)\leq0,\ \forall x\in V-\{0\}\)

自治系统*衡点

\(\dot{x}=f(x)\)

李雅普诺夫候选函数V

\(\dot{V}(x)=\nabla Vf(x)\)，若

  • 在邻域\(\mathcal{B}\)中，V为正定，时间导数为半负定，则有

稳定*衡点：

\(\dot{V}(x)\leq 0,\ x\in \mathcal{B}\)

  • 在邻域\(\mathcal{B}\)中，V为正定，时间导数为负定，则有

局部渐*稳定*衡点：

\(V(x)>0,\dot{V}(x)< 0,\forall x\in \mathcal{B}-\{0\}\)

  • 在全域中，V为正定，时间导数为负定，则有

全域渐*稳定*衡点：

\(V(x)>0,\dot{V}(x)< 0,\forall x\in \R^n-\{0\},\ ||x||\rightarrow \infty\Rightarrow V(x)\rightarrow \infty\) （径向无界）

Hopfield网络计算图

fig1

Hopfield网络的能量函数

原型

即网络的一个李雅普诺夫函数，可以使得某一起始点迭代达到某一种*衡点。由统计热力学结论得来。

  • 离散态：

\[E(t)=-\frac{1}{2}X^T(t)WX(t)+X^T(t)T \]

  • 连续态：

\[E(t)=-\frac{1}{2}V^TWV-I^TV+\sum^n_{j=1}\frac{1}{R_j}\int^{v_j}_0f^{-1}(v)dv \]

特点：当然有下界啦

特点

  • 具有联想能力，可以将未知数据转化成已知进行分类

相较的*衡点函数

\(\dot{x}=f(Wx-T)\)，W为网络的连接，T为偏置，f为激励

Hopfield - ANN训练目标

根据能量函数调整参数，使得总体能量最低。具体方法：

  • 直接解不等式
  • 随机梯度下降
  • 用已知的能量函数带入标准型求解

Hopfield - ANN求解方式

具有相似特征的始点迭代收敛，可以落入临*设定好的*衡点，迭代方式分为异步调整和同步调整，迭代过程是一个能量递减的过程

HNN类型

DHNN

  • 全称：离散型Hopfield神经网络

特点

  • 反自反性：自身到自身的权重是0
  • 激励函数为阶跃函数或双极值函数
  • 吸引子 * -1 也是吸引子
  • 容纳的吸引子个数最多为结点个数
  • 存在伪吸引子，需要计算海明距离归类

迭代方式

  • 异步调整：W必须为对称阵
  • 同步调整：W必须为非负定对称阵

CHNN

  • 全称：连续型Hopfield神经网络

特点

  • 激励函数为连续函数（如Sigmoid）

迭代方式

  • \(f^{-1}\)为单调连续递增，W对称

©️ Copyrights.RSMX.GUILIN.2020-05-17

posted @ 2020-05-08 12:22  若水茗心  阅读(870)  评论(0)  编辑  收藏  举报