神经网络

神经元

神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接（connection）进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过"激活函数"处理以产生神经元的输出
理想的激活函数是阶跃函数，即将输入值映射为0，1，表示神经元抑制还是兴奋，但同样，需要将其用数学性质更好的sigmoid函数来替代

感知机

感知机由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是 M-P 神经元，亦称“阈值逻辑单元" (threshold logic unit).
感知机能很容易处理如与、或、非这类线性可分问题，可以证明，若两类模式是线性可分的，那么感知机的学习过程一定能收敛
但是对于非线性问题，例如异或，感知机就不能完成了，此时就需要引入多层感知机

每层神经元与下一层神经元全连接，神经元之间不存在同层连接，也不存在跨层连接，这样的神经网络结构通常称“多层前馈神经网络”
“前馈”并不意味着网络中信号不能向后传，而是指网络拓扑结构上不存在环或回路
神经网络的学习过程，就是根据训练数据来调整神经元之间的“连接权”（connection weight）以及每个功能神经元的阈值；换言之，神经网络“学”到的东西，蕴涵在连接权与阈值中，

常见神经网络

RBF网络

一种单隐层前馈神经网络，它使用径向基函数作为隐层神经元激活函数，而输出层则是对隐层神经元输出的线性组合
RBF网络可以表示为\(\varphi(x) = \sum_{i=1}^{q} w_i \rho(x, c_i)\)
常用的高斯径向基函数形如 \(\rho(x, c_i) = e^{-\beta_i \|x - c_i\|^2}\)

ART网络

竞争型学习的一种代表，每一时刻仅有一个竞争获胜的神经元被激活，其他神经元的状态被抑制，这种机制亦称“胜者通吃”（winner-take-all）原则
ART网络由比较层、识别层、识别阈值和重置模块构成，其中，比较层负责接收输入样本，并将其传递给识别层神经元，识别层每个神经元对应一个模式类，神经元数目可在训练过程中动态增长以增加新的模式类（也就是可进行增量学习或者在线学习）
在接收到比较层的输入信号后，识别层神经元之间相互竞争以产生获胜神
网络经元，竞争的最简单方式是，计算输入向量与每个识别层神经元所对应的模式类的代表向量之间的距离，距离最小者胜
获胜神经元将向其他识别层神经元原发送信号，抑制其激活
若输入向量与获胜神经元所对应的代表向量之间的相似度大于识别阈值，则当前输入样本将被归为该代表向量所属类别，同时，网络始化连接权将会更新，使得以后在接收到相似输入样本时该模式类会计算出更大的相似度，从而使该获胜神经元有更大可能获胜；若相似度不大于识别阈值，则重置模块将在识别层增设一个新的神经元，其代表向量就设置为当前输入向量

SOM网络

SOM网络是一种竞争学习型的无监督神经网络，它能将高维输入数据映射到低维空间（通常为二维），同时保持输入数据在高维空间的拓扑结构，即将高维空间中相似的样本点映射到网络输出层中的邻近神经元
SOM 的训练过程很简单：在接收到一个训练样本后，每个输出层神经元会计算该样本与自身携带的权向量之间的距离，距离最近的神经元成为竞争获胜者，称为最佳匹配单元；然后，最佳匹配单元及其邻近神经元的权向量将被调整，以使得这些权向量与当前输入样本的距离缩小，这个过程不断迭代，直至收敛.