《机器学习》（西瓜书）笔记（5-1）--神经网络

第五章    神经网络

5.1    神经元模型

神经网络：是由具有适应性的简单单元组成的广泛并行互连的网络，它能够模拟生物神经系统对真实世界物体所作出的交互反应。

 

神经网络中最基本的成分是神经元模型，即上述定义中的“简单单元”。

把许多个这样的神经元按一定的层次结构连接起来，就得到了神经网络。

 

 

5.2    感知机与多层网络

感知机（Perceptron）由两层神经元组成（输入层、输出层），输入层接收外界输入信号后传递给输出层，输出层是M-P神经元，亦称“阈值逻辑单元”（threshold logic unit）。

 

感知机能容易的实现逻辑与、或、非运算。

 

  

 

要解决非线性可分问题，需考虑使用多层功能神经元。如下图中这个简单的两层感知机就能解决异或问题。

 

多层前馈神经网络（multi-layer feedforward neural networks）

 每层神经元与下一层神经元完全互连，神经元之间不存在同层连接，也不存在跨层连接。

 

5.3    误差逆传播（error BackPropagation，简称BP）算法

 

 

BP算法的工作流程： 

 

累积误差逆传播（accumulated error backpropagation）算法

 

 

 

只需要一个包含足够多神经元的隐层，多层前馈网络就能以任意精度逼近任意复杂度的连续函数。

 

缓解BP网络过拟合的策略：

1. 早停（early stopping）

将数据分成训练集和验证集，训练集用来计算梯度、更新连接权和阈值，验证集用来估计误差，若训练集误差降低但验证集误差升高，则停止训练，同事返回具有最小验证集误差的连接权和阈值。

 

2. 正则化（regularization）