多层感知机

上一节我们学习的逻辑回归模型是单个神经元:

• 计算输入特征的加权和
• 然后使用一个激活函数或传递函数)计算输出
  
  

单层神经元的缺陷

无法拟合“异或”运算
异或问题看似简单，使用单层的神经元确实没有办法解决

神经元要求数据必须是线性可分的
异或问题无法找到一条直线分割两个类
这个问题使得神经网络的发展停滞了很多年

多层感知机

生物的神经元一层一层连接起来，当神经信号达到某一个条件，这个神经元就会激活，然后继续传递信息下去
为了继续使用神经网络解决这种不具备线性可分性的问题,采取在神经网络的输入端和输出端之间插入更多的神经元

我们需要再隐藏层加入一个非线性的激活函数，否则的话，无论你再叠加多少层它都是线性模型。激活函数也增强了拟合能力。
也可以说，多层感知机有这么强的拟合能力多亏了激活函数。