神经网络入门

1、感知机

　　误分类驱动

　　跟新w,b，直至没有误分类点

　　感知机算法：

　　

 

　　总结：不同的初值，选取的误分类点不同，解都存在。存在很多个解，只需要能将两类分开就行。

2、多层神经网络为什么可以拟合任意函数？其与浅层宽网络的区别是什么？

　　门函数

　　通用近似定理，理论上，一个包含足够多隐藏神经元的多层前馈网络，能以任意精度逼近任意预定的连续函数

　　但是，实际上，神经元个数过多，泛化性能不好，因此向深层网络发展。

3、反向传播

　　误差反向传播，用来求偏导，跟新权重和偏置