6.神经网络与前向传播

神经网络的由来：

初期：线性函数+外层套一个激活函数，通过无限套娃形式，表达出来非常复杂的线性关系，理论上可以逼近任意的连续函数，但是层层嵌套太麻烦，可以换成一种更直观的展示形式：既神经网络

 

神经网络就是一个通过线性函数和非线性的激活函数不断组合而成一个非常复杂的非线性函数。

 

前向传播：从左到右，输入参数后，分步骤依次计算得到结果，像是一个信号从左传递到右，这个形象的过程称之为神经网络的前向传播。