神经网络

神经网络是一个迭代的过程，从初始特征值中训练出新的特征值，再以此为基础训练出更新的特征值，直到输出所求分类的类别。

 

神经网络模型都是训练前就定好的，有几个隐藏层，每层有几个单元（怎么定的暂且还不清楚）。默认是一个隐藏层，如有多个隐藏层，则需保证每个隐藏层的单元数相同。

 

反向传播算法计算下降梯度，也就是代价函数的偏导数。（暂且这么理解吧。。）

 

反向传播算法算出初始随机参数对应的代价函数的下降梯度后，先进行check算法，确认反向传播没问题后，再将其代入某种优化算法来训练出最终的参数。