深度学习之反向传播算法 上/下 Part 3 ver 0.9 beta

重点：反向传播算法，秋梯度

比如：计算出负梯度，对应权重位3.2，对应边上为0.1，第一个权重对代价函数有32倍影响力,改变一下就有下一个的32倍

 

 没有训练好要调整

调整所需要的数字的激活值

当梯度下降，不止看每个参数该增大还是减小，还要看改哪个数性价比追高

赫布理论：一同激活的神经元关联在一起

能够增加神经元激活值的方法：改变前一层的激活值

想造成更大影响，就要依据对应权重的大小，对激活值做出呈比例变

首先把训练样本打乱，然后分成很多组minibatgh,然后算出这个minibatch下降的每一步