tensorflow06-反向传播

 

 

 

 

 逐层 从后往前  一个一个求偏导

 

 

 

 

 权重函数 w

input [1][3]* w[3][4]= layer1[1][4]

 

 神经元个数越多越好

 

 一般用relu 应为sigmoid会梯度消失   w权重函数变成0

 

实际值-均值

 参数初始化  对于w矩阵设置一个随机值（让权重参数稳定一些）

 DROP-OUT  防止过拟合（梯度下降 偏导）

 

 

每次训练随机选择 每一层的一部分节点