为什么用交叉熵代替二次代价函数

https://blog.csdn.net/zhangdongren/article/details/83377272

https://blog.csdn.net/qq_21046135/article/details/77169868

https://blog.csdn.net/u014313009/article/details/51043064

ANN在训练时，如果预测值与实际值的误差越大，那么在反向传播训练的过程中，各种参数调整的幅度就要更大，从而使训练更快收敛。然而，如果使用二次代价函数训练ANN，看到的实际效果是，如果误差越大，参数调整的幅度可能更小，训练更缓慢。

 

 

二次代价函数：输出神经元是线性的就选用该代价函数
交叉熵代价函数：输出神经元是S型的就选用该代价函数，例如sigmoid激活函数中（tf.nn.sigmoid_cross_entropy_with_logits()）
对数似然代价函数：输出神经元是softmax的时候选用（tf.nn.softmax_cross_entropy_with_logits()）

 

softmax的log似然代价函数

https://blog.csdn.net/u014313009/article/details/51045303/

 

 为了检验softmax和这个代价函数也可以解决上述所说的训练速度变慢问题，接下来的重点就是推导ANN的权重w和偏置b的梯度公式。以偏置b为例：