softmax

softmax

详解softmax函数以及相关求导过程 - 知乎
https://zhuanlan.zhihu.com/p/25723112

作用

对大的值 增大区分度，归一化。

tensorflow的from_logits参数

tf.keras.losses.categorical_crossentropy(y_true, y_pred, from_logits = False)
当from_logits设置为True时，y_pred表示未经Softmax函数的输出值；为了计算数值稳定，TensorFlow会启用一些优化机制
当from_logits设置为False时，y_pred表示为经过Softmax函数后的输出值；

公式推导

softmax函数求导

对log似然函数推导更新公式

更新参数b

更新参数w