softmax求导、cross-entropy求导及label smoothing
摘要：
softmax求导 softmax层的输出为 其中，表示第L层第j个神经元的输入，表示第L层第j个神经元的输出，e表示自然常数。 现在求对的导数， 如果j=i， 1 如果ji， 2 cross-entropy求导 loss function为 对softmax层的输入求导，如下 label smoo 阅读全文
posted @ 2019-07-08 11:57 Peyton_Li 阅读(1337) 评论(0) 推荐(1) 编辑