(24)tensorflow进阶--损失函数梯度

损失函数梯度

均方误差函数梯度

均方误差表达式：
在这里插入图片描述

梯度导数：
在这里插入图片描述

交叉熵函数梯度

Softmax 梯度

回顾 Softmax 函数的表达式：
在这里插入图片描述

Softmax 梯度为：
在这里插入图片描述

交叉熵梯度

考虑交叉熵损失函数的表达式：
在这里插入图片描述
在这里插入图片描述
将log分解：
在这里插入图片描述
最终简化求出:
在这里插入图片描述

posted @ 2020-09-30 15:09  kuanleung  阅读(10)  评论(0)    收藏  举报  来源