cross entropy与softmax求导(2) 推导

损失函数为cross entropy, y是预测值，one-hot向量，

 

 

激活函数为softmax,

 

 

求函数关于输入向量theta的导数，结果很简单，可以直接记住：

 

 

因为是输入向量，多输入元素求偏导的过程中，需要考虑两种情况

然后log开导，自然底数和log抵消调，然后就得到两种情况的两种导数公式

然后合并一下，就得到上面的向量公式