烧鸭饭真好吃

摘要： 损失函数为cross entropy, y是预测值，one-hot向量， 激活函数为softmax, 求函数关于输入向量theta的导数，结果很简单，可以直接记住： 因为是输入向量，多输入元素求偏导的过程中，需要考虑两种情况 然后log开导，自然底数和log抵消调，然后就得到两种情况的两种导数公式 阅读全文

摘要： softmax是向量函数，输入向量并输出另一个向量， “对softmax求导”，到底是在对什么求导？ 对向量函数求导 得到的是一个矩阵： (不要在意字母的含义) 因为有多个输出，要明确的是：计算哪个输出元素的导数？ 以及，由于softmax具有多个输入，所以也要明确：计算它(这个输出元素)关于哪个输 阅读全文