outthinker

摘要： 从香农的信息熵谈其起，再聊聊逻辑回归和softmax； softmax loss的梯度求导具体如下（全连接形式）： 更一般的形式： 前向/反向实现代码如下的两个例子： 例一： class SoftmaxLayer: def __init__(self, name='Softmax'): pass d 阅读全文