如何理解深度学习源码里经常出现的logits?

如何理解深度学习源码里经常出现的logits?

logits: 一个事件发生与该事件不发生的比值的对数(统计学习方法-李航 p78)。假设一个事件发生的概率为 p,那么该事件的 logits 为 [公式] .

现在来看一下这个式子和 softmax 有啥关系。在 dl 中,softmax 层会对输入进行归一化处理以得到概率分布:如下面式子所述 [公式]

[公式] 就是 tensorflow 所称的 logits, 一通就计算发现 [公式] . 所以 tensorflow 中 logit 代表的意思 并不是 logit 的数学含义。 当成 未归一化的概率 就好。

posted @ 2020-05-25 16:35  别再闹了  阅读(502)  评论(0)    收藏  举报