kZjPBD.jpg
摘要: 1. 引言 我们都知道损失函数有很多种:均方误差(MSE)、SVM的合页损失(hinge loss)、交叉熵(cross entropy)。这几天看论文的时候产生了疑问:为啥损失函数很多用的都是交叉熵(cross entropy)?其背后深层的含义是什么?如果换做均方误差(MSE)会怎么样?下面我们 阅读全文
posted @ 2022-01-25 16:36 Through_The_Night 阅读(517) 评论(0) 推荐(0) 编辑
摘要: 据pytorch的官方文档,torch.nn.functional里的cross_entropy是基于log_softmax和nll_loss实现的。没关系,通过最简单的torch原函数复现,可以较深理解当中的原理。 import torch def my_cross_entropy(input, 阅读全文
posted @ 2022-01-25 00:31 Through_The_Night 阅读(42) 评论(0) 推荐(0) 编辑