pytorch, KL散度,reduction='batchmean'

在pytorch中计算KLDiv loss时,注意reduction='batchmean',不然loss不仅会在batch维度上取平均,还会在概率分布的维度上取平均。

参考:KL散度-相对熵

 

posted @ 2021-01-01 23:09  Picassooo  阅读(1656)  评论(0)    收藏  举报