2021年1月1日
KL散度公式推导，以及为什么大于0【转】
摘要： 参考：相对熵（KL散度） 阅读全文
posted @ 2021-01-01 23:11 Picassooo 阅读(1632) 评论(0) 推荐(0)
pytorch, KL散度，reduction='batchmean'
摘要： 在pytorch中计算KLDiv loss时，注意reduction='batchmean'，不然loss不仅会在batch维度上取平均，还会在概率分布的维度上取平均。 参考：KL散度-相对熵 阅读全文
posted @ 2021-01-01 23:09 Picassooo 阅读(1692) 评论(0) 推荐(0)