2021年6月9日
机器学习（三十六）— KL散度不对称讨论
摘要： 问题：如果分布P和Q，KL(P||Q)很大而KL(Q||P)很小表示什么现象？ 还是看定义吧。直观来说，这是对随机变量的每个取值上，这个值的加权平均。这里加权的权值是 （其实就是算了个期望）。 在大的地方，想让KL散度小，我们需要让的值尽量也大；而当本身小的时候，对整个KL的影响却没有那么大（因为l 阅读全文
posted @ 2021-06-09 20:41 深度机器学习 阅读(719) 评论(0) 推荐(0) 编辑