摘要: 问题:如果分布P和Q,KL(P||Q)很大而KL(Q||P)很小表示什么现象? 还是看定义吧。直观来说,这是对随机变量的每个取值上,这个值的加权平均。这里加权的权值是 (其实就是算了个期望)。 在大的地方,想让KL散度小,我们需要让的值尽量也大;而当本身小的时候,对整个KL的影响却没有那么大(因为l 阅读全文
posted @ 2021-06-09 20:41 深度机器学习 阅读(488) 评论(0) 推荐(0) 编辑