KL散度(Kullback–Leibler divergence)

KL散度是度量两个分布之间差异的函数。在各种变分方法中,都有它的身影。

 

转自:https://zhuanlan.zhihu.com/p/22464760

一维高斯分布的KL散度

 

 

多维高斯分布的KL散度:

KL散度公式为:

 

posted @ 2017-05-24 11:56 Shiyu_Huang 阅读(...) 评论(...) 编辑 收藏