相对熵(KL散度)
https://zhuanlan.zhihu.com/p/37452654
https://blog.csdn.net/weixinhum/article/details/85064685
相对熵(KL散度)
KL 散度：衡量每个近似分布与真实分布之间匹配程度的方法：
\[D_{K L}(p \| q)=\sum_{i=1}^{N} p\left(x_{i}\right) \log \left(\frac{p\left(x_{i}\right)}{q\left(x_{i}\right)}\right)
\]
其中 q(x) 是近似分布，p(x) 是我们想要用 q(x) 匹配的真实分布。直观地说，这衡量的是 给定任意分布偏离真实分布的程度。如果两个分布完全匹配，那么
\[D_{K L}(p \| q)=0
\]
，否则它的取值应该是在 0 到无穷大（inf）之间。KL 散度越小，真实分布与近似分布之间的匹配就越好。
交叉熵
