Maximum Mean Discrepancy (MMD) 和KL散度

MMD

MMD 用于检验两组数据是否来源于同一分布，即假设\(D_s = (x_1, x_2, \cdots, x_n) \sim P(x)\)和\(D_t = (y_1, y_2, \cdots, y_n) \sim Q(x)\)，MMD用于检验\(P=Q\)是否成立。

KL散度

KL散度定义是

\[KL(P,Q) = \sum P(x)\log\frac{P(x)}{Q(x)} \]

当\(P(x)\)与\(Q(x)\)越相似，KL散度越小。
为了计算KL散度，必须要知道\(P\)和\(Q\)的密度函数。因此KL散度常用于监督学习方法，用于衡量训练分布\(P_{model}\)与真实分布
\(Q_{real}\)之间的相似性。（交叉熵损失本质上就是KL散度的变形）

而MMD评价两堆数据是否具有相似性。这与KL散度具有本质上的不同。

参考内容：
https://www.cnblogs.com/zhangcn/p/13710192.html