Wasserstein距离 和 Lipschitz连续
Wasserstein距离 和 Lipschitz连续
Time: 2017-5-31
前言
由于最近要看Wasserstein GAN 和 LS-GAN，前者用到了 Earth-Mover距离（Wasserstein）,后者假定了Lipschitz连续。所以就打算把这两者的概念搞清楚一下。以此作为笔记。
Wasserstein Distance
Wasserstein距离又叫Earth-Mover距离(EM距离，推土距离)，Earth Mover’s Distance (EMD)，和欧式距离一样，它们都是一种距离度量的定义、可以用来测量某两个分布之间的距离,定义：
距离
是
和 
分布组合起来的所有可能的联合分布的集合。对于每一个可能的联合分布
，可以从中采样
得到一个样本x和y，并计算出这对样本的距离
，所以可以计算该联合分布
下，样本对距离的期望值
。在所有可能的联合分布中能够对这个期望值取到的下界
就是Wasserstein距离。
直观上可以把
理解为在γ这个路径规划下把土堆
挪到土堆
所需要的消耗。而Wasserstein距离就是在最优路径规划下的最小消耗。
根据Kantorovich-Rubinstein对偶原理，可以得到Wasserstein距离的等价形式：
距离
在EM距离中当两个为向量时，使用欧几里得距离计算
, 当为概率时，使用KL距离来就算两者间的距离。
具体详细的的内容请参看[1] [2]两篇文章
图
Lipschitz
Lipschitz（利普希茨）连续定义[3]：
有函数 
，如果存在一个常量
，使得对
定义域上（可为实数也可以为复数）的任意两个值满足如下条件：
那么称函数
满足Lipschitz连续条件，并称K为
的Lipschitz常数。
Lipschitz连续比一致连续要强。它限制了函数的局部变动幅度不能超过某常量。
reference
[1] http://blog.csdn.net/victoriaw/article/details/56674777
[2] http://blog.csdn.net/garfielder007/article/details/50389507
[3] http://blog.csdn.net/victoriaw/article/details/58006629
