Improved GAN
https://www.bilibili.com/video/av9770302/?p=16
从之前讲的basic gan延伸到unified framework，到WGAN
再到通过WGAN进行Generation和Transformation
复习一下GAN，
首先我们有一个目标，target分布，Pdata，
蓝色部分表示Pdata高，即从这部分取出的x都是符合预期的，比如这里的头像图片
GAN的目的就是训练一个generator nn，让它的输出尽量接近Pdata分布
generator的输入一般都是normal distribution，输出接近Pdata，那么就意味着generator输出的x，高概率会落在蓝色区域，即我们想看到的图片
但这里的问题是，PG是算不出来的，其实这里Pdata我们也是不知道的，我们只有一些训练集，比如一批头像的图片
所以只有用sample的方式来训练
下面给出如何通过sample来训练，
先随机从v1 generator中sample 4张图片作为false，从训练集中取4个作为true，来训练v1 discriminator
然后固定V1 discriminator，来训练出V2 generator
然后固定V1 discriminator，来训练出V2 generator，它产生的x，v1 discriminator都会判true
再训练产生V2 discriminator，让V2 generator生成的x，都被判false
下面的图更形象的表示这一过程，
需要注意的是PG为蓝色曲线，调整generator nn的参数让它close Pdata，这个过程不是渐进的过程，而是一个反复的过程
nn的参数很难调的刚合适，往往或调过了，所以真实的过程是一个反复震荡close的过程
直到两者重合，discriminator就完全无法区分
简单的列出算法，
discriminator训练多次来max V，intuitive的理解V，让D(x)尽量大，即让训练集数据被判true，让D(x~)尽量小，即让generator生成的数据被判false
generator仅仅训练一次来min V，前面一项和generator无关所以不用考虑，min V，就要max D(G(z))，即让generator生成的数据尽量被判true
Unified Framework
下面来学习unifed framework，分成3部分
f-divergence
这篇论文称为f-Gan，Gan中Discriminator和JS-Divergence相关，其实可以任何f-divergence相关
f-divergence就可以用来衡量两个分布的相似度
这个定义对于函数f有两个约束，
其中f(1)=0，当p和q分布相同时，divergence就会取到0
f是convex，可以证明D的最小值就是0，下面通过jensen不等式，很容易证明
举几个f-divergence的例子，
Fenchel Conjugate（共轭）
对于每个convex函数，都存在一个对应的conjugate函数f*
定义是给定一个t，需要调整x，使得后面的式子最大，其中x需要在f的定义域中
这里假设先固定x，这样蓝框中的部分就变成线性函数，对不同的x就是不同的直线，现在对于某个给定t，只是找出最大的那个交点
从图上可以看出，f*也是convex的
右边举个例子，对于xlogx，他的f*就是exponential，从图上也能intuitive的看出
计算过程如下，maximizing就是求微分=0
这里有个重要的特性，就是f** = f，即
代入f-divergence的公式，得到
这个红框中的式子，给定x，找到一个t可以使得它取到最大值，那这个式子可以有个lowbound
如果随便给一个t，那么得到值一定是小于等于这个最大值
假设有个函数D，输入这个x，输出t，就有，因为对于任意一个D，从x算出的t，不一定是可以取到最大值的t
任意D代表下届，那么我们只要调整D，使得让其max，就可以逼近真实值
把上面的式子中，代入Pdata和PG，就得到Pdata和Pg的f-divergence的定义
如果我们要找一个PG，和Pdata尽量相似，也就是要找一个G，使得Df最小，于是得到G*
推导到这里就可以看出，之前GAN的V是怎么来的，这里用不同的f-divergence，即f不同，就可以得到不同的V
之前的GAN只是一种特殊形式罢了
所以这里就得到一种GAN的unified framework，这里列出各种不同的f-divergence
WGAN
WGAN的论文，简单说，就是用earth mover's distance，或者wasserstein distance来衡量分布之间的差异
什么是earth mover's distance？
把P分布变成Q分布，有很多种moving plan，其中最小的称为earth mover's distance，如右图
形式化的表示，plan r可以表示成一个矩阵，每个value表示在这个位置上，需要从P移动多少到Q
这里定义出B(r)，表示某个plan的平均距离
那么Earch Mover‘s Distance就是所有plan中最小的那个，可以看出算这个distance是很麻烦的，因为要先求一个最优化问题
那Earch Mover‘s Distance有什么用，为什么要用它来替代f-divergence来衡量分布间的差异？
f-divergence计算差异的时候，是看两个分布是否有相同的部分，交集，这样的问题就是很难train，因为下面的例子，Pg0，Pg50的JS-divergence都是一样的，没有梯度
说明这样衡量两个分布的差异，不科学；所以用Earch Mover‘s Distance
虽然Pg0和Pg50都不相交，但是他们之间的距离是变小的，这样更容易训练
回到GAN Framework
之前说，从f-divergence是可以推导出GAN的公式的
那么现在从f-divergence换到Earch Mover‘s Distance，会是怎么样？
WGAN的论文说明，也可以从Earch Mover‘s Distance推导出下面的公式
找出一个function D，让Pdata中抽样的x的D(x)尽量的大，而Pg中抽样的x的D(x)尽量的小
但这里D有个约束，必须是1-lipschitz
从lipschitz的定义可以看出，这样的函数，变化比较缓慢，即f(x)的变化要小于x的变化
为何要加上1-lipschitz的约束？
因为如果不加，D会倾向于给D(x1) 正无穷，而D(x2)负无穷
而现在加了这个约束，x1和x2间的距离为d，那么D(x1)和D(x2)间的距离不能大于d
对于GAN，D(x)是一个二元分类器，输出是sigmod，在两端几乎没有梯度
而WGAN，D(x)是一个直线，训练起来更简单
那么这个式子怎么求解？
关键是1-lipschitz的约束，怎么处理
这里的方法是weight clipping，就是限制w的参数在[-c,c]，这样也就限制函数输出的变化程度
有两个问题，
这里weight clipping，只能做到K-lipschitz，而不是1-lipschitz，论文里面说这里放宽到k-lipschitz也是没有问题的
这个条件是充分非必要条件，也就是说weigth clipping后，得到的D集合是真正D集合的子集，所以得到的D也许无法Max大括号中的式子
图中显示，weight clipping的作用，如果没有weight clipping，线会趋向垂直，因为要使得max
加上weight clipping，其实就是限制住斜率
对比之前的GAN的算法，W-GAN的算法会做如下改动，
用WGAN还有一个好处是，我们真的可以用W来衡量生成图片质量好坏
在GAN中，W是JS-divergence，衡量的是交集，只要不想交，JS-divergence都是一样的值，而WGAN衡量的确实是两个分布的距离，所以距离越近，生成的图片质量越好
Improved GAN，Gradient penalty
改进的点，主要是如果保证1-lipschitz，之前用的是weight clipping
现在换一种方式，
当D是1-lipschitz时，D对x的gradients的norm小于等于1，比较自觉的定义，因为1-lipschitz就是D的变化率要小于x的变化率
所以我们通过加一个罚项来近似这个约束，罚项的定义就是倾向于让gradients的norm小于等于1，这样罚项就会为0；这样虽然不能保证这个约束，但是当参数lambda足够大时，即罚项的权重足够大时，可以近似满足
这里的罚项是个积分，是对所有x的积分，实践中无法做到，所以改成抽样，x从Ppenalty中抽样
那这里的Ppenalty是怎么样的分布，这是有定义的，如下是Pdata和PG中间的区域
Pdata和PG各sample一个点，然后在连线，再在线上sample一个点作为Ppenalty
paper说这样做是因为实验效果比较好，给出的intuitive的解释是，generator是要将PG移向Pdata，所以他们之间的gradient是最有意义的
进一步优化罚项是，让gradient尽量接近于1，而非小于1
这样算法的收敛速度会更快，对于D而言肯定是gradient越大收敛的越快，而1-lipschitz约束gradient最大就是1
用gradient penalty的好处，
如果用weight clipping，显然很多weight都会被clip在边界上，很不自然，而gradient penalty的weight分布会更合理
同时生成的分布也更为合理
Transformation
Transformation，
Paired data，比如Text to image，从一段话，生成一张图片
那么如果用传统的supervised learning的方法，会有下面的问题
比如train，所代表的火车有各种各样，所以生成的train会是所有火车的综合，变成一个很糊的输出图片
所以这里用GAN来生成，GAN的输入有两个，除了train，还有一个分布z
所以得到的输出也不是一个值，而是一个分布，分布中的点就可以代表各种各样的case，所以每次sample都可能得到不一样值，蓝色或绿色点的任意一个，而不会是红点
Conditional GAN的训练不同的地方，就是Discriminator的输入是两个，Negative example也要给出两种
如下图右，可以对比一下左边普通的discriminator
Unpaired Data，没有成对的训练集，比如有一堆普通图片，一堆梵高的图片
然后就想把普通图片转化成梵高风格
可以通过，风格迁移，sytle transfer来做，也可以用Cycle GAN
如果用普通的GAN，用Discriminator来判断生成的图片和梵高的画比，是否是一副梵高的画
很容易会产生下面的效果，generator确实会生成梵高的画，但是和input无关
所以要加上约束，其实就是auto-encoding
但中间的编码要符合特定的分布，这里就是梵高画的分布
完整的版本就是这样的，
