GAN、DCGAN、WGAN、SRGAN 演变与改进

GAN

生成网络接收一个随机噪声,生成逼真图像;

判别网络接收一个图像,生成该图像是真实的概率(0~1);

GAN网络中存在两个不同的网络,训练方式采用的是对抗训练方式,其中G的梯度更新信息来自于判别器D,而不是来自数据样本。

GAN不适合处理离散形式的数据,比如文本。

使用JS散度作为距离公式

 


 

DCGAN

DCGAN(deep convolutional generative adversarial networks)采用深度卷积的生成对抗网络。
改进
1. 取消Pooling层,改用加入stride的卷积代替。同时用卷积替代了全连接层。
2. 在D和G网络中均加入BN层。
3. G网络使用ReLU作为激活函数,最后一层使用tanh。
4. D网络中使用LeakyReLU作为激活函数
5. 使用adam优化器训练

 

WGAN

WGAN使用了新的距离定义 Wasserstein Distance(推土机距离),在理论上给出了GAN训练不稳定的原因,即交叉熵(JS散度)不适合衡量具有不相交部分的分布之间的距离,转而使用wassertein距离去衡量生成数据分布和真实数据分布之间的距离,理论上解决了训练不稳定的问题。

Wasserstein距离又叫Earth Mover's Distance(EMD,推土机距离),参考: 几个常用的计算两个概率分布之间距离的方法以及python实现

 

WGAN的提升

1. 解决了GAN训练不稳定的问题,不再需要小心平衡生成器和判别器的训练程度;
2. 几乎解决了mode collapse(模式崩溃)问题,保证生成样本的多样性;
3. 提供了具有意义的价值函数,可以分别判断判别器和生成器是否已经收敛。(原始GAN中如果D的效果不好,我们不知道是G生成的好,还是D判别的不好)

 

WGAN的改进

1. 去掉最后一层的sigmoid
2. 生成器和判别器的loss不取log
3. 限制更新后的权重的绝对值到一定范围内
4. 使用RMSprop或SGD优化,不建议使用基于动量或Adam的优化算法

 

 

SRGAN


 

SRGAN损失函数


生成器损失函数分为 内容loss 和 对抗网络 loss;

内容损失又包括 像素空间的最小均方差和VGG特征的欧式距离。

 

参考:https://blog.csdn.net/dcrmg/article/details/84571996

posted @ 2020-09-25 15:32  Andy_George  阅读(546)  评论(0编辑  收藏  举报