第二次作业：卷积神经网络 part 2

一、视频学习

1.1生成式对抗网络：

应用：图像上色，图像超像素，背景模糊，人脸生成，卡通照片生成，文本生成图片，字体变换，图像风格变换，图像修复等多个领域。

工作原理：

GAN生成对抗网络：

生成模型：就是输入低维向量，输出高维数据。GAN就是为了得到这个生成模型。

D是判别器，区分真假样本；G生成器，欺骗判别器；x真实样本；z噪声；

过程：初始化；交替训练D和G，直到收敛；

 

KL散度：一种衡量两个概率分布的匹配程度的指标。当P1=P2时，KL为零；KL散度具有非负性；具有不对称性。由于不对称性所以会导致对P1||P2还是对P2||P1结果不同，所以产生了JS散度，具有非负性和对称性。

 

 

 

结论：D最优的时候，最小化生成器G的目标函数等价于真实分布的JS散度。

1.2cGAN条件生成式对抗网络：

与GAN相比，少了一种输入，收敛速度快。

1.3DCGAN深度卷积生成式对抗网络：

判别器使用滑动卷积

生成器使用滑动反卷积，

激活函数不使用sigmoid函数，使用relu或者改进的relu，缓解梯度消失。

二、代码练习：

 

上图是GAN的生成器判别器

 

 

上图是CGAN生成器和判别器

 

 

上图是DCGAN生成器和判别器

 

GAN网络，激活函数用的是sigmoid，进行二分类

CGAN网络，激活函数用的是改进的relu，解决了梯度问题

DCGAN网络，使用了滑动卷积和滑动反卷积，将池化层以后的缩小的矩阵扩大，激活函数也用的改进的relu，在生成器和判别器中都添加了BN进行数据的归一化，通过测试结果可以看出，CGAN收敛速度要比GAN快，而DCGAN在MNIST数据集上的效果比CGAN要好的多。