生成式对抗网络

生成式对抗网络

• 背景

• 生成模型

  低维向量->高维数据（图片、文本、语言）

  生成式对抗网络（GAN）的目的是训练生成模型，生成我我们想要的数据。

• GAN

• 目标函数

• 训练算法

• KL散度和JS散度

  KL散度：衡量两个概率分布的匹配程度的指标

当且p1=p2，KL散度为零，且具有非负性。

JS散度：

JS散度具有非负性、对称性

利用最大似然估计来最小化KL。等价于最小化生成数据分布和真实分布的KL散度，KL散度是两个分布的距离度量。

• 最优生成器和判别器

• cGAN（条件生成）：

• DCGAN

  原始GAN是使用全连接网络作为判别器和生成器（不利于建模图像信息；参数两大，需要大量的计算资源，难以优化）

  DCGAN使用卷积神经网络作为判别器和生成器

  判别器使用滑动卷积，所有参数可学习，实验效果更好

  生成器滑动反卷积

• 批归一化