Improving Generative Adversarial Networks via Adversarial Learning in Latent Space 对抗学习+潜在空间

Improving Generative Adversarial Networks via Adversarial Learning in Latent Space

通过潜在空间中的对抗学习改进生成性对抗网络

摘要

• GAN作为生成模型，将潜在分布映射到目标分布。
• 关于潜在空间中的采样如何影响最终性能的研究很少。神经生成器为连续函数，潜在空间中的两个接近样本将被映射到两个邻近的图像中，但其质量可能存在很大差异（质量在像素空间中并不是连续函数），两个遥远的潜在样本也可能被映射成两个接近的图像。当潜在样本聚合映射到有限个模式甚至是单个模式，则会发生模式崩溃。
• 本文工作：在映射函数之前添加隐式潜在变换，从其初始分布（例如高斯分布）改善潜在z。
  • 本文：通过使用迭代快速梯度符号法，iterative fast gradient sign method(I-FGSM)，进一步提出新的GAN训练策略，通过在GAN的双层优化中引入有针对性的潜在变换获得更好的生成映射。

introduction

• 潜在空间如何在质量和多样性方面影响生成：
  1. 来自标准连续分布（高斯分布）的潜在样本是可以映射到生成的不同质量样本（as 生成器是一个连续函数，生成质量不是）。
  2. 许多图像位于多个不相交的流形上，且来自连续潜在分布的连续映射。此时，生成器要起作用就会在流形之间生成许多无效样本。
• 生成数据质量（例如图像）的不连续性与潜在分布以及映射函数的连续性之间存在矛盾。
• 普遍方法：更新潜在z~p(z)，最小化损失函数
• 本文：
  • 施加一个额外隐含的变换函数
  • 在GAN训练中引入z迭代，使用I-FGSM更新z~p(z)，使得vanilla GAN的双级优化中找到更友好的优化。
  • 分别针对质量和多样性，使用两种不同目标函数下z的迭代更新策略：AdvLatGAN-qua和AdvLatGAN-div
• 本文重点工作：
  1. 重新考虑生成器作为连续函数的作用，以及直接从连续分布中采样可能导致质量不连续性和模式崩溃的问题。公式化G(z)到G(z*(z))
  2. 首先训练生成映射分别获得更好的生成质量和多样性，再执行变化z*(`)。训练涉及在不同质量和多样性目标函数下的对抗学习，从而产生新的GAN模型，AdvLatGAN-qua/div
  3. 方法与现有的GAN技术相互独立，不可替代，并且组合起来可以实现其他功能。

相关工作

• 本文将潜在向量适应改进的条件，再输入到生成器G中。
• 本文潜在适应方法结合了目标分布，利用I-FGSM迭代适应潜在向量。
• 其他工作：GAN中的潜在空间探索；减轻GAN的模式崩溃（用多个生成器）；对抗性样本和对抗性训练
• 本文：利用对抗性样本搜索方法和I-FGSM，在GAN训练过程中进行潜在变换以及挖掘优化友好的z样本。
• 大多数现有工作对像素空间（真实/生成样本）进行扰动
• 本文专注于挖掘潜在空间并对潜在样本进行扰动

提出方法

1. AdvLatGAN-z完成z*(·)
   AdvLatGAN-qua获得具有更好生成质量(better generation quality)的生成映射G
   AdvLatGAN-div获得具有更好多样性(diversity)的生成映射G
   以上两种方法都源自潜在空间中的迭代更新
2. 预备知识
   • 对抗样本和对抗训练用于得到z*(z)，并设计训练算法，用了MSGAN中用于模式搜索的正则化技术
   • 在MSGAN上，引入正则化项在潜在样本z1和z2上训练G，希望其生成的目标尽可能远离彼此，调整生成样本的距离缓解条件生成设置中的模式崩溃。
3. 生成质量的潜在空间对抗性样本搜索
   • 通过2中的思想，将潜在原始样本从高斯分布等隐式转换为新的分布。
   • 设计约束优化任务使得z*足够接近z
   • 使用对抗性攻击中成熟的工具，通过I-FGSM估计解决方案
   • 在D的更新迭代中，将上述的潜在分布转移到初始高斯采样，开发新的GAN训练算法。
   • AdvLatGAN-qua（后义性质的对抗性潜伏GAN），首先利用I-FGSM计算潜在变换，找到潜在空间的对抗样本，再更新D和G，迭代持续到G的足够步长或收敛
   • 不考虑模式崩溃，因为每次只考虑一个潜在样本进行优化。
4. 生成多样性的潜在空间对抗性样本搜索
   • z0来自原始潜在分布，搜寻配对样本z*形成硬样本对
   • z0和z*在G的目标空间中生成是接近的，但在潜在空间中不能太近
   • 因此，硬样本对导致模式崩溃：在目标空间中太接近，在潜在空间中分离
   • 利用I-FGSM获得z*：在更新的每一步，随机选择第一个潜在向量z0；从z0开始找邻居，在I-FGSM和限制条件下，n次迭代，找到需要的z。
   • 公式8倾向于使用更多相似的图像作为训练的硬样本，直接求解公式得到的硬样本对倾向于模式崩溃，使用其逆形式可以得到更好的多样性。
   • 应用于MSGAN中，不同于MSGAN原本的完全随机选择样本对，而是使用本文方法生成对抗样本解决模式崩溃。

总结

阅读该论文主要是为了潜在空间的变换，由于对GAN并不十分了解，因此读得一知半解，但实际要应用在GraphMSE还是需要读懂I-FGSM算法，或许可以在对齐时使用，但是对抗训练在我认为的GraphMSE中还是不能完全应用。