生成模型脉络

整理主要脉络

• 首先一个知识点：latent space，隐空间
  两个作用；1. 压缩，得到的特征图相较原图更小；2. 提取出与目标高度相关的特征
• VAE

1. 出现的第一个生成式的基础模型，包括其后的GAN的generator也是同样的架构；
2. 生成图像质量不佳；
   

• GAN

1. 最大的创新之处就是discriminator的加入，实现的“博弈过程”；
2. 训练难度大，比如cycleGAN中G和D的loss就很难做到收敛；

• Diffusion Model

1. 一开始是text-image，后扩展至image-image；
2. 加噪和去噪过程steps成百上千，每次都加/去小量的noise，导致计算量巨大；
   
3. 2021年年底出了一篇加速计算的文章《High-Resolution Image Synthesis with Latent Diffusion Models》；

• Diffusion GAN

1. 可以加速diffusion采样
2. 第二行的这个generate出来的image是通过加载预训练模型参数（pkl文件）从noise中生成出来的
   

• 总结
  

参考资料：
[1] From GANs to Stable Diffusion: The History, Hype, & Promise of Generative AI
[2] https://www.leewayhertz.com/how-to-train-a-diffusion-model/
[3] https://towardsai.net/p/machine-learning/diffusion-models-vs-gans-vs-vaes-comparison-of-deep-generative-models
[4] https://github.com/Zhendong-Wang/Diffusion-GAN