GauGAN详解与实现 - 实践

GauGAN详解与实现

• • 0. 前言
  • 1. pix2pixHD 简介
  • 2. 空间自适应归一化
  • • 2.1 独热编码分割蒙版
    • 2.2 实现 SPADE
    • 2.3 将 SPADE 插入残差块
  • 3. 完成GauGAN
  • • 3.1 GauGAN 生成器
    • 3.2 GauGAN 判别器
    • 3.3 特征匹配损失
    • 3.4 铰链损失 (Hinge loss)

0. 前言

在本节中，我们将研究可用于交互式生成和编辑图像的生成对抗网络 (Generative Adversarial Network, GAN)，GauGAN，由 Nvidia 在 2019 年提出，在将语义分割蒙版转换为真实的风景照片方面表现出色。
我们将从零开始实现 GauGAN，首先从空间自适应归一化技术开始，还将了解 hinge 损失，并将构建完整的 GauGAN 模型。

1. pix2pixHD 简介

GauGAN 使用 pix2pixHD 作为基础，并为其添加了新功能。pix2pixHD 是 pix2pix 的升级版本，可以生成高清 (HD) 图像。下图显示了 pix2pixHD 生成器的体系结构：