pytorch conditional GAN 调试笔记

推荐的几个开源实现

  1. znxlwm 使用InfoGAN的结构,卷积反卷积
  2. eriklindernoren 把mnist转成1维,label用了embedding
  3. wiseodd 直接从tensorflow代码转换过来的,数据集居然还用tf的数据集。。
  4. Yangyangii 转1维向量,全连接
  5. FangYang970206 提供了多标签作为条件的实现思路
  6. znxlwm 专门针对MNIST数据集的一个实现方法,转1维,比较接近原paper的实现方法

训练过程

  • 简述
    # z - 随机噪声
    # X - 输入数据
    # c - 输入的label

    # ===== 训练判别器D =====

    # 真数据输入到D中
    D_real = D(X, c) 
    # 真数据D的判断结果应尽可能接近1  
    D_loss_real = nn.binary_cross_entropy(D_real, ones_label)   

    # 生成随机噪声
    z = torch.rand((batch_size, self.z_dim)) 
    # G生成的伪数据,这一步的c可以用已知的,也可以重新随机生成一些label,但总之这些c所生成的数据都是伪的
    G_sample = G(z, c)  
    # 伪数据输入到D中
    D_fake = D(G_sample , c)    
    # 伪数据D的判断结果应尽可能接近0
    D_loss_fake = nn.binary_cross_entropy(D_fake, zeros_label)     
   
    # D的loss定义为上面两部分之和,即真数据要尽可能接近1,伪数据要尽可能接近0
    D_loss = D_loss_real + D_loss_fake 

    # 更新D的参数
    D_loss.backward()
    D_solver.step()

    # 在训练G之前把梯度清零,也可以不这么做
    reset_grad()
    
    # ===== 训练生成器G =====

    # 这里可以选择,有的实现是直接用上面的z
    z = Variable(torch.randn(mb_size, Z_dim))  
    # 这里可以选择用已知的c,或者重新采样
    c = 重新随机一些label  
    # 用G生成伪数据
    G_sample = G(z, c) 
    # 伪数据输入到D中              
    D_fake = D(G_sample, c)     
    # 此时计算的是G的Loss,伪数据D的判断结果应尽可能接近1,因为G要试图骗过D
    G_loss = nn.binary_cross_entropy(D_fake, ones_label)  
    
    # 更新G的参数
    G_loss.backward()
    G_solver.step()

一些坑

  1. 计算D和G的loss时最好分别用不同的随机噪声,否则有可能训练过程不会收敛,而且结果差
  2. 注意,训练的时候随机噪声的分布应该要保持和测试时的分布一致,不要一个用均匀分布,一个用正态分布

初步结果

哈哈哈看到终于训练出来像样的数字,还是有点小成就的

posted @ 2018-10-10 21:54  zhsuiy  阅读(2267)  评论(0编辑  收藏  举报