随笔分类 -  GAN

关于GAN的推导
摘要：关于GAN的推导 Maximum Likelihood Estimation 最大似然估计 sample \(\{x^1,x^2,\ldots,x^m\}\) from \(P_{data}(x)\) 计算每个$x^n$来自于$P_G(x;\theta)$的概率 \(L=\prod_{i=1}^mP 阅读全文
posted @ 2021-01-08 22:24 Junzhao 阅读(248) 评论(0) 推荐(0)
StyleGAN: A Style-Based Generator Architecture for Generative Adversarial Networks
摘要：Background 因此造成了输入向量z的各项属性相互纠缠，特定特征表达能力差 Motivation 通过特征解纠缠提高生成器的生成能力 Model A为w提供的scale&shift的参数，对每一张特征图都进行scale&shift。 B为噪声图的各通道权重，噪声直接加到各通道的特征图中。 相比 阅读全文
posted @ 2020-11-20 10:01 Junzhao 阅读(560) 评论(0) 推荐(0)
Self-Modulation: ON SELF MODULATION FOR GENERATIVE ADVERSARIAL NETWORKS
摘要：Background 外部的条件（side information：class, label）有利于提高GAN的表现 但是这些条件往往不存在 Motivation 用无监督的方式取代外部条件 Model 将BN自带的参数β和γ用随机向量z控制的参数β'和γ' β'和γ'由以z为输入的MLP得到（使用 阅读全文
posted @ 2020-11-09 19:05 Junzhao 阅读(268) 评论(0) 推荐(0)
BigGAN: LARGE SCALE GAN TRAINING FORHIGH FIDELITY NATURAL IMAGE SYNTHESIS
摘要：BackGround GAN的训练对设置（结构、参数）过于敏感 Motivation 通过结合众多稳定GAN训练的方法来实现一个大型的稳定GAN Model Baseline：SAGAN[1] Technique： Weight decay of G - 防止过拟合（仅在验证阶段使用） Orthog 阅读全文
posted @ 2020-11-06 15:27 Junzhao 阅读(200) 评论(0) 推荐(0)
MSG-GAN: Multi-Scale Gradients for Generative Adversarial Networks
摘要：BackGround 基于流（flow-based）和自回归（autoregressive）的模型尚且未能与state-of-art GAN匹敌 GAN虽然强大，但一直存在model collapse和training instability的问题 特别是在高分辨率（512/1024）图像生成任务上 阅读全文
posted @ 2020-10-30 16:46 Junzhao 阅读(433) 评论(0) 推荐(0)
U-Net GAN: A U-Net Based Discriminator for Generative Adversarial Networks
摘要：BackGround 因此Discriminator不容易同时从全局和局部判别图像 Motivation 更强大的Discriminator能提高Generator骗过判别器的难度，从而获得质量更高的图像 Model 此处仅截取了256的unconditional网络结构，128及condition 阅读全文
posted @ 2020-10-27 21:03 Junzhao 阅读(3276) 评论(0) 推荐(0)
WGAN
摘要：原始的GAN衡量分布间距离的方法是JS Divergence 而JS Div无法衡量两个没有交集分布间的距离（均为log 2） 用Wasserstain Distance，P&Q分布转换的最小距离 Discriminator必须足够光滑，否则会无限拉开real和fake之间的距离，无法收敛 1-Li 阅读全文
posted @ 2020-02-02 15:33 Junzhao 阅读(300) 评论(0) 推荐(0)
GAN Evaluation
摘要：How to evaluate your generator? 拿一个pretrained Classifier（VGG、Inception Net···） 1. 对Generator的单独输出进行分类 要求：结果突出，分类明确（Sharp） 2. 对Generator的众多输出进行分类并且平均 要 阅读全文
posted @ 2019-12-12 16:44 Junzhao 阅读(164) 评论(0) 推荐(0)
GAN 模态过渡
摘要：短发和长发过渡 现在我们有两个Image Domain X（短发）Y（长发） pretrained GAN由随机向量生成图像，向量的各个维度代表着Image的各个特征 如果我们知道某（些）维度代表头发长短，通过调整这（些）维度，就可以调整头发的长短 因此我们需要对Images进行解码 Generat 阅读全文
posted @ 2019-12-12 10:47 Junzhao 阅读(292) 评论(0) 推荐(0)
Cycle GAN
摘要：Cycle GAN 针对GAN中容易出现的Mode Collapse问题，即Generator趋向于集中在目标分布中某一小部分，比如无视输入，均得到一系列相似却能够骗过Discriminator的输出。 Mode Collapse问题的解决方法： 1. Do Nothing 通常来说Generato 阅读全文
posted @ 2019-12-11 16:46 Junzhao 阅读(937) 评论(0) 推荐(0)
Domain-adversarial training
摘要：feature extractor需要骗过Domain classifier且满足label predictor Input：黑白手写数字 Classifier：彩色手写数字 从而使得feature extractor拥有提取两个Domain共有的特征 阅读全文
posted @ 2019-12-11 10:34 Junzhao 阅读(1205) 评论(0) 推荐(0)
Triple GAN
摘要：Triple GAN is semi-supervised 阅读全文
posted @ 2019-12-10 20:39 Junzhao 阅读(599) 评论(0) 推荐(0)
BiGAN
摘要： 阅读全文
posted @ 2019-12-10 20:38 Junzhao 阅读(335) 评论(0) 推荐(0)
VAE-GAN
摘要：用Decoder充当Generator 在用real images训练单独的VAE时，VAE通常会输出较为模糊的images， 而Discriminator的作用就是使VAE的输出more realistic 可以设 Discriminator为可辨别三种类型image 阅读全文
posted @ 2019-12-10 20:04 Junzhao 阅读(549) 评论(0) 推荐(0)
InfoGAN
摘要：用C(Class)去限制输入，并且该限制能够被Classifier从外观上辨别， 因此C成为X在外观上的Constrain，通过调整C的特定维度就可以改变X的某个特征 Generator和Classifier组成一个低-高-低的‘Auto-Encoder’ 阅读全文
posted @ 2019-12-10 19:46 Junzhao 阅读(305) 评论(0) 推荐(0)