论文笔记之：DualGAN: Unsupervised Dual Learning for Image-to-Image Translation

 

DualGAN: Unsupervised Dual Learning for Image-to-Image Translation

2017-06-12  21:29:06  

 

　　引言部分：

　　本文提出一种对偶学习模式的 GAN 网络结构来进行 image to image translation。现有的图像之间转换的方法，大部分都是需要图像对的方法，但是实际上有的场景下，很难得到这样的图像对。如何利用多个 domain 之间的关系，不需要图像对就可以进行图像之间的转换，那将会是一个很 cool 的工作，而本文就是将 GAN 和 Dualing Learning 结合起来完成了该项目，从效果来看，还是可以的。

　　

 

　　关于 Dualing Learning：

　　主要是参考了 NIPS 2016 年的一篇文章，做机器翻译的。是想将 domain A 到 domain B 之间的转换，构成一个闭环（loop）。通过 minimize 该图 和 重构图像之间的 loss 来优化学习的目标。这里也是，给定一个 domain image A，用一个产生器 P 来生成对应的 domain image B，由于没有和A匹配的图像对，这里是没有 GT 的。那么如何衡量 产生器造出的图像 P(A, z) 的质量呢？如何该图伪造的很好，那么反过来，用另一个 产生器 Q，应该可以很好的恢复出该图，即：Q(P(A, z), z') 应该和 A 是类似的，即：|| Q(P(A, z), z') - A ||。对于 domain image B 也是如此，那么有了另一个 重构误差。

　　这样，除了在 minimize 两个 产生器的loss的同时，也需要考虑到这两个重构误差，从而使得最终转换的结果有保证。

　　

　　==>> Training Target: 

　　1. 用 L1 loss 来尽可能使得图像清晰；

　　2. 用 两个 GAN 来实现 domain 之间的切换；