0601 每日文献阅读 打卡

Read Data: 0601		Publication: CVPR 2021
Title: A Characteristic Function Approach to Deep Implicit Generative Modeling Participants: Abdul Fatir Ansari, Jonathan Scarlett, and Harold Soh
Aim: 基于CFD的GANs实现简单，训练稳定。		Research Question: 我们将学习IGM的问题表述为最小化特征函数之间的期望距离。
Method: 我们在适当选择的加权分布下，将真实数据分布和生成数据分布的特征函数之间的距离最小化。这个距离度量，我们称之为特征函数距离(CFD)，可以(近似地)用样本数量的线性时间复杂度计算，而不是二次时间最大平均误差(MMD)。用CFD代替GAN临界中的差异度量，得到了一个易于实现、训练稳定的模型。提出的度量具有理想的理论性质，包括连续性和可微的发电机参数，和连续性在弱拓扑。我们进一步提出了CFD的变化，其中权重分布参数也在训练中进行优化;这就避免了手动调优的需要，并导致了相对于CFD测试功率的改进。
Results: 在各种无监督图像生成基准上优于WGAN和MMD-GAN变量。实验结果表明，该模型在四个基准图像数据集上的性能优于MMD-GAN和WGAN模型。我们的研究结果表明，特征函数为igm的训练提供了一种有效的替代方法。			Discussion: 除了生成建模，两个样本测试(如MMD)已经用于领域自适应[25]和领域分离[6]等问题。本文提出的CFD损失优化函数可以作为这些问题的替代损失。
Conclusion: 本文提出了一种新的用于训练IGM的特征函数间的加权距离，并证明了该度量具有良好的理论性质。	Further: 这项工作为未来的研究开辟了新的途径。例如，用于训练的经验CFD可能会导致高方差梯度估计(特别是在少量采样频率的情况下)，但CFD训练的模型在我们的测试中获得了较高的性能分数和更好的收敛性。这其中的原因应该更彻底地加以探讨。虽然我们使用了WGAN-GP提出的梯度惩罚，但没有理由将梯度限制为1。我们相信，探索提出的损失几何可以导致改进的梯度正则化的方法
Ref: 将学习隐式生成模型（IGM）的问题公式化为最小化characteristic functions 之间的期望距离。在适当选择的加权分布下，匹配实际数据分布和生成数据分布的characteristic functions。通过用characteristic function distance（CFD）改进GAN，可获得一个易于实现、训练的模型。