DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection

本文对人脸图像操纵技术进行了全面的综述，包括 DeepFake 方法以及检测此类操纵技术的方法。具体而言，本文综述了四种人脸操纵类型：整张人脸的合成、换脸（DeepFake）、人脸属性操纵和人脸表情操纵。对于每种人脸操纵类型，本文详细介绍了其相关的人脸操纵技术、现有的公共数据库，以及用于评估人脸操纵检测方法的重要基准，包括对这些评估结果的总结。

 

 

四种人脸操纵任务如下：

• 人脸合成：通常利用强大的 GAN（如近期的 StyleGAN 方法）创建完全不存在的人脸。这些技术获得了惊人的结果，其生成的高质量人脸图像栩栩如生。图 1 展示的人脸合成样本即通过 StyleGAN 生成；

• 换脸：即将一个人的脸换成另一个人的脸。该领域通常采用两种不同的方法：1）经典的计算机图形学技术，如 FaceSwap；2）新型深度学习技术 DeepFake，如近期的移动应用 ZAO；

• 人脸属性操纵：即修改人脸的某些属性，如发色、肤色、性别、年龄、是否戴眼镜等。该操纵过程通常使用 GAN 完成，如 StarGAN。该类型的典型示例是流行的移动应用 FaceApp；

• 人脸表情操纵：即修改人脸表情，如将一个人的面部表情迁移到另一个脸上。最流行的技术之一是 Face2Face，该技术可实时进行。近期方法展现出巨大潜力，可以生成高质量的视频，上述视频中人物（如奥巴马）的发言已被改变。

 

1. 人脸合成

完整的人脸合成数据集：

这些数据库都不提供真实人脸照片。真实人脸往往从CelebA、FFHQ、CASIA-WebFace、VGGFace2考虑。而上表中的假人脸往往都是利用GAN，特别的利用StyleGAN生成。有了真假照片，就有一些检测方案被提出用来识别图像是真是假：

 

2.换脸

和整张脸合成不同，换脸往往针对检测一个视频是真或假。下面的数据集同时提供了真和假的数据。下表也给出了假脸的合成方法。

下表给出了检测真假脸的方案：

 

3. 人脸属性

数据集相对少，因为可以利用许多开源的GAN网络来自己生成。著名的有IcGAN和StarGAN、GauGAN。一些检测方案如下：

 

4. 人脸表情

目前的人脸表情数据库只有Forensics++,一些检测方案有：