从迪斯尼的面部精度修正技术分析世纪晟三维脸膜重建方法

为了让电影或游戏角色、动画人物的面部表情更符合真人面部表情，电影公司通常需要大量记录某个演员在多种状态下的面部表情数据。而迪士尼研究中心，利用小样本数据综合生成训练系统需要的大量数据，利用多摄像机采集模式，在均匀照明环境记录下演员的70个表情，再利用所得数据生成虚拟人。

 

迪士尼研究中心开发的新方法让 3D 面部表情这事变得简单了许多，有兴趣的可以上网观看演示视频：https://v.qq.com/x/page/g0719oxf4zm.html

 

——基于多角度二维人脸数据的三维脸模重建方法——

 

三维人脸重建的目标是根据某个人的一张或者多张二维人脸图像重建出其三维人脸模型，今天我们只讨论人脸面部从单张二维图像重建三维人脸的问题，也就是本文即将呈现的世纪晟科技三维脸膜重建。三维脸模重组方法主要有四个步骤：

步骤一：人脸区域检测

采用二维的单高斯模型来对肤色进行建模，获得肤色区域之后，会作进一步的分析与处理，确定最终的人脸区域。

步骤二：特征点提取

选取眼角、嘴角、眼中心、嘴中心以及眼睛处人脸边界处为特征点，其关键步骤包括瞳孔检测、眼睛特征的提取和嘴部特征提取。

步骤三：模型调整

模型调整是基于模型人脸合成技术的关键步骤，生成虚拟人脸，调整模型的大小、角度等，计算模型的平移因子使得模型与人脸匹配

 

步骤四：三维人脸虚拟合成

将多角度二维照片中的信息结合起来，生成一幅视点无关的人脸纹理图，根据视点无关纹理图，对模型进行纹理映射，来达到真实显示特定人脸的目的。纹理映射就是计算三维模型的每个空间三角形在二维纹理图像上的纹理坐标，有了这些坐标，就可以知道三维模型每个空间三角面应贴的内容。

 

—基于可变形模板的三维人脸重建——

每个人脸模型的网格顶点个数各不相同，也就是拓扑结构不同，因此我们需要对我们的训练数据，做一个归一化处理，采用的算法是参数化的方法进行网格重构划分。

人脸重建主要公式：

 

其中Savg、Tavg就是我们上面第一步求得的平均脸模型。Si表示人脸数据库样本i的形状向量、Ti则表示纹理向量，α、β是未知的系数。因此假设我们输入一张用户人脸，我们要重建其三维人脸模型，我们的目标就是要求解α、β，只要这两个系数知道了，我们就可以利用上面的公式，求解出其对应的三维模型了。