让换脸告别假阴影

明敏 发自 凹非寺

非常AI 报道 | 公众号 QbitAI

能让沈腾减肥成功、重回颜值巅峰：

让安妮·海瑟薇变身帅气小哥：

还能让Yoshua Bengio奔驰在绿茵草地上：

你没猜错，这又是换脸的“魔法”。

而且这效果也太自然了吧！

即便是不同性别、不同脸型，换脸后也毫不违和。

除了脸型以外，面部的线条感也能被自然复现。

把赫敏换脸成卷福，看起来都没什么违和感。

甚至脸上有遮挡也没关系，马斯克摇身一变成为异域女郎：

不止是图片，在视频里的效果也非常自然：

用3D信息重塑面部结构

以上这些效果，都是用HifiFace这种新型换脸方法实现的。

而它的秘诀就在于利用三维几何结构信息。

以往的换脸方法主要是重建面部的纹理，而不是结构；

这会导致在一些情况下，下颌线或颧骨的部分会出现不自然的效果，仿佛戴了个面具一样。

想要解决这些问题，面部的3D信息就变得非常重要。

因此，HifiFace的框架中主要增加了一个3D轮廓识别提取器（3D Shape-Aware Identity Extractor）和一个语义面部融合模块（Semantic Facial Fusion Module，SFF）。

它主要用3D重建模型对源脸和目标脸的系数进行回归，将其重组成几何信息后，与人脸识别网络中的特征向量信息连接。

然后把得到的几何数据输入到编码器-解码器模型中，与目标面部的表情、特征融合。

与此同时，SFF模块还能把生成人脸的质量进一步提升。

它主要用编码器来保留源脸的空间、纹理等低级特征，以保留更多信息。

这样一来，HifiFace就不用以源脸的轮廓作为强制边界，而是在面部边缘自适应融合。

从而能很好解决面部被遮挡或光线上的问题，最后达到高保真的效果。

△模块细节

光说不练假把式。

在与一些现有换脸方法的对比中，我们能看到HifiFace的效果有了明显的提升。

从对比中可以看出：

FSGAN在脸型上实现的效果不错，但是在面部光线的处理上不尽人意。

SimSwap则并没有很好将源图中的面部特征转换出来。

FaceShifter相较于上两个模型效果略好，但是在表情和肤色的还原上，还是不如HifiFace。

在数据上，HifiFace换脸后保留的身份信息在几个方法中最多，脸型上的差距也是最小的。

而在HifiFace和FaceShifter生成样本的脸型差异对比中，当源脸和目标脸在轮廓上差异很大时，HifiFace明显优于Facehifter。

目前HifiFace专注的方向为面部线条上优化，还未开发全头替换（包含头发）的功能。

它由腾讯优图实验室、浙江大学、厦门大学联合开发，现已被IJCAI 2021成功收录。

论文地址：
https://arxiv.org/abs/2106.09965

参考链接：
https://www.unite.ai/new-deepfake-method-hififace/