中国开源软件网

当前位置: 首页 > 科学 >

逼真换脸技术,首个百万像素换脸方法,但它能否用于大制作电影和电视节目中呢

时间:2020-06-30 18:03来源:互联网 作者:小狐

deepfakes 技术可以用于图像和换脸,但它能否用于大制作和电视节目中呢?迪士尼最新放出的一则 demo 展示了这种可能性。

近日迪士尼在欧洲图形学会透视研讨会(EGSR)上发表研究,展示了首个百万像素逼真换脸技术。

逼真换脸技术,首个百万像素换脸方法,但它能否用于大制作电影和电视节目中呢(图1)

效果是不是还不错。这样的效果虽然并不足以用于漫威,但它是换脸技术迈出的新一步。

来自迪士尼的研究者表示,这项技术的创新点在于能够达到百万像素质量。百万像素或许不再是高质量图像的代名词,毕竟手机自带摄像头就能达到千万像素。但是截至目前,换脸技术一直注重平滑的面部转换,不注重提高像素。

你可能在手机上看到过效果好到的换脸,但是如果把它们放在更大的屏幕上呈现,就会出现很多瑕疵。研究者表示,他们用开源 deepfake 模型 DeepFakeLab 创建的分辨率最高也只有 256*256 像素。相比之下,迪士尼新模型能够让的分辨率提升到 1024*1024 像素。

那么,百万像素换脸是如何实现的呢?

首个百万像素换脸方法

迪士尼的这项研究发表在欧洲图形学会透视研讨会(EGSR)上,提出了一种在图像和中实现全自动换脸的算法。据研究者称,这是首个渲染百万像素逼真结果的方法,且输出结果具备时序一致性

具体来说,该研究提出了一个渐进式训练的多路 comb 网络,以及一种保持亮度和对比度的混合方法。

具体而言,虽然渐进式训练能够生成高分辨率图像,但将架构和训练数据扩展至两人以上可以使生成的表情具备更高的保真度。

此外,在将生成的表情合成到目标人脸时,研究者调整混合策略,以保持对比度和低频光照。

最后,研究者在人脸关键点稳定算法中融入了一种细化策略,以实现时序稳定性,这对于处理高分辨率来说至关重要。

在实验部分,研究者通过控制变量研究来验证该方法对换脸质量的影响,并与流行的 SOTA 方法进行了比较。

逼真换脸技术,首个百万像素换脸方法,但它能否用于大制作电影和电视节目中呢(图2)

高清换脸 Pipeline

下图 2 展示了百万像素分辨率下执行逼真换脸的整体流程:

逼真换脸技术,首个百万像素换脸方法,但它能否用于大制作电影和电视节目中呢(图3)

该流程包括如下四个步骤:

对于图像 x_t,检测人脸并定位人脸关键点。

将人脸分辨率归一化为 1024×1024,保存归一化参数。

将归一化人脸馈入网络,并保存第 s 个解码器的输出 x˜_s。

使用步骤 2 保存的归一化参数,在图像 x˜_s 上反转图像归一化结果。最后,借助该研究提出的合成方法,将生成的图像与图像 x_t 混合。

而该流程中,最核心的组件无疑是模型本身了。该研究使用的单编码器 - 多解码器网络架构如下图 3 所示:

逼真换脸技术,首个百万像素换脸方法,但它能否用于大制作电影和电视节目中呢(图4)

此外,研究者还介绍了实现人脸关键点对齐和稳定的方法,以确保换脸图像的时序一致性,以及保持光照和对比度的图像合成流程。此处不再赘述,详情参见原论文。

与当前 SOTA 方法的对比

下图 4 为该方法与 DeepFakes、DeepFaceLab 和 Nirkin 等人提出方法的换脸效果对比。从左到右依次为:目标图像、源图像、该方法在 1024×1024 和 256×256 分辨率下的成像效果,以及其他三种方法的成像效果。

逼真换脸技术,首个百万像素换脸方法,但它能否用于大制作电影和电视节目中呢(图5)

控制变量研究

研究者执行以下四种实验,来查看该研究提出的单编码器 - 多解码器网络架构和算法对换脸质量的影响:

渐进式训练 VS 一次性训练整个网络。

使用多路 comb 模型 VS 单独的双路模型。

该研究提出的保持对比度的多频段合成方法 VS 泊松融合方法。

该研究中人脸关键点稳定方法的影响。

下图 5 为渐进式训练与非渐进式训练的成像效果对比,可以看出,渐进式训练的成像效果优于非渐进式训练。

逼真换脸技术,首个百万像素换脸方法,但它能否用于大制作电影和电视节目中呢(图6)

下图 7 为使用多路 comb 模型与双路模型的成像效果对比:

逼真换脸技术,首个百万像素换脸方法,但它能否用于大制作电影和电视节目中呢(图7)

逼真换脸技术,首个百万像素换脸方法,但它能否用于大制作电影和电视节目中呢(图8)

下图 10 为人脸关键点稳定结果:

逼真换脸技术,首个百万像素换脸方法,但它能否用于大制作电影和电视节目中呢(图9)

缺陷

尽管能够以高分辨率进行逼真的人脸转换,但是迪士尼提出的这一方法仍然存在缺陷。例如,无法基于数据恰当捕获的表情和姿势,可能会导致不完善的生成结果,比如模糊和其它伪影。

本文相关词条概念解析:

像素

像素,又称画素,为图像显示的基本单位,译自英文“pixel”,pix是英语单词picture的常用简写,加上英语单词“元素”element,就得到pixel,故“像素”表示“图像元素”之意,有时亦被称为pel(pictureelement)。每个这样的信息元素不是一个点或者一个方块,而是一个抽象的采样。仔细处理的话,一幅图像中的像素可以在任何尺度上看起来都不像分离的点或者方块;但是在很多情况下,它们采用点或者方块显示。每个像素可有各自的颜色值,可采三原色显示,因而又分成红、绿、蓝三种子像素(RGB色域),或者青、品红、黄和黑(CMYK色域,印刷行业以及打印机中常见)。照片是一个个采样点的集合,故而单位面积内的像素越多代表分辨率越高,所显示的图像就会接近于真实物体。

网友评论

相关文章