AI「照妖镜」：不仅知道你P过图，还知道你P图前长啥样

识别 PS 照片的问题，还是需要依靠推出 PS 的公司 Adobe 来解决。

现在的社交媒体上充斥着各种自拍，而且其中大部分人物都长得挺好看。但大家心知肚明的是，这些照片大多被 P 过。有很多人甚至因为 P 得一手堪比「整容」的照片而走红。

虽然只是出于爱美之心，但不可否认的一个事实是，这些「照骗」的盛行，的确让我们对社交媒体的信任日渐下降。

随着技术的发展和流行，制作这种假照片的门槛越来越低，几乎人人都可以是修图大师，更不用说手机厂商和科技公司已经有实时 AI 美颜技术了。

如果有人利用 P 过的图来行骗，成功率估计也会相应提高。

那我们要如何识别这些被 P 过的照片呢？

众所周知，PS 是美国公司 Adobe 推出的一款专业图形编辑软件 Photoshop 的简称。自 1990 年发布之后，Photoshop 已经成为创造力和艺术表达进步的重要组成部分，甚至广泛影响了我们的视觉文化。但谁曾想到作为「万恶之源」的 Adobe 也在研究破解 PS 的方式。

最近，Adobe 的研究人员和来自 UC Berkeley 的合作者开发了一种检测图像 PS 痕迹的方法。该方法效果如何呢？请先看下图：

如果对比左右两张图，你可能会发现右图的脸颊更宽，而左图中更瘦，尤其是靠近下巴一块；右图的嘴角下垂，而左图嘴唇是微笑的状态。

但如果只看左图呢？你能看出来脸颊被 P 过的痕迹吗？可能下巴左边 P 得过了点，往里凹了一块，有点明显；但右边 P 得算是不错了，不太明显，小编看了半天才发现（可对比右脸下方边缘至旁边白色圆圈的距离）。

但是你看中图的检测分析，该方法圈出了右边嘴角和左脸颊下方的 PS 痕迹，且右脸颊下方用红色标注了。

此外，研究人员通过实验对比发现，人工检测 PS 照片的准确率仅为 53%，而他们提出的方法检测 PS 照片的准确率高达 99%。

准确率对比。

算法原理

这项研究利用卷积神经网络识别「修」过的人脸图片，由 Adobe 研究科学家 Richard Zhang、Oliver Wang 以及 UC Berkeley 的 Shen-Yu Wang、Andrew Owens 与 Alexei A. Efros 参与完成。

Adobe 之前对 PS 图像的检测工作主要集中在拼接、移除、复制方面，而这项研究主要针对 Adobe Photoshop 自带的功能「脸部感知液化」（Face Aware Liquify）。

脸部感知液化可以先识别人脸五官，然后用户可以使用它进行相应的修改，如眼睛大小、额头宽窄、瘦脸、鼻高等，还可以轻松调出微笑唇。

Liquify 工具堪称修图神器，而且使用起来也非常简单。

果然是「以子之矛攻子之盾」啊，Adobe 这项新研究对自己之前推出的「美颜」功能下手了！

根据 Adobe 博客介绍，这项新研究试图解决以下基本问题：

• 是否可以创建一个比人类识别「修图」还可靠的工具？

• 该工具能否指出到底「修」了哪儿？

• 能否撤回对原图的「修改」？

还是以上文的人脸图像为例，右一为原图，左一为 PS 后的图像（Manipulated photo），左二展示了 Adobe 这项新研究的功力：它发现了修图的具体位置（Detected manipulations），那么右二是什么呢？

仔细观察右一和右二，区别大吗？

Adobe 这项新研究把修过的地方又修回去了！

对比左一、右二和右一，可以看到，三张图存在一些细微差别。三张图的嘴角弧度不同，原图很明显是下垂的，而修过的图片则是微笑唇，撤销修图后的图片嘴角弧度则处于中间状态。

这些图像被 P 过吗？

研究人员训练了一个卷积神经网络，以识别出修改过的人脸图像。具体而言，他们使用为 ImageNet 分类任务训练的 ResNet50 [13] 架构，然后针对该任务进行微调。

另外，他们通过编写 Photoshop 脚本创建了图像训练集，以在数千幅抓取自网络的照片上进行脸部感知液化调整。

研究人员随机选择这些照片的子集进行训练。他们还请了一名美术师来手动修改一些图像，并将这些图像混入了数据集中。这样的做法拓宽了测试集中图像的修改和技术范围，超出了那些合成图像。

该研究所用数据集的具体数据。

训练数据集中的随机样本示例如下图所示：

Adobe 研究人员 Oliver 表示：「我们首先向人们展示一对图像（修改前和修改后），他们知道其中一幅图像被修改过。若我们的方法能够行之有效，那它在识别编辑过的人脸时效果应显著优于人类。」

实验对比发现，人工检测 PS 照片的准确率仅为 53%，而他们提出的方法检测 PS 照片的准确率高达 99%。

到底动了哪儿？能还原回去吗？

这个工具还能确定面部修改的特定区域和方法。此外，在实验中，该工具可以将修改后的图像还原至它们初始状态，还原效果相当不错。

具体而言，研究人员预测从原图 X_orig ∈ R^(H×W×3) 到修改后的图 X 的光流场（optical flow field）Uˆ ∈ R^(H×W×2)。之后，研究人员尝试「撤销」修改，将图像恢复为原图。

研究人员训练了一个光流场预测模型 F 来预测像素扭曲场（perpixel warping field），衡量其与每个样本真实光流场 U 之间的距离（通过计算原图和修改后的图之间的光流得到）。

下图展示了光流场的一些示例。

损失函数公式如下所示：

其中，X 是修改后的图像，U 是真值光流场，L_epe 表示光流场之间的误差。

研究者试图使光流场更加平滑流畅，于是使用以下损失函数：

UC Berkeley 的教授 Alexei A. Efros 说道：「这听起来似乎是不可能的，因为面部几何形状存在着大量的变化。但如果深度学习能够查看低级图像数据（如扭曲伪像）和高级线索（如面部布局），那这种方法似乎是行之有效的。」

那么如何「撤回」对图像的修改呢？

我们现在已经预测到了原始图像到修改图像的光流场，基于此，就可以通过「逆扭曲」来恢复原图。重建损失函数为：

而直接使用该重建损失函数会导致低纹理区域出现模糊和伪影，于是研究者联合训练以上三个损失函数：

总之，在架构层面上，研究人员使用在 ImageNet 数据集上训练的 Dilated Residual Network variant (DRN-C-26) [37] 作为基础网络，来进行局部预测。

至于光流场回归网络，研究者首先将该问题重塑为多项式分类，然后再针对光流场回归进行微调。在计算真值光流场时，研究者使用的是 PWC-Net [32]。

应用何时上线？

Richard 补充道：「制作一个神奇的「撤销」按钮来恢复图像编辑的想法离现实还很遥远。但在我们生活的这个世界里，人们越来越难以信任自己消费的数字信息，所以我们非常期待这一领域的进一步研究。」

我们看到的明星照片大多经过了 PS。

与此同时，Adobe 正在进行大量研究项目，以帮助验证自身产品所创建的数字媒体的真实性，并识别和阻止滥用现象。

Adobe Research 负责人 Gavin Miller 表示：「该方法在检测某些类型的图像编辑领域迈出了重要一步，同时撤销功能的效果也出奇得好。但除了这种人脸识别方法，有经验的公众才是最好的图像鉴定者。」

Adobe 目前还没有立即将这项研究成果转变为商业产品的计划，一位发言人表示，这只是 Adobe 在更好地检测图像、视频、音频和文档操作方面的众多努力之一。

不过算法已经推出，应用还会远吗？看来解决 AI 造假的问题还是要靠 AI。

参考内容：

https://theblog.adobe.com/adobe-research-and-uc-berkeley-detecting-facial-manipulations-in-adobe-photoshop/

https://www.theverge.com/2019/6/14/18678782/adobe-machine-learning-ai-tool-spot-fake-facial-edits-liquify-manipulations

https://arxiv.org/pdf/1906.05856.pdf