SenseTime研究人员创建了基准来测试人脸伪造检测器

人脸交换是一种深造的伪造品,可以将现有媒体中的人脸提取出来,并用其他人的功能(通常是AI和机器学习)代替。它已被MixBooth和SnapChat之类的应用程序所普及,并且尽管其基础技术已启用出于合法目的的复杂图像编辑,但它们也引起了对潜在滥用或滥用的担忧。

各个小组已经汇编了可操纵的媒体以支持人脸互换检测方法的发展,但是到目前为止,已发布的样本数量相对较少或过于人工。因此,香港科技初创企业SenseTime的研发部门SenseTime Research的研究人员与新加坡南洋理工大学合作,设计了一个新的大规模基准来检测人脸伪造。他们称其为DeeperForensics-1.0,并说它是同类产品中最大的一个,拥有60,000多个视频,其中包含大约1,760万帧。.

研究人员称,DeeperForensics-1.0中的所有源视频都是经过精心挑选的,因为它们的质量和多样性都很高。从表面上看,它们比其他数据集更现实,因为它们更接近于现实世界中的检测场景,并且包含与野外发现的压缩,模糊和传输伪影相匹配的伪影。

为了构建DeeperForensics-1.0,研究人员从26位不同国籍的100名付费男女演员中收集了面部数据,这些年龄从20岁到45岁不等,他们被指示在九种照明条件下转动头,并自然地与53岁以上的人说话表达式。他们通过AI框架(DeepFake Variational AutoEncoder或DF-VAE)来运行这些影片,并使用1,000个YouTube视频作为目标视频,其中100位演员的脸中的每一个都被交换为10个目标。他们故意以35种不同的方式扭曲每个视频,以模拟现实情况,从而最终数据集包含50,000个未操纵的视频和10,000个操纵的视频。

研究人员在预打印论文中详细描述了他们的工作:“我们发现源面在构建高质量数据集方面比目标面发挥着至关重要的作用。”“特别是,源面部的表情,姿势和照明条件应该更丰富,以便执行可靠的面部交换。”

研究人员还在DeeperForensics-1.0中创建了他们所谓的“隐藏”测试仪-精心挑选的400个视频集,以更好地模拟真实场景中的假视频。整理场景涉及收集由未知的面部交换方法生成的伪造视频,并用真实场景中常见的失真掩盖它们,然后在用户研究中仅从100个人类观察者中选择欺骗了至少50个的视频。

为了评估DeeperForensics-1.0与其他公开数据集的质量,研究人员要求100位计算机视觉专家对其中包含的视频子集的质量进行排名。他们报告说,与FaceForensics ++,Celeb-DF和其他流行的Deepfake检测语料库相比,DeeperForensics-1.0在规模上的真实性平均领先。

在未来的工作中,研究团队打算逐步扩展DeeperForensics,并与研究界合作,共同确定面部伪造检测方法的评估指标。

与Deepfake的斗争似乎正在加剧。去年夏天,DARPA的Media Forensics计划的成员测试了一种原型系统,该系统可以通过查找不自然的闪烁等提示来自动检测AI生成的视频。像Truepic这样的初创公司在7月筹集了800万美元的资金,他们正在尝试使用Deepfakes的“检测即服务”业务模型。2019年12月,Facebook与AI伙伴关系,微软和学者共同发起了Deepfake检测挑战赛,该挑战赛将提供数百万美元的赠款和奖励,以刺激Deepfake检测系统的开发。