SenseTime研究人员创建了基准来测试人脸伪造检测器

 
人脸交换是一种伪造品，可以将现有媒体中的人脸提取出来，并用其他人的功能(通常是AI和机器学习)代替。它已被MixBooth和SnapChat之类的应用程序所普及，尽管其基本技术已启用出于合法目的的复杂图像编辑，但它们也引起了对潜在滥用或滥用的担忧。
各个小组已经汇编了可操纵的媒体以支持人脸互换检测方法的发展，但是到目前为止，已发布的样本数量相对较少或过于人工。因此，香港科技创业公司SenseTime的研发部门SenseTime Research的研究人员与新加坡南洋理工大学合作，设计了一个新的大规模基准来检测人脸伪造。他们称其为DeeperForensics-1.0，并说它是同类产品中最大的一个，拥有60,000多个视频，其中包含大约1,760万帧。
研究人员称，DeeperForensics-1.0中的所有源视频都是经过精心挑选的，因为它们的质量和多样性都很高。从表面上看，它们比其他数据集更现实，因为它们更接近于现实世界中的检测场景，并且它们包含与野外发现的压缩，模糊和传输伪像相匹配的特征。
为了构建DeeperForensics-1.0，研究人员从26位不同国籍的100位付费男女演员中收集了面部数据，这些演员的年龄从20岁到45岁不等，他们全部被指示要在9种光照条件下转动头，并自然地与53个人说话表达式。他们通过AI框架(DeepFake Variational AutoEncoder或DF-VAE)来运行这些视频，并使用1,000个YouTube视频作为目标视频，其中100位演员的面孔中的每张被交换为10个目标。他们故意以35种不同的方式扭曲每个视频，以模拟现实情况，从而最终数据集包含50,000个未操纵的视频和10,000个操纵的视频。
SenseTime伪造AI
研究人员在一份详细说明其工作的预印论文中写道：“我们发现，源面部在构建高质量数据集方面比目标面部发挥着至关重要的作用。” “特别是，源面部的表情，姿势和照明条件应该更丰富，以便执行可靠的面部交换。”
研究人员还在DeeperForensics-1.0中创建了他们所谓的“隐藏”测试仪-精心挑选的400个视频集，以更好地模拟真实场景中的假视频。整理场景涉及收集由未知的面部交换方法生成的伪造视频，并用真实场景中常见的失真遮盖它们，然后在用户研究中仅从100个人类观察者中选择欺骗了至少50个的视频。
为了评估DeeperForensics-1.0与其他公开数据集的质量，研究人员要求100位计算机视觉专家对其中包含的视频子集的质量进行排名。他们报告说，与FaceForensics ++，Celeb-DF和其他流行的Deepfake检测语料库相比，DeeperForensics-1.0在规模上的真实性平均领先。
在未来的工作中，研究团队打算逐步扩展DeeperForensics，并与研究界合作，共同确定面部伪造检测方法的评估指标。
与Deepfake的斗争似乎正在加剧。去年夏天，DARPA的Media Forensics计划的成员测试了一种原型系统，该系统可以通过查找不自然的闪烁等提示来自动检测AI生成的视频。像Truepic这样的初创公司在7月筹集了800万美元的资金，他们正在尝试使用Deepfakes的“检测即服务”业务模型。在2019年12月，Facebook与AI，微软和学者合作伙伴共同发起了Deepfake检测挑战赛，该挑战赛将提供数百万美元的赠款和奖励，以刺激Deepfake检测系统的开发。