Google的AI可以单独从开始和结束帧创建视频

 
想象一下：你得到了一个视频的开始和结束，并负责勾画交错帧，从现有的有限信息中推断出你可以做什么，以填补空白。您可以…吗?这可能听起来像是一项不可能完成的任务，但谷歌人工智能研究部门的研究人员已经开发出一种新颖的系统，可以从不超过一个第一帧和最后一帧产生“似是而非的”视频序列，这个过程被称为“中间”。
他们在预印本服务器Arxiv.org上的一篇新发表的论文(“从这里到那里：使用Direct 3D Convolutions的视频介入”)中描述了他们的工作。
“想象一下，如果我们能够教一个智能系统来自动将漫画书变成动画。能够这样做无疑将彻底改变动画产业，“该论文的共同作者写道。 “虽然这种极其节省劳动力的能力仍然超出了目前最先进的水平，但计算机视觉和机器学习的进步正在使它成为一个越来越有形的目标。”
AI系统包括一个完全卷积模型 – 一类受动物视觉皮层启发的深度神经网络，最常用于分析视觉图像 – 具有三个组成部分：2D卷积图像解码器，3D卷积潜在表示生成器，以及一个视频发生器。图像解码器将来自目标视频的帧映射到潜在空间，而潜在表示生成器学习合并包含在输入帧中的信息。最后，视频生成器将潜在表示解码为视频帧。
研究人员表示，将潜在表示生成与视频解码分离对于成功实现中间视频至关重要，并且他们尝试直接从开始帧和结束帧的编码表示生成视频的结果很差。为了解决这个问题，他们设计了潜在表示生成器来融合帧表示并逐步增加生成的视频分辨率。
为了验证他们的方法，研究人员从三个数据集中获取视频 – BAIR机器人推送，KTH动作数据库和UCF101动作识别数据集 – 并将它们下采样到64 x 64像素的分辨率。每个样本总共包含16个帧，其中14个AI系统负责生成。研究人员为每对视频帧运行模型100次，并针对每个模型变量和数据集重复该过程10次。 (使用Nvidia Tesla V100显卡进行了大约5天的培训。)
结果?研究人员报告说，AI产生的序列在风格上与给定的起始和结束帧一致，而且“有意义”和多样化。 “相当令人惊讶的事实是视频介入可以在如此长的时间内实现，”该团队写道，“[可能]为未来的视频生成研究提供了一个有用的替代视角。”