微软的人工智能学会从图像文本对中回答有关场景的问题

 
没有详细的随附注释，机器很难理解场景和语言。不幸的是，标记通常是耗时且昂贵的，甚至最好的标记也只能传达对场景的理解，而不能传达对语言的理解。
为了解决该问题，微软研究人员构想了一种AI系统，该系统以模仿人类增进对世界了解的方式来训练图像-文本对。他们说，他们的单模型编码器/解码器视觉语言预训练(VLP)模型既可以生成图像描述，又可以回答有关场景的自然语言问题，为将来可能达到人类同等水平的框架奠定了基础。
GitHub上提供了使用三百万个图像-文本对进行预训练的模型。
“对周围世界的感知是我们人类从小就开始学习的一种技能……我们与身体环境的互动越多……我们越能更好地理解和使用语言来解释存在的事物和事物微软高级研究员Hamid Palangi在博客中写道。 “另一方面，对于机器，场景理解和语言理解很难磨练，尤其是在监督薄弱的情况下，本质上，间接学习的人能够很好地利用它。”
正如Palangi及其同事所解释的那样，图像字幕和视觉问答质量算法通常表现不佳，原因有以下三个：(1)他们无法利用上下文描述图像并进行推理; (2)他们没有利用大规模的训练数据进行预训练; (3)他们的架构在设计语言，视觉对齐和语言生成任务时表现不佳。该团队试图通过包含编码器(可学习给定数据的数字表示形式)和解码器(将编码器的表示形式转换为人类可解释的信息)的架构进行预训练，并针对两种预测进行了优化，从而克服了这些架构。他们说，它最终创建了更好地对齐的编码器和解码器表示形式，使他们可以针对图像字幕和视觉问题回答等不同的目标使用相同的模型。
研究人员评估了VLP在公开基准(包括COCO，Flickr30K和VQA 2.0)上对图片进行字幕和推理的能力。他们报告说，它不仅在几个图像标题和视觉问题回答指标方面优于最新模型，而且还设法回答了与先前模型有关的图像问题(例如与服装设计相似的图像)。仅接受过语言方面的培训。
“通过智能模型设计和智能数据选择，我们可以利用现有的公共可用资源，以达到更高的语言和场景理解水平，如VLP所证明的那样，” Palangi写道。 “我们相信，借助VLP，我们可以展示出统一模型的潜力，可以达到成功完成各种不同的下游任务所需的语言和场景理解水平-单个模型可以在不牺牲性能的情况下有效完成多个任务。这意味着更有效，更强大的视觉语言系统，而无需花费多个单独训练的模型来达到相同的目标。”
该团队将在将来的工作中加强模型的架构，同时在预训练期间添加更多数据。