DeepMind的AI可以将学到的知识应用于完成新颖的任务

 
AI代理可以学习超越其即时经验的概括吗?这是机器学习研究中的一个悬而未决的问题，对于像Google母公司Alphabet的DeepMind这样的公司来说，这是一个引起人们极大兴趣的领域。
在与斯坦福大学和伦敦大学学院合作进行的一项研究中，DeepMind的科学家调查了系统是否可以将他们在一项任务中学习到的知识应用于与切线相关的其他任务。他们报告说，在从网格世界到Unity(游戏引擎)中生成的交互式3D室的环境中，其AI驱动的代理正确地利用了语言的“组成性质”来解释从未见过的指令。
“ [虽然]在理想或简化情况下训练的AI系统可能无法表现出对其经验的构成或系统的理解，但是当像人类学习者一样，他们可以使用许多变化多样的，多模式的观察的例子时，这种能力很容易出现。当他们学习时，”贡献科学家在预印本论文中总结了这项研究。 “这表明，在培训期间，代理人不仅学习如何遵循培训说明，而且还学习有关单词样符号如何构成以及这些单词的组合如何影响代理人在其世界中应该做什么的一般信息。”
研究小组调查了他们可以在多大程度上赋予AI模型系统性，即认知概念，其中表达思想的能力暗示了表达具有语义相关内容的思想的能力。例如，系统性使理解“约翰爱玛丽”一词的人能够理解“玛丽爱约翰”。
在数个实验的第一个实验(该实验涉及上述房间)中，他们委托能够从第一人称视角观察世界的AI代理执行“查找牙刷”和“举升直升机”等指令。有问题的代理可以总共执行26个动作(如抓紧，抬起，放下和操纵对象)，训练有素的特工只需执行6个动作即可执行指令。
给定两个随机放置的物体并使用奖励进行训练以增强其预期行为的行为，他们报告说，特工学会了提升的概念，通常足以将其应用于他们之前从未见过的物体。此外，在随后的任务中，要求代理商按照说明将物体放在床或托盘的顶部，他们说代理商实现了90%的放置精度-尽管要正确对准容器，在其上方移动物体，避免诸如床头，然后轻轻将其放下。
有趣的是，研究人员发现，在3D世界中训练的代理比在2D世界中训练的代理具有更好的概括性。他们怀疑，前者提供的第一人称参考框架在增强特工的概括能力方面发挥了作用，在某种程度上，他们将他们的经验分解为大块，可以在新的情况下重新使用。
在一个单独的测试中，该团队调查了可以依靠或不依靠语言来解决的任务。 (他们注意到语言可以提供一种监督形式，用于将世界分解为有意义的子部分，进而可以鼓励系统化和泛化。)他们将代理放置在包含八个随机放置的对象的虚拟网格中，其中一个对象对象类型被随机指定为“正确”，代理人因收集这种类型的对象而获得奖励。
在不使用语言的情况下，最佳解决方案是随机选择一种对象类型，然后再选择该类型的其余部分。但是，使用语言时，目标对象类型已明确命名。研究小组报告说，非语言主体的表现一般较差，但语言主体和非语言主体均表现出“大大高于”机会的测试泛化，这暗示着语言并不是早期实验中观察到的系统泛化的主要因素。
研究人员说，在所有测试中，三个因素被证明是至关重要的：训练过程中遇到的单词和物体的数量;第一人称视角;以及代理人的观点随时间推移提供的输入的多样性。
该论文的合著者写道：“我们还强调，我们的结果绝不会涵盖人们可能对成熟的成年人所期望的思维系统或行为的全部系统性，但[但]我们的工作建立在……早期研究的基础上。考虑……神经网络可以学习的模式或功能，以及它们如何组成熟悉的模式来解释全新的刺激……通过仔细的实验​​，我们进一步确定了代理随着时间作用的第一人称视角起着重要作用在这种概括的出现中。”