Facebook的AI通过观看视频了解如何绕过办公室

 
人类每天都在进行高层次的规划，但机器人并不容易。幸运的是，越来越多的工作表明，层级抽象(即视觉运动子程序)可以提高强化学习中的样本效率，这是一种人工智能培训技术，它利用奖励来推动代理人实现目标。传统上，这些层次结构必须通过端到端培训进行手动编码或获取，这需要时间，注意力和耐心。但是在Arxiv.org上新发布的预印纸(“通过观看视频学习导航子程序”)中，Facebook AI Research，加州大学伯克利分校和伊利诺伊大学厄巴纳 – 香槟分校的科学家描述了一个通过以下方式学习层次结构的系统使用逆机器学习模型摄取视频“伪标记”。
它让人想起去年Facebook开源的一对模型 – 畅游 – 可以使用360度图像，自然语言以及银行和餐馆等当地标志性地图来指导纽约市的街道。 。
“每天早上，当你决定从厨房拿一杯咖啡时，你会想到走下走廊，左转进入走廊，然后进入右边的房间。通过组合这些可重复使用的低级视觉运动子程序来达到你的目标，而不是决定确切的肌肉扭矩，你计划在这个更高的抽象层次，“共同作者解释说。 “这些视觉运动子程序……使计划能够减轻经典计划中的高计算成本和强化学习中的高样本复杂性的已知问题。”
在他们提出的两阶段系统的第一阶段，研究人员通过运行使用代理人训练的模型，使用随机勘探数据的自我监督来生成伪标签。 (在这种情况下，伪标签是代理人想象的行为。)总的来说，从1500个不同位置学习的模型分布在四个环境中，并随机执行30个步骤的动作，产生45,000个交互样本。
在系统的第二阶段，大约217,000个伪标记视频切成220万个单独的剪辑被送入预测参考视频中采取的相应动作的模型，而一个单独的网络检查参考视频中的动作序列并编码行为作为矢量(例如，数学表示)。又一模型通过预测来自第一帧的轨迹的推断编码来预测可以针对任何给定视频帧调用哪些学习子例程。
在一个部署在办公环境中的真实世界机器人的实验中，研究人员表明，用于学习技能的被动视频(即，最有效的方式前往目标位置)导致比纯交互方法更好的性能，至少在尊重方面到以前看不见的环境。也许最令人印象深刻的是，训练有素的模型学会了有利于前进导航并避免障碍物导航任务比下一个最佳基线快4倍，这使得上述机器人能够完全自主地长距离行进。
“这些模型从与环境的45,000次互动中学到了特别引人注目的，”研究人员写道。 “从第一人称视频中成功学习，使得代理人能够执行连贯的轨迹，即使它只执行过随机动作……此外，它优于最先进的学习技能，学习技能，在多个订单上训练更多的交互抽样(45,000对1000万)。“