OpenAI：可解释性和推理应该为未来的AI模型提供信息

 
据悉，OpenAI在AI子领域进行了大量的研究，从计算机视觉到自然语言处理(NLP)。这家总部位于旧金山的公司 – 由首席技术官Greg Brockman，首席科学家Ilya Sutskever以及其他拥有10亿美元支持领奖台的人，如LinkedIn联合创始人Reid Hoffman和Y Combinator董事长Sam Altman – 去年详细介绍了一款能够实现人工智能的机器人系统类似人类的灵巧。最高利润公司的Dota 2机器人最近在公开比赛中击败了99.4%的球员，并且两次击败了职业球员，其最复杂的NLP模型可以产生令人信服的人性化短篇小说和亚马逊的评论。
不出所料，自Ope​​nAI成立以来大约三年半时间里已经有很多学问。在VentureBeat的2019变换会议上，Brockman和Sutskever谈到了人工智能的硬件和透明度以及负责任的披露问题。
Brockman表示，原始计算的上升是过去七年人工智能发展的最重要推动因素。 “自2012年以来，这些模型的计算量每年增加10倍，”他说。 “这有点像你的手机电池，今天持续一天，五年后持续800年，另外五年后持续1亿年。”
Brockman补充说，这显然令人兴奋，但充满了危险。他并不是唯一一个这么认为的人。去年9月，国会议员致函国家情报局局长丹·科茨，要求情报机构报告有关民主和国家安全的深层伪装的影响，或使用人工智能创建的视频，以数字方式将脸部移植到其他人身上。在2018年底的国会听证会上，国会议员与Facebook首席运营官谢丽尔桑德伯格和Twitter首席执行官杰克多尔西谈话也表达了对操纵性深视频视频潜在影响的担忧。
“你必须问，有什么风险?怎么会出错?“布罗克曼说。 “我们怎样才能确保我们采用正确的道德规范并以正确的方式构建这项技术?”
这就是为什么OpenAI去年决定不发布用于训练上述NLP模型的语料库，也不发布四种语言模型中的三种或训练代码。当时，该公司表示相信提供不受约束的工具集可能会打开不良行为者滥用行为的大门。
根据Brockman的说法，该决定的一个目标是激发AI社区关于负责任出版的讨论。他认为，最糟糕的情况是发布了一个模型，其灾难性影响会引发反动。
“我们创建了一个能够让我们感到惊讶的人工智能系统，我们很难评估它的用途以及它的限制应该是什么，”布罗克曼说。 “真正为我们提供帮助的论点是，随着这项技术的进步，我们将拥有具有两用应用程序的模型。他们可以拥有惊人的[用途]并做出伟大的事情，但前提是它们以正确的方式使用。“
他补充说：“你真的需要干跑。这就是为什么我们[制定]一个你不能分享的规范对我们来说真的很重要。“
可解释性可能是关键。 Brockman表示，可以证明其预测合理性的人工智能系统–OpenAI正在积极开发的系统 – 可以帮助剥离特别不透明的架构上的窗帘。 3月份，OpenAI和谷歌开源了一种技术，该技术揭示了图像分类神经网络中的组件交互。他们将可视化称为激活图集，并且他们表示它旨在说明这些互动如何影响模型的决策。
“神经网络中的可解释性是一个非常重要的问题，因为当神经网络变得更聪明时，理解为什么它们会做出特定的预测就更为可取，”Sutskever说。 “随着这项工作的进展，我期望长期看到的是，我们将[可解释性]工具应用于其他领域的语言模型和模型，并且当我们可以使用模型的语言能力来解释使用其决策时。这将非常有用。“
常识推理可能是另一个难题。 Brockman和Sutskever正在OpenAI领导一个新团队，称之为推理团队，其目的是使机器学习模型能够推理并解决他们今天无法完成的任务。
“神话网是一个黑盒子，这就是神话，”布罗克曼说。 “希望我们能够理解为什么它会做出决定，并确保它实际上会按我们认为的那样去做，然后我们就可以确保它实际上用来让人们受益。”
最终，它需要行业协作。 为此，OpenAI今天发布了一篇博客文章和随附的论文，概述了战略 – 比如提高投资透明度和承诺提高标准 – 可用于提高人工智能安全规范长期行业合作的可能性。 这些合着者认为，这种合作将有助于确保人工智能系统既安全又有益，特别是在可能导致公司安全投资不足的竞争环境中。
“我认为[我们正在做的]是向社区规范提供信息的第一步，我希望他们现在开始落实到位，”布罗克曼说。