Google AI负责人Jeff Dean访谈：2020年机器学习趋势

 
在本周于加拿大温哥华举行的神经信息处理系统(NeurIPS)会议上，机器学习成为焦点，因为13,000名研究人员探索了诸如神经科学，如何解释神经网络输出以及AI如何帮助解决现实世界中的重大问题。
由于已接受1,400多种作品的出版，您必须选择如何安排时间的优先级。对于Google AI负责人Jeff Dean而言，这意味着在研讨会上进行演讲，讨论机器学习如何帮助应对气候变化带来的威胁以及机器学习如何重塑系统和半导体。
VentureBeat周四与Dean谈到了Google在使用ML创建机器学习半导体方面的早期工作，Google BERT对会话式AI的影响以及2020年值得关注的机器学习趋势。
为简洁明了起见，对本采访进行了编辑。
VentureBeat：因此，您将在星期六通过机器学习应对气候变化研讨会上发言。您可以在演讲前分享什么吗?
杰夫·迪恩(Jeff Dean)：这显然是一个非常广阔的领域，并且使用机器学习来帮助解决与气候变化相关的话题或减轻某些影响的潜力很大。因此，我们对此感到非常兴奋。我认为Google和整个[AI]社区都感到很兴奋，因为这是一个严重的问题，而且…还有很多背后的技术问题。就像，我们如何才能将机器学习实际应用于其中一些子问题?
VentureBeat：您可以在[NeurIPS]上完成这里的工作吗?我的意思是，我想您并未筛选所有海报，但是在Google展示的内容之外，您是否特别兴奋?
院长：嗯，可能不是所有的海报，但是我们对人们看到的有趣的事情进行了内部讨论。而且我认为，如今ML领域的研究成果总体来说是相当多产的，因此很难跟上，但是一种方法是对人们认为重要的事情有很多集体意见。
我昨天才到，所以我自己的眼睛还没看很多东西，但是我知道其他人对很多其他东西都感兴趣。
VentureBeat：我上个月在arXiv上看到了您关于机器学习硬件发展的评论，您将在下个月的ISSCC上对此进行扩展。您认为在后摩尔定律世界中人们需要牢记哪些事情?
迪恩：嗯，我认为已证明非常有效的一件事是芯片的专门化，以执行您想要执行的并非完全通用的某些类型的计算，例如通用CPU。因此，我们看到了更严格的计算模型(例如GPU甚至TPU)的很多好处，这些模型虽然更为严格，但实际上是根据ML计算需要做的事情设计的。相对于通用CPU，这实际上为您带来了相当多的性能优势。这样一来，您就无法获得我们过去通常会在总体制造过程中获得的大幅增长，从而大大改善了您的年同比增长率。但是我们通过专业化获得了巨大的架构优势。
VentureBeat：您还了解了使用机器学习来创建机器学习硬件的知识。你能谈谈更多吗?
院长：是的，我周六要讲的另一个话题是在系统ML研讨会上。因此，我要谈论的一件事是[如何]我们已经在ASIC芯片设计的机器学习方面做了一些早期工作，特别是布局和布线。因此，您有一个芯片设计，然后有很多晶体管以及它们的连接方式。
基本上，现在在设计过程中，您拥有可以帮助进行某些布局的设计工具，但是您却拥有人工布局和布线专家，可以使用这些设计工具进行多次重复的迭代。从您想要的设计开始，到实际上将其物理布局在芯片上，并在面积，功率和导线长度上有适当的限制，并满足所有设计角色或您正在执行的任何制造过程，这是一个数周的过程。
事实证明，我们在某些工作中拥有早期证据，可以使用机器学习来进行更多自动化的布局和布线。而且，我们基本上可以拥有一个机器学习模型，该模型可以学习为特定芯片玩ASIC的游戏。
VentureBeat：太酷了。
院长：是的，我们在尝试的一些内部芯片上都取得了不错的结果。
VentureBeat：关于气候变化问题，最近出现的一件事是-我最近与英特尔AI总经理Naveen Rao交谈，他提到了[每瓦计算应该成为一个例如，标准基准测试，这里的一些组织者正在谈论人们必须分享他们在此处提交的培训模型的碳足迹的概念。
教务长：是的，我们对此感到很兴奋，因为我们在Google数据中心培训的所有内容–碳足迹为零。因为…基本上，我们所有的能源使用都来自可再生能源。所以那太好了。我认为其他人可能不会那么兴奋。
VentureBeat：我猜想对大型模型(如XLNet)或此类模型的批评是制造和部署它们所需的能量。我想如果它在Google数据中心内是碳中和的，但是如果有人使用大型模型，那将是碳中和……
院长：是的，我认为有一个普遍的观点，即这些大型模型中的一些模型需要大量计算，并且在能源使用方面相当昂贵。因此，我认为对于社区来说，重要的是要研究可以使用哪些更有效的算法技术来生成所需的特定模型或结果，从而……能够以更少的计算量和更少的……能量输入来实现。
我认为诸如多任务学习和转移学习之类的东西实际上是我们可以改善能源使用的相当有效的算法工具，因为您可以训练一个模型，然后对其进行微调，或者针对相对较少的示例进行多任务学习。您想擅长的新任务。这比每次都从头开始要好得多，这在大多数情况下是当前的做法。
VentureBeat：我想知道您最感兴趣的是确保来自非洲或亚洲的旅行签证到这里来的研究员有能力做到这一点，而且组织者早些时候谈到了这一点。但我正在与本周早些时候仍无法到达这里的人交谈，他建议在开放边界类型的国家中至少召开一次主要会议(如ICML或CVPR)的想法，与获得签证有关。您对该想法有何看法?
院长：我认为我们确实希望更多的人可以参加这些会议。我认为有时会出现问题-无论您在哪里召开会议，总是会有一些限制。例如，有时在美国学习的学生很难离开美国参加会议。因此，如果您将其放在美国以外的特定地方，有时会造成麻烦。
不同的国家/地区有不同的政策，但我认为让大型会议在其召开地点轮流召开是一件很明智的事情，因此并不是每个人都面临着来自同一地点的相同签证问题。而且，我认为[我们需要]帮助政府了解科学交流为何如此重要以及为什么他们愿意让人们参加科学会议一周或其他时间。
VentureBeat：对于BERT来说，这是重要的一年。到处都是BERT，以及各种BERT。人们应该期待接下来看到的BERT的哪些变化，或者即将出现?
院长：BERT之所以有趣，是因为它建立在其他研究成果不断发展的基础上。因此，BERT的种类取决于一年前完成的Transformer工作。变压器工作确实是在解决与基于LSTM的早期序列模型相同的问题。而且，我认为整个研究线程在实际产生机器学习模型方面非常富有成果，[现在让我们]完成的机器学习模型比过去更复杂。对一堆文本(任意文本)进行预训练的BERT的微调，然后针对您关心的特定NLP任务进行微调，对于许多我们希望能够解决的NLP问题来说，这是一个很好的范例。因此，在Google内部，我们正在研究产品中许多不同类型的应用程序。您知道我们只是在搜索堆栈中推出了一些内容以提高搜索质量。
而且我认为您也可以在更广泛的社区中看到这一点。我们仍然希望能够创建更多上下文相关的模型。像现在这样，BERT和其他模型可以很好地处理数百个单词，但不能作为上下文的10,000个单词。所以这是一个[有趣的方向]。我认为多模式模型非常有趣-例如您可以通过有趣的方式将文本与图像，音频或视频相结合吗?我们已经做了一些工作，社区中的其他人也做了一些工作，但是我认为这在将来将变得越来越重要。而且我敢肯定，人们会发现BERT所采用的基本方法有所改进。我们有一些小的甚至是重大的改进。
因此，基础研究的重点将继续。无论是在Google内部还是外部，使用我们现在知道如何做的事情将继续是一组很好的应用程序。我们很兴奋。
VentureBeat：是的，我跟踪了很多MT-DNN，RoBERTta。
院长：是的，每个人的名字都很可爱。很难让它们保持笔直并确切地记住这里或那里的皱纹。我确实认为，在社区中有点过分强调要在某些问题上取得略微更好的最新技术成果，而对于完全不同的问题解决方法却有点不了解也许没有得到最先进的技术，因为它实际上是非常困难的，并且是一个非常漂亮的探索区域。
VentureBeat：喜欢健壮性吗?
院长：是的，或者就像“解决我们认为重要的问题并表现出希望的完全不同的方法是什么?”然后，如果人们遵循了这些粗糙的方向，那将很有趣。
VentureBeat：不是试图登上GLUE排行榜的榜首?
院长：是的。
VentureBeat：您觉得来年Google面临哪些技术或道德挑战?
院长：就AI或ML而言，我们已经完成了一个相当合理的工作，以建立一个流程，通过该流程，我们可以了解如何在符合AI原则的不同产品应用和领域中使用机器学习。该过程已经得到了更好的调整，并通过模型卡之类的东西进行了润色。看到这些事情我真的很高兴。因此，我认为这些很好，并象征着我们作为社区应该做的事情。
然后，我认为在许多原则领域中，存在真正的开放研究方向。就像，我们有一种最公知的实践，可以帮助我们解决公平和偏见以及机器学习模型或安全性或隐私问题。但是，这些绝不是解决的问题，因此我们需要继续在这些领域中进行长期研究，以提高技术水平，同时我们目前将最著名的最新技术应用于我们的工作中。应用的设置。
VentureBeat：您预计会出现哪些趋势，或者您认为在2020年AI可能会超越哪些里程碑?
教务长：我认为我们将会看到比以前更多的多任务学习和多模式学习，而且规模更大。我认为那会很有趣。
而且我认为，越来越有趣的设备上模型(或诸如电话之类的消费类设备)将继续存在趋势，以便更有效地工作。
我认为与AI相关的原理相关工作显然很重要。我们是一个足够大的研究机构，实际上我们正在做许多不同的工作，因此很难一一列举。但我认为，总的来说，我们将[发展]最先进的技术，进行基础研究，以提高我们正在关注的许多重要领域的能力，例如NLP或语言模型或视觉或多模式事物。但同时，还要与我们的同事和产品团队合作，进行一些准备用于产品应用的研究，以使他们能够构建有趣的功能和产品。而且[我们将]做一些Google目前没有产品的新事物，但它们是ML的有趣应用，例如我们一直在进行的芯片设计工作。
VentureBeat：喜欢日常的机器人吗?
院长：是的，我们进行了大量的机器人研究工作。我认为机器人技术是一个非常棘手的问题，要使机器人能够在任意环境中运行，例如一个有椅子和东西的大会议室。但是，您知道，最近几年我们在这方面取得了相当大的进步，我认为这也是一个有趣的研究方向。我们进行了大量的研究工作。