24小时联系电话:185 8888 888

科技
您现在的位置: 首页 > 科技 > Google的Evolved Transformer在翻译任务中实现了最先进的性能
  • “酷”大脑研究的扭曲观念扼杀了心理治疗

    “酷”大脑研究的扭曲观念扼杀了心理治疗

    发布时间:2020/03/31

      ‘对于人类的每一个问题,总是存在着众所周知的解决方案-简洁,合理和错误。” 人类从来没有遇到过比了解我们自己的人性更复杂的问题。而且,不乏任何试图探究其深度的简洁,合理和错误的答案。 在我职业生...

  • SpaceX赢得NASA合同,使用新型Dragon XL工艺将货物运送到月球网关

    SpaceX赢得NASA合同,使用新型Dragon XL工艺将货物运送到月球网关

    发布时间:2020/03/31

      美国国家航空航天局(NASA)挖掘出一种尚未建造的SpaceX货运飞船,用于向尚未发射的绕月轨道前哨基地运送补给品。 SpaceX的机器人Dragon XL是其主力Dragon太空船的圆柱形超大型版本,将作为第一批从NASA获得...

  • Spaces应用程序使人们可以参加VR中的Zoom会议

    Spaces应用程序使人们可以参加VR中的Zoom会议

    发布时间:2020/03/30

      一个名为Spaces的新PC VR应用程序使用户可以从VR内部加入Zoom会议和其他视频通话。 该应用是根据最近发生的COVID-19大流行而开发的,该大流行已经使世界各地许多人在家中工作并使用诸如Zoom之类的虚拟会议...

  • 汇盈医疗声称其AI可以从CT扫描中检测冠状病毒,准确率达96%

    汇盈医疗声称其AI可以从CT扫描中检测冠状病毒,准确率达96%

    发布时间:2020/03/30

      总部位于中国惠州的医疗设备公司慧英医疗声称已开发出一种AI成像解决方案,该解决方案使用CT胸部扫描来检测COVID-19的存在。该公司断言,如果不使用逆转录聚合酶链反应(RT-PCR)(COVID-19的标准测试方法),...

Google的Evolved Transformer在翻译任务中实现了最先进的性能

发布时间:2019/06/15 科技 浏览次数:764

 
据悉,Transformer是一种在2017年的论文(“注意力都是你需要的”)中引入的AI架构,由Google的科学家共同撰写,擅长撰写散文和产品评论,合成声音,并以古典作曲家的风格制作和声。但是,一组谷歌研究人员相信它可以更进一步使用AutoML,这是一种“控制器”系统识别“子”架构的技术,然后可以根据特定任务进行定制。值得注意的是,他们的工作成果 – 他们在新发表的论文和随附的博客文章中描述 – 与原始的Transformer相比,实现了最先进的翻译结果和语言建模的改进性能。
他们发布了新模型 – Evolved Transformer – 作为Tensor2Tensor的一部分,Tensor2Tensor是一个开源AI模型和数据集库。
传统上,AutoML方法从一组随机模型开始,控制器训练和评估质量。该过程重复数千次,每次都会产生新的经过审查的机器学习架构,控制器可以从中学习。最终,控制器开始为模型组件分配高概率,从而在验证数据集上获得更好的准确性,并且对于得分较差的区域的概率较低。
研究人员表示,使用AutoML发现Evolved Transformer需要开发两种新技术,因为用于评估每种架构性能的任务(WMT’14英语 – 德语翻译)计算成本很高。第一个 – 温暖的开始 – 使用Transformer架构而不是随机模型播种初始模型群体,这有助于搜索。与此同时,第二个 – 渐进式动态障碍(PDH) – 增强了搜索功能,为最强的候选者分配更多资源,使控制器能够尽早终止对“明显不良”模型的评估,并为有前途的架构提供更多资源。
那么Evolved Transformer有什么特别之处呢?与所有深度神经网络一样,演化变换器包含从输入数据传输“信号”的神经元(函数),并缓慢调整每个连接的突触强度 – 权重 – 这是模型提取特征和学习进行预测的方式。此外,演化变压器具有注意力,使得每个输出元件连接到每个输入元件,并且动态地计算它们之间的权重。
与大多数序列到序列模型一样,演化变换器包含将输入数据(翻译任务中的句子)编码为嵌入(数学表示)的编码器和使用这些嵌入来构造输出(翻译)的解码器。
但该团队指出,它包含了一些非传统的东西:编码模式下编码器和解码器模块底部的卷积层,这样输入在加到一起之前就会通过两个独立的卷积层。虽然最初的变形金刚完全依赖于注意力,但是,Evolved Transformer是一种利用自我关注和广泛卷积的优势的混合体。
在测试中,团队将Evolved Transformer与原始Transformer在模型搜索期间使用的英德翻译任务进行了比较,发现前者在BLEU(用于评估机器翻译文本质量的算法)上都获得了更好的性能。各种规模的困惑和困惑(衡量概率分布预测样本的程度)。在较大的尺寸下,演化变压器达到了最先进的性能,BLEU得分为29.8,在涉及不同语言对和语言建模的翻译实验中,他们观察到近两个困惑的性能提升。

姓 名:
邮箱
留 言: