24小时联系电话:185 8888 888

科技
您现在的位置: 首页 > 科技 > Amazon研究人员减少了AI转移学习所需的数据
  • “酷”大脑研究的扭曲观念扼杀了心理治疗

    “酷”大脑研究的扭曲观念扼杀了心理治疗

    发布时间:2020/03/31

      ‘对于人类的每一个问题,总是存在着众所周知的解决方案-简洁,合理和错误。” 人类从来没有遇到过比了解我们自己的人性更复杂的问题。而且,不乏任何试图探究其深度的简洁,合理和错误的答案。 在我职业生...

  • SpaceX赢得NASA合同,使用新型Dragon XL工艺将货物运送到月球网关

    SpaceX赢得NASA合同,使用新型Dragon XL工艺将货物运送到月球网关

    发布时间:2020/03/31

      美国国家航空航天局(NASA)挖掘出一种尚未建造的SpaceX货运飞船,用于向尚未发射的绕月轨道前哨基地运送补给品。 SpaceX的机器人Dragon XL是其主力Dragon太空船的圆柱形超大型版本,将作为第一批从NASA获得...

  • Spaces应用程序使人们可以参加VR中的Zoom会议

    Spaces应用程序使人们可以参加VR中的Zoom会议

    发布时间:2020/03/30

      一个名为Spaces的新PC VR应用程序使用户可以从VR内部加入Zoom会议和其他视频通话。 该应用是根据最近发生的COVID-19大流行而开发的,该大流行已经使世界各地许多人在家中工作并使用诸如Zoom之类的虚拟会议...

  • 汇盈医疗声称其AI可以从CT扫描中检测冠状病毒,准确率达96%

    汇盈医疗声称其AI可以从CT扫描中检测冠状病毒,准确率达96%

    发布时间:2020/03/30

      总部位于中国惠州的医疗设备公司慧英医疗声称已开发出一种AI成像解决方案,该解决方案使用CT胸部扫描来检测COVID-19的存在。该公司断言,如果不使用逆转录聚合酶链反应(RT-PCR)(COVID-19的标准测试方法),...

Amazon研究人员减少了AI转移学习所需的数据

发布时间:2019/10/30 科技 浏览次数:652

 
跨语言学习是一种AI技术,涉及以一种语言训练自然语言处理模型,然后以另一种语言进行训练。已经证明,经过重新训练的模型可以胜过使用第二语言从头训练的模型,这很可能就是亚马逊Alexa部门的研究人员投入大量时间进行研究的原因。
在预定于今年自然语言处理经验方法会议上发表的一篇论文中,Alexa AI自然理解小组的两位科学家Quynh Do和Judith Gaspers及其同事提出了一种数据选择技术,该技术可使所需的训练数据量减少一半。他们声称它出人意料地改进了而不是损害了目标语言中模型的整体性能。
Do和Gaspers在博客中写道:“有时候源语言中的数据非常丰富,以至于用所有这些语言来训练传输模型都是不切实际的耗时。” “此外,源语言和目标语言之间的语言差异意味着修剪源语言中的训练数据,使其统计模式与目标语言的统计模式更好地匹配,实际上可以改善传输模型的性能。”
在实验过程中,Do,Gaspers及其团队采用了两种方法将源语言数据集切成两半:上述数据选择技术和随机采样。他们在两个减半的数据集和整个数据集上对单独的模型进行了预训练,之后,他们以目标语言在一个小的数据集上对模型进行了微调。
Do和Gaspers指出,同时对所有模型进行了训练,以识别意图(请求的动作)和填充位置(意图所作用的变量),并且它们将多语言嵌入作为输入(映射了来自不同语言的一个单词或单词序列)到多维空间中的单个点)以提高模型的准确性。该团队将每个输入单词的多语言嵌入与字符级嵌入(对有关单词的前缀,后缀和词根的信息进行编码)组合在一起,并且他们利用在大型文本语料库上训练的语言模型来选择要馈送到的源语言数据。转移模型。
在研究人员设计的系统中,双语词典将源数据集中的每个发音转换为目标语言中的一串字。四种语言模型应用于生成的字符串,而三字母组模型处理字符嵌入。对于由四种语言模型计算出的概率总和中的每种话语,仅选择那些产生最高归一化分数的语言。
为了评估他们的方法,团队首先将模型从英语转换为德语,并使用不同数量的目标语言训练数据(分别为10,000和20,000语音,而完整的源语言数据集中为数百万的语音)。然后,他们用三种不同的语言(英语,德语和西班牙语)训练了转移模型,然后将其转移到法语(目标语言有10,000和20,000种话语)。他们声称,传递模型优于仅对目标语言进行过训练的基线模型,相对于仅对目标语言进行过训练的模型,使用新型数据选择技术训练的模型相对于仅对目标语言进行训练的模型表现出了3%到5%的改善。广告位填充任务,意图分类大约占1%到2%。

姓 名:
邮箱
留 言: