24小时联系电话:185 8888 888

科技
您现在的位置:首页 > 科技 > Alexa科学家通过转移学习教授人工智能语言模型

金融 金融

  • 3D打印平台Carbon以26亿美元的估值筹集了2.6亿美元

      据悉,数字制造商和3D打印海报儿童Carbon在Madrone Capital Partners和Bail...

  • 比尔盖茨制造“有史以来最大的错误之一”,没有做成移动系统

    比尔盖茨制造“有史以来最大的错误之一” 最近,由风险投资公司Village Global为创始...

  • Nowports筹集了530万美元,成为拉丁美洲Flexport的数字运输解决方案

      据悉,Nowports是一家软件和服务开发商,负责跟踪从拉丁美洲港口到目的地的...

  • Argo AI允许研究人员免费访问其高清地图

      据悉,Argo AI正在向研究人员免费发布策划数据和高清地图,这是自动驾驶汽...

  • Slack以38.50美元开盘,在纽约证券交易所交易的第一天就是48%

      据悉,Slack是一个帮助定义企业IT关键类别的工作场所消息平台,今天作为一...

  • 随着云聚焦推动数字媒体销售,Adobe公布第二季度盈利强于预期

      在与微软(MSFT)达成合作协议后,云计算和软件集团公布第二季度盈利强于预期...

  • 创业 创业

    Alexa科学家通过转移学习教授人工智能语言模型

    发布时间:2019/04/10 科技 浏览次数:58

     

    为像Alexa这样的语音助手添加对新语言的支持并不像你想象的那么容易,但亚马逊的研究人员相信他们已经开发出一种能够加快和简化流程的方法。在一篇新发表的论文(“用于口语理解的跨语言转移学习”)和随附的博客文章中,他们描述了一种技术,该技术使用一种语言训练的机器学习模型适应最少的训练数据。

    该论文的共同作者计划于下个月在西班牙巴塞罗那举行的国际声学,语音和信号处理会议上展示该方法,该方法依赖于转移学习(特别是跨语言转移学习)来引导新功能。他们报告说,在实验中,它将新语言的数据需求降低了50%。

    “我们相信,这是第一次使用跨语言转移学习将联合意图时隙分类器转换为新语言,”Alexa AI Natural Understanding科学家Quynh Do和Judith Gaspers说。

    正如他们所解释的那样,口语理解(SLU)系统通常涉及两个子任务 – 意图分类和时隙标记 – 其中意图是用户想要执行的任务,而时隙意味着意图所作用的实体。 (例如,在语音命令“Alexa中,在Disco播放恐慌!’High Hopes’,”意图是PlayMusic,“High Hopes”和“Panic!at the Disco”填充SongName和ArtistName插槽。)

    Do和Gaspers注意到,培训意图和插槽分类器共同提高了性能,因此他们和同事们探索了六种不同的联合训练的AI系统。在将他们的表现与英语SLU示例的开源基准数据集进行比较后,该团队确定了三个在两个分类任务上都优于其前任的表现。

    接下来,他们尝试了嵌入词(与多维空间中的点对应的一系列固定长度坐标)和字符嵌入(反映单词及其组成部分的意义的簇),它们总共被输入六个不同的神经网络,包括称为长期短期记忆(LSTM)网络的循环网络类型,按顺序处理顺序输入并输出前面的因子。他们使用来自源语言(在本例中为英语)的数据来提高目标(德语)中的SLU性能,主要是通过预先训练SLU模型并在目标数据集上对其进行微调。

    在一次大规模测试中,他们创建了一个语料库,其中包括从英语Alexa SLU系统中采集的一百万个话语,以及来自德国Alexa SLU系统的10,000和20,000个话语的随机样本。开发集包括来自德国系统的2,000个话语。

    通过训练双语输入嵌入来对来自两种语言的语义相似的单词进行分组,研究人员发现一个转移的模型,其源数据是百万英语话语,其目标数据是10,000德语话语分类意图比在20,000德语训练的单语模型更准确话语。通过10,000和20,000个德语数据集,转移模型的插槽分类得分比仅用德语发音训练的单语模型提高了4%。

    “虽然高速公路LSTM模型是英语测试集中表现最好的模型,但并不能保证它能产生最好的转学习成果,”他们写道。 “在正在进行的工作中,我们也将其他模型转移到德语语境中。”

    姓 名:
    邮箱
    留 言: