Alexa科学家通过转移学习教授人工智能语言模型

 
为像Alexa这样的语音助手添加对新语言的支持并不像你想象的那么容易，但亚马逊的研究人员相信他们已经开发出一种能够加快和简化流程的方法。在一篇新发表的论文(“用于口语理解的跨语言转移学习”)和随附的博客文章中，他们描述了一种技术，该技术使用一种语言训练的机器学习模型适应最少的训练数据。
该论文的共同作者计划于下个月在西班牙巴塞罗那举行的国际声学，语音和信号处理会议上展示该方法，该方法依赖于转移学习(特别是跨语言转移学习)来引导新功能。他们报告说，在实验中，它将新语言的数据需求降低了50%。
“我们相信，这是第一次使用跨语言转移学习将联合意图时隙分类器转换为新语言，”Alexa AI Natural Understanding科学家Quynh Do和Judith Gaspers说。
正如他们所解释的那样，口语理解(SLU)系统通常涉及两个子任务 – 意图分类和时隙标记 – 其中意图是用户想要执行的任务，而时隙意味着意图所作用的实体。 (例如，在语音命令“Alexa中，在Disco播放恐慌!’High Hopes’，”意图是PlayMusic，“High Hopes”和“Panic!at the Disco”填充SongName和ArtistName插槽。)
Do和Gaspers注意到，培训意图和插槽分类器共同提高了性能，因此他们和同事们探索了六种不同的联合训练的AI系统。在将他们的表现与英语SLU示例的开源基准数据集进行比较后，该团队确定了三个在两个分类任务上都优于其前任的表现。
接下来，他们尝试了嵌入词(与多维空间中的点对应的一系列固定长度坐标)和字符嵌入(反映单词及其组成部分的意义的簇)，它们总共被输入六个不同的神经网络，包括称为长期短期记忆(LSTM)网络的循环网络类型，按顺序处理顺序输入并输出前面的因子。他们使用来自源语言(在本例中为英语)的数据来提高目标(德语)中的SLU性能，主要是通过预先训练SLU模型并在目标数据集上对其进行微调。
在一次大规模测试中，他们创建了一个语料库，其中包括从英语Alexa SLU系统中采集的一百万个话语，以及来自德国Alexa SLU系统的10,000和20,000个话语的随机样本。开发集包括来自德国系统的2,000个话语。
通过训练双语输入嵌入来对来自两种语言的语义相似的单词进行分组，研究人员发现一个转移的模型，其源数据是百万英语话语，其目标数据是10,000德语话语分类意图比在20,000德语训练的单语模型更准确话语。通过10,000和20,000个德语数据集，转移模型的插槽分类得分比仅用德语发音训练的单语模型提高了4%。
“虽然高速公路LSTM模型是英语测试集中表现最好的模型，但并不能保证它能产生最好的转学习成果，”他们写道。 “在正在进行的工作中，我们也将其他模型转移到德语语境中。”