微软通过人工智能改进会议室音频，可以轻击多个麦克风

 
当会议室音频无法可靠地到达远程拨打的各方时，总是令人沮丧。不良的声学和干扰总是会导致线路另一端的清晰度和清晰度降低，这就是为什么微软的语音和对话研究小组的科学家最近提出了一种系统，通过利用内置于智能手机，笔记本电脑和平板电脑中的麦克风来提高音频质量。
他们描述了他们的工作 – 这是丹麦项目的一部分，微软努力超越传统的麦克风阵列以捕捉会议对话 – 在计划于格拉茨举行的Interspeech 2019年会议上发表的论文(“使用异步远程麦克风会议转录”) ，奥地利下周。
“我们的方法背后的核心理念是利用任何互联网连接的设备，例如与会者通常会议的笔记本电脑和智能手机，并在云端虚拟形成一个临时麦克风阵列，”主要研究人员Takuy​​a Yoshioka在博客中写道随附文章。 “通过我们的方法，团队将能够选择使用他们已经带到会议上的手机，笔记本电脑和平板电脑，以实现高精度转录，而无需专用硬件。”
它在理论上比在执行中更简单。 Yoshioka指出，音频保真度在设备到设备之间变化很大，并且由不同麦克风捕获的语音信号彼此不对齐。加剧挑战，设备数量及其相对位置与会议会议不一致。
微软团队的解决方案是一个端到端系统，首先收集来自不同麦克风的声音信号并执行波束成形(一种有效地使麦克风阵列对来自特定方向的声音更敏感的技术)，由识别关系的模型精心策划在信号之中。在波束成形过程中，信号被下游馈送到语音识别和扬声器分类(识别)模块，然后它们被合并，注释并发送回会议参加者。
研究人员报告说，在定性测试中，他们的AI系统分别比单个设备系统高出14.8%和22.4%，分别有三个和七个麦克风，当10%的录音语音包含一个以上的扬声器时，其灵敏度误差率为13.6% 。他们注意到他们的系统并不完美 – 它偶尔被重叠的语音绊倒 – 但是他们说这是迈向水晶般清晰的会议音频的一个令人鼓舞的步骤，不需要专门的设备。
“总之，我们的研究显示了多个异步麦克风在真实场景中满足转录的有效性，”Yoshioka及其同事写道。 “因为……设备将倾向于分布在房间周围并且相对靠近扬声器，因此可以获得更好的空间覆盖。此外，在许多使用案例中，会议参与者自然会带来并重新调整他们的个人设备，以提供更好的转录质量。“
去年夏天，微软的转录研究表现在Microsoft 365中，它获得了自主的语音到文本转换功能，使会议参与者能够搜索视频记录。几个月后，微软在OneDrive和SharePoint中推出了音频和视频文件的自动转录。