麻省理工学院的研究人员开发了一种可欺骗Google AI的基于文本的系统

 
有很多AI模型被愚弄的例子。从Google的AI检测到误以为是乌龟的图片到Jigsaw的AI可以对有毒评论进行评分，这些评论被认为通过包含诸如爱情之类的词来使句子是积极的。
现在，麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员开发了一种名为TextFooler的新系统，该系统可以欺骗使用自然语言处理(NLP)的AI模型-就像Siri和Alexa所使用的那样。这对于捕获垃圾邮件或应对令人反感的语言非常重要。
TextFooler是一种对抗系统，通常被设计为攻击这些NLP模型以了解其缺陷。为此，它通过更改一些单词来更改输入句子，而不改变其含义或不加语法。之后，它攻击NLP模型，以检查其如何处理更改后的输入文本分类和含意(句子中部分文本之间的关系)。
很难在不改变其含义的情况下更改文本。首先，TextFooler查找对特定NLP模型具有沉重排名权重的重要单词。然后，它会寻找完全适合该句子的同义词。
研究人员说，该系统成功欺骗了三个现有模型，包括流行的开源语言模型BERT，该模型是由Google的人员开发的。通过仅更改句子中文本的10%，TextFooler取得了很高的成功率。
关于TextFooler的新论文的主要作者Di Jin表示，基于NLP的重要工具应具有有效的防御方法，以保护它们免受可操纵的输入的侵害：
如果这些工具容易受到有目的的对抗攻击，那么后果可能是灾难性的。这些工具需要有有效的防御方法来保护自己，而要建立这样一个安全的防御系统，我们首先需要研究对抗方法
麻省理工学院的团队希望TextFooler可用于电子邮件垃圾邮件过滤，仇恨言论标记或“敏感”政治言论文本检测等领域的基于文本的模型。
Google的BERT适用于公司的搜索和许多其他产品。而且我们经常看到，在搜索中更改几个单词会大大改变结果。甚至包括Alphabet拥有的拼图玩具的毒性检测算法，都可以通过更改拼写或在句子中插入肯定词来欺骗。这表明，在完善基于语言的AI模型之前，他们需要接受大量培训，才能处理诸如主持在线论坛之类的复杂任务。