24小时联系电话:185 8888 888

科技
您现在的位置: 首页 > 科技 > 麻省理工学院的研究人员开发了一种可欺骗Google AI的基于文本的系统
  • “酷”大脑研究的扭曲观念扼杀了心理治疗

    “酷”大脑研究的扭曲观念扼杀了心理治疗

    发布时间:2020/03/31

      ‘对于人类的每一个问题,总是存在着众所周知的解决方案-简洁,合理和错误。” 人类从来没有遇到过比了解我们自己的人性更复杂的问题。而且,不乏任何试图探究其深度的简洁,合理和错误的答案。 在我职业生...

  • SpaceX赢得NASA合同,使用新型Dragon XL工艺将货物运送到月球网关

    SpaceX赢得NASA合同,使用新型Dragon XL工艺将货物运送到月球网关

    发布时间:2020/03/31

      美国国家航空航天局(NASA)挖掘出一种尚未建造的SpaceX货运飞船,用于向尚未发射的绕月轨道前哨基地运送补给品。 SpaceX的机器人Dragon XL是其主力Dragon太空船的圆柱形超大型版本,将作为第一批从NASA获得...

  • Spaces应用程序使人们可以参加VR中的Zoom会议

    Spaces应用程序使人们可以参加VR中的Zoom会议

    发布时间:2020/03/30

      一个名为Spaces的新PC VR应用程序使用户可以从VR内部加入Zoom会议和其他视频通话。 该应用是根据最近发生的COVID-19大流行而开发的,该大流行已经使世界各地许多人在家中工作并使用诸如Zoom之类的虚拟会议...

  • 汇盈医疗声称其AI可以从CT扫描中检测冠状病毒,准确率达96%

    汇盈医疗声称其AI可以从CT扫描中检测冠状病毒,准确率达96%

    发布时间:2020/03/30

      总部位于中国惠州的医疗设备公司慧英医疗声称已开发出一种AI成像解决方案,该解决方案使用CT胸部扫描来检测COVID-19的存在。该公司断言,如果不使用逆转录聚合酶链反应(RT-PCR)(COVID-19的标准测试方法),...

麻省理工学院的研究人员开发了一种可欺骗Google AI的基于文本的系统

发布时间:2020/02/10 科技 浏览次数:618

 
有很多AI模型被愚弄的例子。从Google的AI检测到误以为是乌龟的图片到Jigsaw的AI可以对有毒评论进行评分,这些评论被认为通过包含诸如爱情之类的词来使句子是积极的。
现在,麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员开发了一种名为TextFooler的新系统,该系统可以欺骗使用自然语言处理(NLP)的AI模型-就像Siri和Alexa所使用的那样。这对于捕获垃圾邮件或应对令人反感的语言非常重要。
TextFooler是一种对抗系统,通常被设计为攻击这些NLP模型以了解其缺陷。为此,它通过更改一些单词来更改输入句子,而不改变其含义或不加语法。之后,它攻击NLP模型,以检查其如何处理更改后的输入文本分类和含意(句子中部分文本之间的关系)。
很难在不改变其含义的情况下更改文本。首先,TextFooler查找对特定NLP模型具有沉重排名权重的重要单词。然后,它会寻找完全适合该句子的同义词。
研究人员说,该系统成功欺骗了三个现有模型,包括流行的开源语言模型BERT,该模型是由Google的人员开发的。通过仅更改句子中文本的10%,TextFooler取得了很高的成功率。
关于TextFooler的新论文的主要作者Di Jin表示,基于NLP的重要工具应具有有效的防御方法,以保护它们免受可操纵的输入的侵害:
如果这些工具容易受到有目的的对抗攻击,那么后果可能是灾难性的。这些工具需要有有效的防御方法来保护自己,而要建立这样一个安全的防御系统,我们首先需要研究对抗方法
麻省理工学院的团队希望TextFooler可用于电子邮件垃圾邮件过滤,仇恨言论标记或“敏感”政治言论文本检测等领域的基于文本的模型。
Google的BERT适用于公司的搜索和许多其他产品。而且我们经常看到,在搜索中更改几个单词会大大改变结果。甚至包括Alphabet拥有的拼图玩具的毒性检测算法,都可以通过更改拼写或在句子中插入肯定词来欺骗。这表明,在完善基于语言的AI模型之前,他们需要接受大量培训,才能处理诸如主持在线论坛之类的复杂任务。