一张“纸条”就能骗过AI

关键词理解描绘出一张新图像对于人类来讲可能不是什么难事，但对于AI来讲，则需要它具有极高的视觉识别和理解能力，包括文本识别和图像识别。因此，CLIP模型可以说代表了现有计算机视觉研究的最高水平。

然而，正是这个兼具图文双重识别能力的AI，却在一张“纸片”面前翻了车。

怎么回事呢？

AI上当，“苹果”变 “iPod”

最近OpenAI研究团队做了一项测试，他们发现CLIP能够轻易被“攻击性图像”误导。

测试是这样的，研究人员给CLIP输入了如下一张图（识别出了这是苹果，甚至还显示出了它的品种：Granny Smith。

然而，当研究人员给苹果上贴上一张写着iPod的纸片，结果AI真的被误导了，如右图所示，其iPod的识别率达到了99.7%。

研究团队将此类攻击称为“印刷攻击”，他们在官方博客中写道：“通过利用模型强大的文本读取能力，即使是手写文字的照片也会欺骗模型。像‘对抗补丁’一样，这种攻击在野外场景也有效。”

可以看出，这种印刷攻击实现起来很简单，只需要笔和纸即可，而且影响显著。我们再来看一组案例：

左图中，AI成功识别出了贵宾犬（识别率39.3图中在贵宾犬身上加上多个“$$$”字符后，AI就将其识别成了存钱罐（识别率52.5%）。

至于为什么会隐含这种攻击方式，研究人员解释说，关键在于CLIP的多模态神经元—能够对以文本、符号或概念形式呈现的相同概念作出响应。

然而，这种多模态神经元是一把双刃剑，一方面它可以实现对图文的高度控制，另一方面遍及文字、图像的神经元也让AI变得更易于攻击。

“多模态神经元”是根源

那么，CLIP 中的多模态神经元到底是什么样子呢？

此前，OpenAI 的研究人员发表了一篇新论文《Multimodal Neurons in Artificial Neural Networks》，描述了他们是如何打开 CLIP 来观察其性能的。

OpenAI 使用两种工具来理解模型的激活，分别是特征可视化（通过对输入进行基于梯度的优化来最大化神经元激活）、数据集示例（观察数据集中神经元最大激活图像的分布）。

通过这些简单的方法，OpenAI 发现 CLIP RN50x4（使用EfficientNet缩放规则将ResNet-50放大4倍）中的大多数神经元都可以得到解释。这些神经元似乎是“多面神经元”的极端示例——它们只在更高层次的抽象上对不同用例做出响应。

此外，它们不仅对物体的图像有反应，而且对草图、卡通和相关文本也有反应。例如：

对于CLIP而言，它能识别蜘蛛侠的图像，从而其网络中存在特定的“蜘蛛侠”神经元可以对蜘蛛侠的真实图像、漫画图像作出响应，也可以对单词“Spider”（

（编辑：南通站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!