Nature发文：深度学习系统为什么这么好骗？

几张贴纸就能「改变」交通标志识别结果，转个方向就看不出图中的动物种类，今天的人工智能系统经常会出现莫名其妙的 bug。最新一期《自然》杂志上的这篇文章向我们介绍了深度学习为什么如此容易出错，以及解决这些问题的研究方向。

一辆自动驾驶汽车在接近停止标志时非但没有停车，反而加速驶入了繁忙的十字路口。一份事故调查报告显示，该汽车之所以做出这种决策，是因为停止标志的表面贴了四个小矩形。这样一来，自动驾驶汽车就把停止标志识别为了「限速 45」。

这种事件其实还没有在实际中发生，但蓄意破坏 AI 系统的可能却是真实存在的。在停止路牌上贴标签、在帽子和眼镜上贴贴纸都有可能成功欺骗自动驾驶系统和人脸识别系统，还有研究者用白噪音来欺骗语音识别系统。

这些案例都说明欺骗一个领先的 AI 模式识别系统（即深度神经网络）有多么容易。这些系统已经在我们生活中无处不在，但只要对这些系统的输入做一些微小的改动，最好的神经网络也会受到欺骗。

在寻找问题的过程中，研究人员发现了 DNN 失效的很多原因。「深度神经网络本质的脆弱性是无法修复的，」谷歌 AI 工程师 François Chollet 指出。Chollet 及其他研究者认为，为了克服这些缺陷，研究者需要借助其他力量来巩固模式匹配 DNN：例如，让 AI 能够自己探索世界、自己写代码并保留记忆。一些专家认为，这类系统将成为未来十年 AI 研究的主题。

接受现实的检验

2011 年，谷歌推出了一个能识别猫的系统，从此掀起了 DNN 分类系统的研究高潮。人们惊呼：计算机终于可以理解世界了！

但 AI 研究者知道，DNN 其实并不理解这个世界。它们粗略地模仿大脑结构，其实是一种由分布在很多层上的数字神经元组成的软件结构。每个神经元与其相邻层的神经元相连接。

其基本思想是，原始输入（如图像的像素）的特征进入底层，触发一些神经元，然后根据简单的数学规则将信号传到上层的神经元。训练一个 DNN 网络需要将其暴露在大量样本中，然后每次调整神经元的连接方式，最终由上层得出想要的答案，比如把某头狮子的图像识别为狮子，尽管 DNN 从未见过这一头狮子的照片。

对 DNN 进行的首次重大检验发生在 2013 年。当时，谷歌的研究者 Christian Szegedy 及其同事发表了一篇名为「『Intriguing properties of neural networks」的预印版论文。该团队表明，通过修改几个像素就能误导 DNN 将狮子识别为图书馆等其他物体。他们将修改后的图像称之为「对抗样本」（adversarial example）。

一年之后，Clune 等人组成的团队表明，让 DNN 看到不存在的物体也是可能的，如在波浪形线条中看到企鹅。「任何从事过机器学习研究的人都知道，这些系统经常会犯一些低级错误，」Yoshua Bengio 说道，「但这种错误令人惊讶，而且出人意料。」

新型错误层出不穷。去年，Nguyen 证明，简单地旋转物体就能淘汰一波当前最好的图像分类器。今年，Hendrycks 等人报告称，即使是未经篡改的自然图片也能骗到当前最好的分类器，使其将蘑菇识别为饼干。

这个问题不止在目标识别中出现：任何使用 DNN 对输入进行分类的 AI 都能被骗到，如使用强化学习的游戏 AI，在屏幕上随机添加几个像素就能让智能体输掉比赛。

DNN 的弱点会给黑客接管 AI 系统提供可乘之机。去年，谷歌的一个团队表明，使用对抗样本不仅可以迫使 DNN 做出某种错误决策，也可能彻底改变程序，从而有效地将一个训练好的 AI 系统用于另一项任务。

许多神经网络理论上都能用来编码任何其他计算机程序。「理论上来说，你可以将一个聊天机器人转化为任何你想要的程序，」Clune 表示。在他的设想中，不远的将来，黑客就能够劫持云中的神经网络，运行他们自己的垃圾邮件躲避算法。

加州大学伯克利分校的计算机科学家 Dawn Song 认为，DNN 很容易受到攻击，但防守却非常困难。

能力越大越脆弱

DNN 非常强大，因为它们有很多层，也就意味着它们可以识别出输入的不同特征模式。经过训练，用于识别飞行器的 AI 算法有可能会找到诸如色块、纹理、背景等因素与预测目标具有关联性。但这也意味着输入内容的很小变化就可以让 AI 的识别结果出现明显的变化。

解决方法之一就是简单地给 AI 投喂更多数据，特别是多训练出错的情况以纠正错误。在这种「对抗性训练」的情况下，一个网络学会识别目标，另一个网络尝试修改第一个网络的输出，并制造错误。通过这种方法，对抗样本成为了 DNN 训练数据的一部分。

（编辑：衡阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!