Nature发文：深度学习系统为什么这么好骗？

Hendrycks 等研究者建议测试 DNN 在各种对抗样本的性能，从而量化 DNN 对犯错的鲁棒性。他们表明，训练能抵御一种攻击的神经网络可能会削弱它对其他攻击的抵抗力，而鲁棒性的 DNN 不应该因其输入的微小扰动而改变其输出。这种因扰动而改变最终结果的属性，很可能是在数学层面上引入神经网络的，它限制了 DNN 学习的方式。

然而在当时，没有人可以解决所有 AI 都很脆弱这一问题。问题的根源，根据 Bengio 的说法，深度神经网络中没有一个很好的可以选择什么是重要的模型。当 AI 观察一个将狮子篡改为图书馆的图片，人类依然可以看到狮子，因为他们有一个思维模型，能够将动物视为更高级的特征——如耳朵、尾巴、鬃毛等。而其他低级别的细节则会被忽略掉。「我们知道从先验知识中学习什么特征是重要的，」Bengio 说，「而这来自于对结构化的世界的深度理解。」

解决此问题的一种尝试是将 DNN 与符号 AI 结合起来。符号 AI 也是机器学习之前，人工智能的主要方法。借助符号 AI，机器可以使用关于世界如何运作的硬编码规则进行推理，例如它包含离散的对象，之间以各种方式相互关联。一些研究人员，例如纽约大学的心理学家 Gary Marcus 说，混合 AI 模型是前进的方向。「深度学习在短期内非常有用，以至于人们对长期发展视而不见，」一直以来对当前深度学习方法持批评态度的马库斯说。

今年 5 月，他在加利福尼亚州帕洛阿尔托联合创立了一家名为 Robust AI 的初创公司，该公司旨在将深度学习与基于规则的 AI 技术相结合，以开发可以与人一起安全操作的机器人。公司正在做工作仍处于保密状态。

即使可以将规则嵌入到 DNN 中，这些规则的效果也只是能与学习一样好。Bengio 说，AI 智能体需要在更丰富的可探索环境中学习。例如，大多数计算机视觉系统无法识别一罐啤酒是圆柱形的，因为它们只在 2D 图像数据集上进行训练。这就是 Nguyen 等研究者发现我们可以通过不同角度的对象来愚弄 DNN 的原因。

但是，AI 的学习方式也需要改变。Bengio 说：「了解因果关系必须在现实世界做一些任务，智能体可以实验并探索现实世界。」另一位深度学习的先驱，Jürgen Schmidhuber 说，模式识别非常强大，足以使阿里巴巴、腾讯、亚马逊、Facebook 和 Google 等企业成为世界上最有价值的公司。他说：「但是将会有更大的浪潮，其涉及智能体操纵真实世界并通过自己的行动创建自己的数据。」

从某种意义上来讲，使用强化学习在人工环境中搞定计算机游戏的方式已经是这样了：通过反复试错，智能体以规则允许的方式操纵屏幕上的像素点，直到达成目标为止。然而，真实世界要比当今大多数 DNN 训练所依据的模拟环境或数据集要复杂得多。

即兴表演的机器人

如下图所示，在加州大学伯克利分校 (University of California, Berkeley) 的一个实验室里，一只机器人手臂在杂物中翻找。它拿起一个红色的碗，然后用它把一只蓝色的烤箱手套向右推几厘米。它放下碗，拿起一个空的塑料喷射器，然后估量着平装书的重量和形状。经过连续几天的筛选，机器人开始对这些陌生的物体有了感觉，知道它们各自用来做些什么。

机器人手臂正在使用深度学习来教自己使用工具。给定一盘物体，它依次捡起并观察每一个物体，观察当它移动它们并将一个物体撞向另一个物体时会发生什么。

当研究人员给予机器人一个目标，例如向它展示一张几乎空的托盘图像，并指定机器人安排物体来匹配状态。这样，机器人可以与其之前未见过的物体交互并即兴做出行动，例如用海绵将桌子上的物体抹干净。机器人还能意识到，用塑料水壶清理掉挡道的物体要比直接拿起它们要快。

伯克利实验室的研究员 Chelsea Finn 认为，一般而言，这种学习可以使得 AI 更深入地了解物体和世界。如果你曾经只在照片上见过水壶或海绵，则或许能够在其他图像中识别出它们。但是，你不会真正地理解它们是什么或它们用来做什么。因此，Finn 表示，只有你真正地与它们接触才可以更深入地了解它们。

但是，这种学习过程很慢。在模拟环境中，AI 可以非常快速地浏览示例。例如，2017 年，DeepMind 的 AlphaZero 自学习游戏软件接受训练在围棋、国际象棋和日本象棋领域大杀四方。那时，AlphaZero 针对每场赛事进行了 2000 多万场训练游戏。

AI 机器人学习这种能力很慢。AI 和机器人公司 Ambidextrous 联合创始人 Jeff Mahler 表示，在深度学习领域，几乎所有的结果都极度依赖大量数据。他说道：「在单个机器人上收集数以千万计的数据点将需要连续数年的执行时间。」此外，数据或许不可靠，因为传感器校准会随时间出现变化，硬件也会退化。

因此，大多数涉及深度学习的机器人工作仍然使用模拟环境来加速训练。亚特兰大佐治亚理工学院机器人专业的博士生 David Kent 认为，你能学到什么取决于模拟器有多好。模拟器一直在改进，研究人员也正在把从虚拟世界学到的经验更好地转移到现实世界。然而，这样的模拟仍然无法应对现实世界的复杂性。

Finn 认为，使用机器人学习最终要比使用人工数据学习更容易扩展。她制作的会使用工具的机器人花了几天时间学会了一项相对简单的任务，但不需要大量的监控。她说:「你只要运行这个机器人，每隔一段时间就需要检查一下。」她想象着有一天，世界上有很多机器人可以使用自己的设备，昼夜不停地学习。这应该是可能的——毕竟，这是人们理解世界的方式。「小孩不能通过从 Facebook 下载数据来学习，」Schmidhuber 说。

从较少的数据中学习

需要指出的一点是，一个小孩也可以通过一些数据点识别出新的物体：即使他们之前从来没有见过长颈鹿，但依然可以在看过它们一两次后识别出来。识别如此之快的部分原因是，这个小孩已经看过很多除长颈鹿之外的其他生物，所以熟悉了这些生物的显著特征。

将这些能力赋予 AI 的一个统称术语是迁移学习：即将之前通过训练获得的知识迁移到其他任务上。实现迁移的一种方法是在新任务训练时将所有或部分预训练任务再次用作起点（starting point）。例如，再次使用已经被训练用来识别一种动物（如识别基本体型的层）的部分 DNN 可以在学习识别长颈鹿时为新网络带来优势。

（编辑：衡阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!