Nature发文：深度学习系统为什么这么好骗？

一种极端形式的迁移学习旨在通过向新网络展示少量示例（有时甚至只有一个示例）来训练它。此类已知的 one-shot 或 few-shot 学习极度依赖预训练的 DNN。举例而言，如果你想要构建一个能够识别出犯罪数据库中人的人脸识别系统，则利用包含数以百万计人脸（并不一定是数据库中的那些人）的 DNN 可以帮助该识别系统了解主要特征，如鼻子和下巴的形状。

所以，拥有此类预训练记忆可以帮助 AI 在未见过大量模式的情况下识别出新示例，这样可以加速机器人的学习速度。但是，如果面临一些它们经验范围外的任务，此类 DNN 或许依然表现不佳。这些网络能够实现多大程度的泛化也依然不清楚。

例如，DeepMind 的 AlphaZero 等最成功的 AI 系统所拥有的专业知识也极其有限。AlphaZero 虽然可以接受训练来下围棋和国际象棋，但无法同时进行。

学会如何学习

AlphaZero 在游戏领域的成功不仅仅归功于有效的强化学习，还要得益于一种算法（用到了蒙特卡洛树搜索技术的一种变体），这种算法可以帮助 AlphaZero 缩小下一步的选择范围。换言之，AI 学习如何以最好的方式从环境中学习。Chollet 认为，AI 的下一步重大进展将是赋予 DNN 编写各自算法的能力，而不仅仅是使用人类提供的代码。

Chollet 还说道，为基础的模式匹配补充推理能力将使得 AI 能够在它们的舒适区（comfort zone）外更好地处理输入。计算机科学家们多年来一直都在研究程序合成（program synthesis），让一台计算机自动生成代码。所以，在他看来，将这一领域与深度学习相结合可以生成更接近人类所使用的抽象心智模型的 DNN 系统。

例如，在机器人领域，Facebook AI 研究所（FAIR）的计算机科学家 Kristen Grauman 正在教机器人自身如何最有效地探索新环境。

该领域的研究人员表示他们在修复深度学习缺陷方面取得了一些进展，但他们也在探索一些新技术来使得 DNN 不那么脆弱。Song 认为，深度学习背后没有太多的理论可遵循。如果出了故障，则很难找出原因。整个领域依然以实证为主，所以研究人员必须亲自尝试着解决。

目前，尽管科学家们意识到了 DNN 的脆弱性以及他们对数据的过度依赖，但大多数人认为 DNN 技术将继续存在和发展。需要承认的一点是，近十年来，与大量计算资源相结合的神经网络可以在接受训练的情况下很好地识别模式。但遗憾的是，Clune 认为，没有人真正知道如何改进 DNN 技术。

【编辑推荐】

1. 1.3万亿条数据查询如何做到毫秒级响应_技术栈微信半月刊第50期
2. 打击换脸技术滥用，谷歌发布大型数据集对抗deepfake
3. 这项X射线技术让芯片无秘密可言：纳米级还原内部构造
4. 微软 AI 新技术：让你的头像照片动起来，并有感情地“讲话”

（编辑：衡阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!