利用算力才是王道？Rich Sutton观点惹争议（欢迎留言讨论）

作者：机器之心来源：机器之心公众号

分享到：

03-17

机器之心编辑

机器之心编辑部

昨天机器之心介绍了机器学习先驱 Richard S. Sutton 写的一篇博客《》，他在文中探讨了人工智能近几十年来所走过的弯路，认为利用算力才是王道。这篇文章发布后引发了众多研究者与开发者的讨论。

Sutton 的观点

的第一句话即：「70 年的人工智能研究史告诉我们，利用计算能力的一般方法最终是最有效的方法。」，也就是说只有在给定计算力的情况下，利用人类知识才是提高性能的唯一方法，但前提是需要找到算力的高效使用方法。专门领域的人类知识只是短期内提升性能的方法，利用计算能力才是长期获得性能提升的关键。

从象棋、围棋到的各种任务，我们可能首先会从人类的角度思考怎么解决这些问题，再期望将我们的方法形式化为算法而解决实际任务。但是 Sutton 总结道，人类意识的实际内容是极其复杂的，我们不应该试图通过简单方法来思考意识的内容。因此，象棋、围棋和各种任务最终还是尽可能利用算力才获得了突破。

Sutton 说的这一点也确实很实际，拿我们比较熟悉的而言，传统方法大多都在手动设计各种特征，这些特征很可能是根据人类视觉或主观感受确定的。但是深度卷积神经网络使用了另一种不同的方式，虽然它也有生物学解释，但我们可以认为它更好地利用了计算力，是一种通用的计算模式。正如 Ian Goodfellow 等人所言：「任何一个使用矩阵乘法但并不依赖矩阵结构的特殊性质的神经网络，都适用于卷积运算。」

所以 Sutton 最后表示：「我们应该从苦涩的教训中学到一点：通用方法非常强大，这类方法会随着算力的增加而继续扩展，搜索和学习似乎正是两种以这种方式随意扩展的方法。」

那么你认为合理利用算力是不是最重要的？读者可在在文章下留言或者在知乎问答发表你的看法：

问答地址：https://www.zhihu.com/question/316260012

反对的声音

这篇文章引发了大量讨论。在众多的质疑声中，牛津大学计算机科学教授、Latent Logic 联合创始人和首席科学家 Shimon Whiteson 给出了很全面的分析：

「对于 Rich Sutton 在博客中提到的观点，我表示强烈反对。」他在博客中写道，「AI 的发展历程告诉我们，利用算力要比利用人类知识更好。我认为这是对历史的一种很奇怪的解释。的确，将人类知识应用于 AI 的许多努力被抛弃了，而且随着其他资源（不只是算力，还有内存、能源、数据等）变得越发丰富，还会有更多相关努力会被抛弃。」

但是，最终方法的成功不仅依赖于那些丰富的资源，同时也依赖于那些没有被抛弃的人类知识。

如果想要避开卷积、LSTM、ReLU、批归一化等进行深度学习，那么祝你好运。如果想在不利用静态、零和、可以获得全部信息等先验知识的前提下解决围棋问题，那么祝你好运。

因此，在 AI 的发展史中，利用人类知识并不是一种失败的举措。相反，正是因为利用了人类的知识，AI 才取得了今天的成就。这一切通过一个非常传统的研究策略实现：尝试许多并抛弃其中 99% 失败的部分。

剩下的 1% 对当今 AI 的成功非常重要，就像它所依赖的大量计算资源一样。Sutton 说，世界的内在复杂性意味着我们不应该在系统中建立先验知识。但我得出的结论恰恰相反：这种复杂性使得 Sutton 提议依赖的搜索和学习方法变得极其棘手。

只有拥有了正确的先验知识、正确的归纳偏置，我们才能驾驭那种复杂性。他说，「现代深度学习神经网络仅使用卷积和某些不变性的概念即可以取得更好的效果。」这句话中的「仅」暴露了这一说法的武断。

没有这些卷积和不变性，深度学习就不会取得成功，但这些因素被认为是最小的，而且足够普遍，可以接受。从这个角度来看，「The Bitter Lesson」这篇文章回避了主要问题，即我们要讨论的不是要不要利用人类知识（答案当然是「是」），而是利用哪些知识以及何时、如何利用。

Sutton 表示，「我们希望 AI 智能体能像我们一样去发现，而不是发现我们已经发现的东西。」当然，我们如此善于发现，正是因为我们天生具备正确的归纳偏置。AI 历史留给我们一份「甜蜜」（Sweet）的教训：尽管发现正确的归纳偏置并非易事，但这种做法可以让我们在其他棘手问题上取得重大进展。

佐治亚理工学院娱乐智能实验室博士 Matthew Guzdial 表示，「我看到很多人转发这篇文章，我认为确实值得一读。Sutton 认为通用方法（搜索和学习）比需要人类知识的方法要好。但是问题在于搜索和学习也需要专门的人类知识，比如表征、启发式方法／损失函数等。声称这些方法因为无需专门的人类知识所以效果更好，真是太容易了。但是事实上它们需要人类知识。」

赞同的声音

当然，除了这些反对的声音，也有些读者对 Sutton 的观点表示赞同。

谷歌大脑高级研究软件开发人员 Pablo Samuel Castro 表示：

我完全认同 Sutton 的这篇文章。「我们必须吸取惨痛的教训，即从长远看，构建人类大脑思维模式是行不通的。」

「我们不应该试图通过简单方法来思考意识的内容……我们只应该构建可以找到并捕获这种任意复杂性的元方法。」

几天前，我在 SXSW panel 上提到了类似的观点：我们不应该局限于大脑结构，因为我并不清楚它们对于我们使用的方法和基础架构而言是不是最优。

我对「人类启发」方法的主要质疑在于，AGI 并非我的工作方向。

同样特斯拉 AI 主管 Andrej Karpathy 也表示 Sutton 这篇文章介绍领域知识在算法的长期发展中的使用，如果我们查看以前的 AI 期刊就会明显发现这样说也是对的。

Open Philanthropy 高级项目助理 Catherine Olsson 表示：