Skip to content
Scan to share

The Bitter Lesson of AI Research

https://chatek.co/posts/the-bitter-lesson-of-ai-research

The Bitter Lesson of AI Research

Chance Jiang
Published date:

One thing that should be learned from the bitter lesson is the great power of general purpose methods, of methods that continue to scale with increased computation even as the available computation becomes very great. The two methods that seem to scale arbitrarily in this way are search and learning.

— Rich Sutton, The Bitter Lesson, March 13, 2019, Read full essay (English)


从七十年 AI 研究中可以读出的最大教训是:能够利用算力的通用方法,最终才是最有效的,而且遥遥领先。其根本原因是摩尔定律,或者更准确地说,是它的推广形式——单位算力的成本持续指数级下降。大多数 AI 研究都是在「智能体可用的算力保持不变」的假设下进行的(在这种假设下,利用人类知识几乎是提升性能的唯一途径);但只要把时间尺度拉长到超过一个典型研究项目的周期,海量的新算力就必然会出现。为了寻求短期内就能见效的改进,研究者倾向于利用自己对该领域的人类知识;但长期来看,唯一重要的正是对算力的利用。这两者并不必然冲突,但实践中往往相互对立:花在一方的时间就是没花在另一方的时间。人们会对某条方法路线产生心理上的投入与承诺。而且,人类知识路线倾向于把方法复杂化,使其更难以借助能利用算力的通用方法。AI 研究者迟迟才领悟这条苦涩教训的例子有很多,回顾其中最著名的几个案例是很有教益的。

在国际象棋领域,1997 年击败世界冠军卡斯帕罗夫的方法,靠的是大规模、深度的搜索。当时,大多数计算机象棋研究者对此感到沮丧——他们一直在追求利用人类对国际象棋特殊结构的理解的方法。当一个更简单的、基于搜索并结合专用软硬件的方法被证明远为有效时,这些基于人类知识的象棋研究者输得并不体面。他们说「暴力」搜索这次或许赢了,但这并不是一种通用策略,而且这也不是人类下棋的方式。这些研究者希望基于人类输入的方法获胜,当结果并非如此时,他们失望了。

计算机围棋领域出现了相似的研究进展模式,只是又延迟了 20 年。大量的早期努力都在于通过利用人类知识或棋类的特殊性质来避免搜索,但一旦搜索被有效地大规模运用,所有这些努力都被证明无关紧要,甚至更糟。同样重要的还有通过自我对弈来学习价值函数(许多其他棋类游戏如此,甚至国际象棋也是如此,尽管学习在 1997 年首次击败世界冠军的程序中并未起太大作用)。自我对弈的学习,以及一般意义上的学习,与搜索类似:它们都能让海量算力得以发挥作用。搜索与学习,是 AI 研究中利用海量算力的两大最重要的技术类别。在计算机围棋中,正如在计算机象棋中一样,研究者最初的努力都指向利用人类理解(从而减少所需的搜索),而只有在很久之后,拥抱搜索与学习才带来了远为巨大的成功。

在语音识别领域,20 世纪 70 年代有一场由 DARPA 资助的早期竞赛。参赛者中有一大批利用人类知识的特殊方法——关于单词的知识、音素的知识、人类声道的信息等等。另一边则是较新的、统计性质更强、进行更多计算的方法,基于隐马尔可夫模型(HMM)。统计方法再一次战胜了基于人类知识的方法。这带来了整个自然语言处理领域的重大转变:在数十年间,统计与计算逐渐主导了这个领域。近期深度学习在语音识别中的崛起,正是这一始终如一的方向上的最新一步。深度学习方法更少依赖人类知识,动用更多算力,并在巨大的训练集上学习,从而造出了性能大幅提升的语音识别系统。正如在棋类游戏中一样,研究者总是试图让系统按照他们设想自己心智运作的方式工作——他们试图把那些知识塞进系统——但这最终被证明适得其反;当海量算力通过摩尔定律变得可得、且人们找到了善用它的途径时,那就是对研究者时间的巨大浪费。

计算机视觉领域也出现了类似的模式。早期方法把视觉想象成对边缘、广义圆柱体的搜索,或以 SIFT 特征来刻画。但今天这一切都被抛弃了。现代深度学习神经网络只使用卷积和某些不变性的概念,却表现得远为出色。

这是一个巨大的教训。作为一个领域,我们还没有彻底吸取它,因为我们仍在犯同样的错误。要看到这一点并有效地抵制它,我们必须理解这些错误的吸引力所在。我们必须吸取苦涩的教训:把「我们以为自己如何思考」构建进系统,从长期来看并不奏效。苦涩教训建立在如下历史观察之上:1)AI 研究者常常试图把知识构建进他们的智能体;2)这在短期内总是有帮助,也让研究者个人感到满足;但 3)长期来看它会陷入平台期,甚至抑制进一步的进步;而 4)突破性的进展最终会由相反的路线带来——通过搜索与学习将算力规模化。最终的胜利带着苦涩的意味,而且往往未被充分消化,因为这是战胜了受偏爱的人类中心方法的胜利。

从苦涩的教训中应当学到的一点是:通用方法——那些能随算力增长而持续扩展的方法,即便可用算力已变得极大——具有伟大的力量。看似能以这种方式任意扩展的两种方法,就是搜索与学习。

从苦涩教训中应学到的第二个一般性要点是:心智的实际内容是极其复杂、无可救药地复杂的;我们应当停止尝试为心智的内容寻找简单的思考方式——比如关于空间、物体、多智能体或对称性的简单思考方式。所有这些都是任意的、本质上复杂的外部世界的一部分。它们不是应当被构建进去的东西,因为它们的复杂性是无尽的;相反,我们应当只构建那些能够发现并捕捉这种任意复杂性的元方法。这些方法的关键在于:它们能够找到好的近似——但寻找的过程应当由我们的方法来完成,而不是由我们亲自完成。我们想要的是能够像我们一样去发现的 AI 智能体,而不是包含着我们已有发现的智能体。把我们的发现构建进去,只会让人更难看清「发现」这一过程本身如何实现。

(全文完)

Next
The AI x Blockchain Blind Spots for Chinese Builders