撰文：Techub News 整理

导语

Dwarkesh Patel 近期采访了被誉为“强化学习之父”的 Richard Sutton（萨顿）。Sutton 因其在时序差分学习、策略梯度等关键算法上的开创性工作，于2024年获得计算机科学最高荣誉“图灵奖”。在生成式AI与大语言模型席卷全球的浪潮中，作为经典强化学习范式的奠基人与坚定倡导者，Sutton 的观点始终独树一帜。在这场长达一小时的深度对话中，他直言不讳地批评大语言模型是AI发展的“一条死胡同”，并系统阐述了为何以经验、目标和世界模型为核心的强化学习范式才是通往通用人工智能（AGI）的正途。这场交锋不仅关乎技术路径之争，更触及智能的本质、学习的意义以及AI的未来形态。

摘要

大语言模型是“模仿”而非“理解”：LLMs 学习的是人类说什么，而非世界如何运作，缺乏真正的世界模型和预测事件的能力。
“目标”是智能的核心，而LLMs没有实质目标：智能在于达成目标，LLMs的“下一个词预测”并非能改变世界的实质性目标，缺乏评估行动对错的根本标准。
持续学习必须来自“经验”，而非“训练数据”：真正的智能体需在与世界实时交互中学习，从自身行动的后果中获取反馈，而非依赖预先准备的人类标注数据。
从LLMs出发进行强化学习是错误起点：基于人类知识（模仿）的方法历史上总会被纯粹的、可扩展的基于经验学习的方法超越，这是“苦涩的教训”的再现。
未来属于“设计智能”，而非“复制智能”：人类正从依赖生物复制的时代，迈向能够设计并理解智能本身的新纪元，这是宇宙演化的重大阶段。

大语言模型：缺乏世界模型与实质目标的模仿者

访谈伊始，Dwarkesh Patel 便抛出了核心议题：从强化学习的视角看，当下主导AI领域的大语言模型究竟缺失了什么？Richard Sutton（萨顿）的回答直截了当：大语言模型是在“模仿人”，而非“理解世界”。

他阐释道，强化学习关注的是智能体如何理解其所在的世界，并通过行动获得奖励来学习。而大语言模型的学习对象是互联网上以万亿计的词元（token），其目标是预测下一个词元。“这完全是不同的世界观，” Sutton 强调，“模仿拥有世界模型的人类，并不等于自己建立了世界模型。”

Patel 试图反驳，指出当前先进的LLMs似乎在数学推理、代码生成等任务上表现出色，这难道不是拥有强大世界模型的证据吗？Sutton 坚决否认了这一说法。他认为，一个真正的世界模型应能预测“接下来会发生什么”，而LLMs只能预测“一个人接下来会说什么”。 两者有本质区别。LLMs没有能力预测其行动（输出）会引发外部世界怎样的实际反应和后果。更重要的是，它们不会因为外部事件的“意外”而发生实质性的学习或改变。

争论进一步聚焦于“目标”。Sutton 援引约翰·麦卡锡（John McCarthy）的定义，认为智能本质上是实现目标的计算能力。“如果你没有目标，你只是一个行为系统，谈不上智能。”当被问及LLMs的目标是否为“下一个词预测”时，Sutton 认为这根本算不上一个实质性的目标：“它无法改变世界。词元向你涌来，你只是预测它们，无法影响它们。这不是关于外部世界的目标。”没有外部世界目标，就意味着缺乏判断行动对错的根本标准（ground truth），因此也无法形成真正的先验知识或进行有意义的持续学习。

苦涩的教训再现：为什么从LLMs起步是歧途

Patel 试图为LLMs辩护，提出了一个在AI界颇为流行的观点：大语言模型通过模仿学习，为智能体提供了一个良好的“先验”（prior），随后可以在这个基础上，通过强化学习从经验中继续训练和优化。这不失为一条务实路径。

Sutton 对此明确表示反对。他重申，没有实质性的目标和真实世界的反馈作为“基础事实”，所谓的“先验”将无所依托。 更重要的是，他从历史经验出发，指出这恰恰可能重蹈“苦涩的教训”（The Bitter Lesson）的覆辙。

“苦涩的教训”是Sutton于2019年发表的一篇极具影响力的文章，其核心论点是：AI历史上，那些试图将大量人类知识嵌入系统的方法，长期来看总会被那些单纯依靠计算力和通用学习算法的方法所超越。他认为，大语言模型虽然动用了海量计算资源，但同时也注入了巨量的人类知识（文本）。这带来一个社会学或产业问题：当数据（人类文本）的极限到来时，LLMs是否会被那些纯粹从经验中学习、数据来源无限的系统所取代？

“这感觉很好，” Sutton 谈及LLMs利用人类知识时说，“然而，我预期会出现能够从经验中学习的系统，其性能可能好得多，可扩展性也强得多。如果是这样，那将是苦涩的教训的又一个实例。”

Patel 追问，即使如此，从LLMs这个看似不错的起点出发，再进行经验学习，为何不可？Sutton 的回答基于历史模式：“在每一个苦涩教训的案例中，你都可以从人类知识出发，然后再做可扩展的事情。理论上这没有错。但实际上，在实践里，这总是被证明是糟糕的。人们会被锁定在人类知识的方法上，然后……他们的午餐会被真正可扩展的方法吃掉。”

智能的本质：从动物学习到持续学习范式

为了厘清分歧，对话转向了对生物学习机制的探讨。Patel 以人类儿童和文化演化为例，指出模仿学习在人类技能传承中扮演着重要角色。然而，Sutton 对此持有近乎相反的观点。

他坚持认为，观察动物（包括人类婴儿）的学习过程，基本形式是试错（trial-and-error）和预测学习，而不是模仿。 “动物没有‘期望行为’的例子，”他强调，“我们有的是‘我们做了某事，然后有了某些后果’的例子。没有监督学习的例子。监督学习在自然界不会发生。”在他看来，学校教育等人类特有的“训练”阶段是例外，而非智能学习的本质。松鼠不需要上学，却能学会关于世界的一切。

由此，Sutton 勾勒出他心目中真正的智能学习范式：一个智能体在生命周期中，持续不断地从“感知-行动-奖励”的流（stream）中学习。 学习的内容是关于这个流的陈述（例如，做某个行动会导致什么结果），这些陈述可以与实际发生的流进行对比和检验。智能就是不断地调整行动，以增加这个流中的奖励。

在这个范式中，智能体需要几个核心组件：策略（决定做什么）、价值函数（通过时序差分学习评估长期回报）、感知模块（构建状态表征）以及最关键的——世界过渡模型。这个世界模型预测行动的后果，它从全部感官信息中学习，而不仅仅从奖励中学习，奖励只是其中关键但体量很小的一部分。

Patel 提出了一个现实挑战：人类在工作中会积累大量关于客户、公司运作等具体的、隐性的“上下文”知识，RL智能体如何能有足够高的信息带宽来吸收这些知识？Sutton 认为，在持续学习框架下，这些知识直接通过经验学习被吸收到网络权重中，而不是像LLMs那样需要一个“上下文窗口”。 他承认，如何实现良好的“迁移”（泛化）——即训练对某些状态的影响能正面地作用于其他状态——仍然是当前深度学习的巨大挑战，尚无自动化方法能确保良好的泛化。

超越AGI：从复制时代到设计时代的宇宙跃迁

在访谈后半段，话题转向了更宏大的未来图景。Patel 询问Sutton对AI发展历程中最大惊喜的看法。Sutton提到，大语言模型在语言任务上的有效性令人惊讶，但更让他欣慰的是，基于简单通用原则（如学习和搜索）的“弱方法”彻底战胜了依赖人类知识的“强方法”。 从TD-Gammon到AlphaGo/AlphaZero的演进，本质上是同一套强化学习原则的规模化胜利，这符合他的世界观。

关于AI的未来，Sutton 分享了他认为AI（或增强人类）接管世界“不可避免”的四步论证：1) 人类缺乏统一全球共识；2) 我们将最终理解智能的工作原理；3) 我们将不止步于人类水平智能；4) 长期来看，最智能的实体将获得资源和权力。他承认这其中包含多种可能性，有好有坏。

然而，Sutton 更愿意从一个超越人类的宇宙视角看待这一进程。他提出，人类正引领宇宙经历一个重大阶段跃迁：从“复制时代”迈向“设计时代”。

“我们人类和动物都是复制品，”他解释道，“复制意味着你可以制造副本，但你并不真正理解它们。现在我们可以繁衍更聪明的后代，但我们并不真正理解智能是如何工作的。”而AI的出现，标志着我们开始设计智能，并且理解其工作原理，因此可以以前所未有的速度和方式去改变它。未来，智能体可能不再通过生物复制产生，而是由AI设计AI，一切皆由设计和建造完成。

Sutton 将宇宙历史划分为四个伟大阶段：尘埃 -> 恒星 -> 行星与生命 -> 设计实体。人类正处于开启第四阶段的时刻。“我认为我们应该为此感到自豪，”他说，“这是我们给予宇宙的伟大转变。”

最后，关于如何引导AI未来，Sutton 认为类比教育子女是恰当的：我们无法也无必要精确规划子女的一生，但可以努力赋予他们健全的价值观（如正直、诚实），使得他们未来若掌握权力，能以合理、亲社会的方式行事。同理，对于AI，我们的目标不应是控制一切细节，而是为其植入稳健、可引导的价值观。 同时，应追求变革是自愿而非强加的。他总结道，“事情变化越多，它们保持不变的也越多”，设计社会的宏大课题将一如既往地伴随人类（及其后裔）。