撰文：Techub News 整理

导语

近日，OpenAI 联合创始人、首席科学家 John Schulman（约翰·舒尔曼）做客 Cursor 播客，进行了一场长达 51 分钟的深度对话。作为强化学习（RL）领域的奠基人之一，以及从 OpenAI 早期一路走来的核心人物，John Schulman（约翰·舒尔曼）的视角极具历史纵深感和行业洞察力。他目前也是新兴 AI 公司 Thinking Machines 的联合创始人。本次对话不仅回顾了 OpenAI 那段“草莽”岁月中的成败得失，更对当前 AI 研究的前沿问题、机构管理哲学以及技术未来走向，给出了坦诚而富有启发性的回答。

摘要

凭借后见之明，一个由少数精英组成的团队，完全有可能在 2018 或 2019 年就打造出 ChatGPT 3.5 级别的模型。
OpenAI 早期项目“Universe”是一个“死胡同”，但其追求通用 RL 智能体的核心理念“超前了可能十年”。
价值函数在当前的 LLM 强化学习（如 RLHF）中作用有限，但未来可能会“卷土重来”。
理想的 AI 研究管理者没有固定模式，需根据团队目标、成员经验和研究阶段，在“深度技术参与”和“放手赋能”之间灵活切换。
AGI 时间线预测充满不确定性，工程师的乐观估计通常需要乘以 2-3 倍的“现实系数”，但 AI 加速自身发展又可能带来意外突破。

ChatGPT 的“时空穿越”：少数精英与提前数年

访谈从一个有趣的假设开始：如果让 OpenAI 创始团队带着今天的全部知识回到 2015-2016 年，他们能以多快的速度“速通”ChatGPT？John Schulman（约翰·舒尔曼）给出了一个惊人的答案：“你完全可以用少得多的计算资源做到这一点。”他提到像 nanoGPT 这样的项目已经证明了这种可能性。关键在于，通过更巧妙的技巧，尤其是更好的“训练后”（post-training）方法，如精细的微调和巧妙构建的数据集，可以有效“放大”计算能力，让一个规模小得多的模型达到相当好的效果。

当被追问具体需要多少人、多少 GPU 以及在何时能完成时，John Schulman（约翰·舒尔曼）估算道：“如果你有几位才华横溢的人，带着充分的后见之明工作一年左右……我认为你可以在 2018 或 2019 年，用几个人就做出达到 GPT-3.5 水平的东西。”他补充说，这还建立在可以利用他人已有的预训练数据集和网络爬取成果的基础上。他甚至畅想未来可能会出现更极端的“演示场景版 ChatGPT”，即一个文件就能完成从网络爬取到全天训练的全过程。

OpenAI 的“草莽”岁月：死胡同与必要的弯路

如今市值巨大的 OpenAI，在早期却是一个“非正式”甚至有点“杂牌军”气质的团队。John Schulman（约翰·舒尔曼）证实了这一点，形容早期更像一个学术小组，研究人员根据个人兴趣主导项目，通常是一到三人合作，产出论文或博客文章。同时，他们也怀有进行大型工程项目的抱负，并深受 DeepMind 如 AlphaGo 等项目工作方式的影响。

然而，并非所有项目都通向成功。他重点提到了一个早期“死胡同”项目——Universe。该项目旨在汇集大量不同的 RL 环境（如各种电子游戏、网页导航任务），构建一个庞大的数据集，通过联合训练得到一个通用的、强大的 RL 智能体。“有趣的是，我认为这是一个根本上正确的想法，但就是太早了，可能早了十年。”John Schulman（约翰·舒尔曼）总结道。当时系统笨重，模型从零开始训练，泛化能力差，最终未能成功。团队后来转向更聚焦的环境（如模拟视频游戏集），才取得了更好的进展。像机器人项目也曾是公司的“死胡同”，但从长远看，它们锻炼了团队执行大型工程和科研项目的能力。

在谈到早期的大型工程项目时，John Schulman（约翰·舒尔曼）提到了 Dota 项目，这是 OpenAI 早期首个真正成功的大型计算密集型项目，涉及复杂的系统工作，包括如何接入 Dota 环境、构建训练系统以及进行大规模并行和异步 RL 训练。

管理科研“特种部队”：没有标准答案的难题

随着 AI 科研日益成为大团队协作的“大科学”，研究管理者的角色变得至关重要。John Schulman（约翰·舒尔曼）认为这是一个“棘手的问题”，因为成功的管理模式多种多样，且领域本身在快速变化。

他观察到两种有效模式：一种是深度参与型，管理者亲自动手写大量代码，审阅所有下属的代码，提供详细的技术反馈；另一种是赋能放手型，管理者更像一个“共鸣板”，提供职业建议，保持团队积极性和动力，让成员自由探索。

“没有一种模式适合所有情况。”John Schulman（约翰·舒尔曼）分析道，如果团队从事探索性研究，且成员经验丰富，那么放手模式更合适；如果目标明确，或者团队成员经验尚浅，需要执行具体任务，那么深度参与、提供更多技术监督的模式可能更有效。

关于研究机构的文化溯源，John Schulman（约翰·舒尔曼）表示，OpenAI 可能更多借鉴了成员们之前工作过的地方（如谷歌、DeepMind）的经验，而非刻意研究历史上的成功实验室（如贝尔实验室、施乐帕克）。早期 OpenAI 更像“和平时期”，允许更多探索性工作；而近年新成立的许多公司则更多处于“追赶模式”，先复制当前技术前沿，这可能导致探索性研究“肌肉”锻炼不足。

强化学习的现在与未来：价值函数会卷土重来吗？

作为 RL 专家，John Schulman（约翰·舒尔曼）对当前 RL 在 LLM 领域的应用现状和未来方向进行了剖析。

他首先解释了为什么价值函数（Value Functions）在当前流行的 RLHF 等任务中不那么受欢迎：“它们似乎帮助不大。”价值函数的主要作用是方差缩减，但在当前任务集上，效果并不明显。他坦言不清楚具体原因，但预计价值函数未来会在某个时刻“卷土重来”。

对于持续学习（Continual Learning）这一挑战，John Schulman（约翰·舒尔曼）认为它包含多种类型（如运动学习、情景记忆、程序性记忆）。他预计上下文学习（in-context learning）和长上下文能力会持续改进，而像 LoRA 这样的参数微调技术将在此基础上发挥作用，尤其适用于需要大量容量和知识吸收的记忆类型。但他也指出，如果模型规模持续扩大，即使方法论不变，各项指标也会持续改善；当然，新方法可能会带来更优的缩放定律，加速持续学习。

关于 RL 研究的未来，John Schulman（约翰·舒尔曼）认为许多想法会经历“时尚轮回”，有些想法出现得过早未能兑现承诺，但之后可能再度流行。他特别提到离线 RL（Offline RL） 和仿真到现实（Sim-to-Real） 是很有趣的方向。当前 LLM 领域的 RL 某种程度上类似于 Sim-to-Real，即在多样化的模拟环境中进行大规模 RL 以求泛化到现实世界。他认为这项技术在机器人领域依然有效，并预计未来 LLM 领域也会重新重视从真实部署中学习。

AGI 预测与行业变迁：从“怪人”聚集到工程能力优先

对于炙手可热的 AGI 时间线预测，John Schulman（约翰·舒尔曼）表现出审慎的态度。他认同工程师和研究者在预估项目时间上存在系统性低估的倾向，通常需要乘以 2-3 倍的系数才能接近现实。参考自动驾驶技术的发展历程，他认为 AGI 可能比一些乐观预测来得更晚。

“另一方面，AI 加速自身发展的正反馈循环也可能颠覆直觉。”他补充道，考虑到这一因素，一些较短的预测时间线也颇具说服力。因此，他并不愿做出非常自信的预测，认为其中存在大量不确定性，例如人类理解进展的瓶颈等。

回顾 AI 领域人才构成的变化，John Schulman（约翰·舒尔曼）认为早期从业者“可能更奇怪一些”，因为当时 AI 的重要性不像今天这样是“传统智慧”，吸引了更多非传统职业路径和风险承受能力更高的人。如今，更多遵循常规职业路径、风险承受能力相对较低的人进入这个领域。同时，由于竞争激烈，入行门槛也水涨船高。

更重要的是，工程技能的重要性如今已超过以往。因为扩展现有简单想法并良好执行就能带来大量收益，且领域更加成熟，研究者通常是在他人代码库和基础设施上构建，而非从零开始。因此，拥有软件工程背景的人现在更具优势。

Thinking Machines 的蓝图：Tinker 与未来展望

在访谈的最后部分，John Schulman（约翰·舒尔曼）谈到了他目前联合创立的公司 Thinking Machines 及其推出的产品 Tinker。

Tinker 被描述为一个低层级微调 API，提供了一小组用于训练和采样的底层原语，让用户能够表达几乎任何想要的训练后算法，而无需担心 GPU、加速器或复杂的分布式系统问题。它类似于 OpenAI 和 Anthropic 提供的采样 API，但专注于训练环节。John Schulman（约翰·舒尔曼）希望未来的初创公司能够直接基于 Tinker 构建复杂定制模型，而无需自研基础设施。

目前，Tinker 主要面向对 ML 有深入了解、希望使用这些底层原语的资深用户。但团队计划不断改进，增加更多功能（如多模态输入输出），并构建更多工具和高级组件，使其未来变得更加用户友好，成为一个“全栈”解决方案。

关于 Thinking Machines 的未来，John Schulman（约翰·舒尔曼）透露，明年将看到公司自有模型的相关发布，同时 Tinker 平台也将持续增强。