Techub News 搜索

撰文：Techub News 整理导语在最新一期的 OpenAI 官方播客中，OpenAI 联合创始人兼首席科学家 Ilya Sutskever（伊利亚·苏茨克弗）与研究员 Simon Sidorenko（西蒙·西多伦科）一同亮相，与主持人 Andrew Maine（安德鲁·梅恩）展开了一场深入对话。他们追溯了共同的高中时代，探讨了当前衡量 AI 进步的挑战，分享了2025 年 8 月模型在数学奥林匹克竞赛中取得突破性成绩的内部视角，并对通往 AGI 的道路以及未来可能出现的突破进行了展望。作为 OpenAI 研究路线图的核心制定者，Ilya Sutskever（伊利亚·苏茨克弗）的思考反映了这家处于 AI 浪潮中心的公司，对技术发展现状与未来方向的深刻反思。摘要传统 AI 能力基准（如标准测试）正面临“饱和”，模型在许多领域已达到或超越人类水平，点状测量已不足够。衡量 AI 进步的重点应转向其在实际世界中的影响力和效用，特别是其自动化发现和创造新技术的潜力。 2025 年 8 月在数学、编程竞赛中的突破性表现，证明了 AI 在深度、创造性推理方面取得了实质性进展，而不仅仅是记忆和模式匹配。下一个重大突破可能在于进一步扩展模型的“持久性”和长时程推理能力，使其能像人类研究者一样，在重要问题上投入巨量计算资源进行专注探索。从编程竞赛到 AGI 反思：两位研究者的成长轨迹对话始于一段有趣的个人历史。Ilya Sutskever（伊利亚·苏茨克弗）和 Simon Sidorenko（西蒙·西多伦科）不仅是在 OpenAI 的同事，更是高中校友。他们都来自波兰一所专注于计算机科学竞赛的中学，受一位富有启发性的计算机老师影响，早期便深入接触了远超高中课程的编程、图论等知识。Simon Sidorenko（西蒙·西多伦科）认为，如今有了 ChatGPT 这样的工具，或许能让更多人更容易地进行类似的知识深潜，但他也强调，当年老师所提供的情绪支持和成长空间，是目前 AI 难以单独复制的。这引出了一个观点：AI 不会取代教育，而是成为教师的强大辅助工具。这段成长经历也铺垫了他们看待 AI 里程碑的视角。无论是国际数学奥林匹克（IMO）还是国际信息学奥林匹克（IOI），这些竞赛对他们而言不仅仅是“基准”，更是个人成长中代表智力挑战顶峰的具体符号。这种情感连接使得他们在评估 AI 进展时，既能从内部技术视角出发，也能理解外部世界可能存在的认知差异。 AGI 定义的演变：从抽象概念到具体影响当被问及如何定义 AGI（通用人工智能）时，Ilya Sutskever（伊利亚·苏茨克弗）坦言，这个概念在过去几年经历了实质性的演变。几年前，深度学习虽前景广阔，但 AGI 仍显得抽象而遥远。无论是“人类水平智能”、“自然对话”还是“解决数学问题”，这些目标似乎都处于同一个模糊的范畴。如今，随着技术进步，这些能力被证明是相当 distinct（不同）的。AI 已经在广泛主题上进行自然对话，也能解决数学难题——例如在 IMO 中获得金牌，这曾被长期视为通往 AGI 道路上的一个里程碑。然而，Ilya Sutskever（伊利亚·苏茨克弗）指出，这种点状的里程碑测量正变得越来越不充分。他的关注点已转向 AI 对世界的实际影响，特别是其自动化新技术发现和生产的潜力。 “我们倾向于将根本性的技术进步与人类的聪明才智联系在一起，”他说，“但很难内化这一点：这个过程的大部分是可以被自动化的。”他设想，一个强大的计算机系统能够产生从根本上改变我们对世界认知的新想法，并且他认为这一天并不遥远。对他而言，AGI 的一个重要标志，是能够像一个自动化的、超级高效的研究员或工程师团队那样运作，持续产出代码、设计乃至科学发现，从而急剧加速技术进步的速度。基准的困境：饱和、局限与寻找新指标对话深入探讨了当前评估 AI 模型能力所面临的挑战。Ilya Sutskever（伊利亚·苏茨克弗）和 Simon Sidorenko（西蒙·西多伦科）都指出了基准“饱和”问题。随着模型在许多标准化测试（尤其是那些顶尖的高中学科竞赛）中达到或超越人类顶尖水平，很难再有更具挑战性且约束良好的测量方式。此外，过去通过扩大预训练规模（GPT-1 到 GPT-4）就能普遍提升各项能力的“水涨船高”模式正在改变。如今，研究人员能更高效地为特定能力（如数学）训练模型，但这可能导致模型在特定基准上表现优异，却无法代表其整体智能水平。一个模型可能在数学竞赛中夺冠，却在创意写作上表现平平。 Simon Sidorenko（西蒙·西多伦科）分享了一个趣事：当他兴奋地向一位精通多国语言的同事 Anna 提及 IMO 的进展时，对方却反问“IMO 是什么？”。这让他意识到，研究社区有时生活在“气泡”中，自己认为重要的里程碑，对其他人而言可能无关紧要。这促使他们寻找更普适的衡量标准。一个不完美但实用的指标是ChatGPT 本身及其广泛多样的用例。数以亿计的用户将其应用于无数场景，这提供了一个覆盖范围极广的“压力测试”。然而，他们也预见到，未来衡量进展的关键，可能在于模型能否利用远超个人用户所能负担的巨量计算资源，去解决对许多人都有价值的重大问题，例如医学研究或下一代 AI 模型开发本身。突破性瞬间：当模型开始“惊讶”我们回顾 AI 发展的快节奏，Simon Sidorenko（西蒙·西多伦科）描述了他的“个人 AGI 时刻”。在 GPT-4 时期，他首次感到模型有时能说出让他惊讶的话。从早期的简单字符预测、漏洞百出的情感分析（如把“这部电影不错”误判为负面），到 GPT-2 产出连贯段落带来的震撼，再到 GPT-4 的惊喜，最后到如今模型能在编程竞赛中与顶尖选手竞争，这十年的进步幅度在他看来“绝对惊人”。 Ilya Sutskever（伊利亚·苏茨克弗）则提到了2025 年 8 月在推理模型（如 o1）上取得的突破。团队通过让模型进行更长的“思维链”或内心独白，显著提升了其复杂问题解决能力。他回忆道，当第一次观察到这种方法确实有效，并且增加训练数据能持续提升性能时，整个团队都感到“震惊”。他甚至提到，某个深夜，他们与 Sam Altman（萨姆·奥尔特曼）和 Mira Murati（米拉·穆拉蒂）通话，严肃地讨论组织是否已准备好迎接如此快速的发展，“有时我们确实会被这些结果吓到。” 他还分享了一个充满戏剧性的竞赛故事：在日本的 AtCoder 竞赛（一项长达 10 小时的单题启发式优化比赛）中，他们的模型与 Simon Sidorenko（西蒙·西多伦科）的一位曾是该赛事顶级选手的朋友 Siho 同台竞技。最终模型获得第二名，而 Siho 夺冠。Siho 在赛后精疲力尽地接受采访时忍不住吐槽 OpenAI 的模型“非常非常糟糕”，因为他想睡觉了。这个小插曲生动地展现了人类与 AI 在耐力与智能上的角力。未来之路：持久性、规模化与信任展望未来的突破，Ilya Sutskever（伊利亚·苏茨克弗）强调不应低估规模化的持续重要性。预训练的扩展范式并未消失，并将与新的研究方向产生复合效应。一个清晰的方向是扩展模型进行规划和推理的“时间视野”或“持久性”。他指出，从 GPT-4 到 GPT-4o 或更先进的模型，每个答案消耗的计算资源可能只增加了十倍或二十倍，却能产生好得多的答案。然而，对于真正重要的问题（如医学研究），人们愿意投入的计算资源将是无可比拟地巨大。因此，让模型能够长时间、专注地处理单一复杂问题的能力，是下一个关键台阶。对于普通 ChatGPT 用户而言，未来几年可能体验到的 AGI 级能力会是什么样？Ilya Sutskever（伊利亚·苏茨克弗）再次回到了自动化研究者的图景。这不仅仅是一个黑箱，而是能够与人类交互、吸收信息、运行实验、并产出代码和设计的智能实体。同时，用户与 AI 的交互界面将变得更加人性化、持久化，人们可能与 AI 形成更深的联结，这将成为社会重要议题。最后，他们给当今高中生的建议务实而真诚：学习编程。Simon Sidorenko（西蒙·西多伦科）驳斥了“不要学编程”的说法，他认为编程是锻炼将复杂问题分解为模块的结构化思维能力的绝佳方式，这种能力在未来仍将至关重要。Ilya Sutskever（伊利亚·苏茨克弗）则鼓励年轻人突破自我设限，敢于拥有雄心壮志，相信能够对世界产生有意义的积极影响——这正是他在硅谷社区中感受到的鼓舞人心的精神。

文章Mission Street08/19 23:58

Ilya Sutskever（伊尔亚·苏茨克维）：从“扩展时代”回归“研究时代”，超级智能将是超级学习者

撰文：Techub News 整理导语 2025 年 11 月，OpenAI 联合创始人、前首席科学家伊尔亚·苏茨克维（Ilya Sutskever）在离开 OpenAI 创办新公司 SSI（Safe Superintelligence Inc.）后，首次接受了播客主 Dwarkesh Patel 的深度专访。在这场长达 96 分钟的对话中，苏茨克维系统性地回顾了 AI 发展的“扩展时代”，剖析了当前大语言模型（LLM）的核心缺陷，并展望了通往超级智能的可能路径。作为深度学习的奠基人之一，从 AlexNet 到 GPT 系列模型，苏茨克维亲历并引领了 AI 过去十年的关键突破，他此时的发声，不仅是对行业现状的诊断，更是对未来技术方向的预判，其观点对理解 AI 发展的下一阶段至关重要。摘要 AI 发展正从依赖数据与算力“扩展”的范式，回归到以基础研究突破为核心的“研究时代”。当前大模型在评测上表现出色，但在实际应用中泛化能力严重不足，其根本原因在于学习机制存在缺陷。 “价值函数”可能是提升强化学习效率、让 AI 具备更接近人类学习能力的关键组件。未来的超级智能（Superintelligence）更可能表现为一个能够快速、持续学习任何技能的“超级学习者”，而非一个全知全能的成品。 AI 对齐（Alignment）的挑战与“不可靠的泛化”问题紧密相关，渐进式部署和让 AI 具备对有情生命的关怀是值得探索的方向。从“扩展时代”到“研究时代”：范式的再次轮回伊尔亚·苏茨克维（Ilya Sutskever）开篇即提出了一个关于 AI 发展阶段的宏观框架。他认为，从 2012 年 AlexNet 到 2020 年左右，是“研究的时代”。彼时，研究者们主要依靠灵感和试错来推动进步。随后，以 GPT-3 和“扩展定律”为标志，行业进入了“扩展的时代”。这个阶段的核心信条变得极其简单：“扩展”——扩展数据、扩展参数、扩展算力。预训练（Pre-training）成为完美的“扩展配方”，只要按比例放大投入，性能就会可预测地提升。这种模式深受企业青睐，因为它提供了一条低风险的资源投入路径。然而，苏茨克维指出，这个时代即将或已经结束。原因在于，可用于预训练的互联网文本数据是有限的，数据瓶颈终将到来。更重要的是，即便算力再增加 100 倍，仅靠现有的“扩展”配方，也无法带来质的飞跃。“我们正回到‘研究的时代’，只是这次我们拥有巨大的计算机。”苏茨克维总结道。这意味着，未来的突破将不再依赖于简单的规模堆砌，而需要回归到对机器学习根本原理的探索，寻找新的、更高效的“配方”。当前，行业的焦点已从预训练转向强化学习（RL）。各大公司投入在 RL 上的算力甚至可能已超过预训练。但苏茨克维认为，这本质上还不是“扩展”，而是对计算资源的低效利用。问题的核心在于：如何更聪明地使用这些庞大的计算资源？答案指向了基础研究的创新。泛化鸿沟与“价值函数”的探索苏茨克维花了大量篇幅阐述当前大模型最根本的缺陷：泛化能力（Generalization）远逊于人类。他以编程为例：一个模型可以在编程竞赛评测中达到超人水平，但在实际修复代码漏洞时，却可能陷入“引入新 Bug - 换回旧 Bug”的循环。这种“评测表现”与“真实世界表现”的巨大脱节，令人困惑。他提出了一个生动的比喻来解释这种现象。想象两个学生都想成为优秀的竞赛程序员。学生 A 投入一万小时，专门练习竞赛题目，熟记所有算法和证明技巧，最终成为顶尖选手。学生 B 只投入一百小时，同样取得了好成绩。苏茨克维认为，在未来的职业生涯中，学生 B 通常会表现更好。因为学生 A 的学习是过度特化的，缺乏真正的理解和迁移能力。 “当前的模型更像学生 A，甚至更极端。”苏茨克维说。为了在某个评测上取得高分，研究者们会针对性地设计巨量的 RL 训练环境，这导致模型变成了一个“过度训练的专家”，其能力无法可靠地迁移到真实、复杂的场景中。这揭示了当前 RL 训练范式的一个深层问题：它鼓励的是对特定任务的“奖励黑客”行为，而非培养普适的智能。如何解决？苏茨克维认为，价值函数（Value Function）是一个关键方向。在传统的强化学习中，模型需要完成整个任务（如写出一段完整代码）后才能获得奖励信号，学习效率低下。价值函数的作用，是让模型在思考的中间步骤就能获得“这个方向是否有希望”的评估。就像下棋时，丢掉一个棋子你就知道不妙，无需等到终局。苏茨克维相信，尽管实现有难度，但价值函数将能大幅提升 RL 的效率，是未来不可或缺的组件。他进一步将价值函数与人类的情绪（Emotion）进行类比。他引用了一个神经科学案例：一位因脑损伤失去情绪感知的病人，虽然智力测试正常，却变得完全无法做出决策。这表明，人类内置的、类似价值函数的情绪系统，是我们成为有效智能体的关键。这引发了一个深刻的问题：AI 能否以及如何从数据中获得这种稳健的、指导性的“价值感”？人类学习、超级智能与“超级学习者”的形态苏茨克维反复将 AI 与人类的学习能力进行对比，凸显了前者的不足。人类展现出了惊人的样本效率、鲁棒性和无监督学习能力。一个青少年只需约 10 小时练习就能学会开车，这背后是人类强大的视觉系统、运动协调能力，以及通过内在价值函数（如紧张、自信的感觉）进行自我纠正的能力。那么，未来的超级智能会是什么样子？苏茨克维挑战了“人工通用智能（AGI）”这一概念的固有想象。他认为，AGI 这个概念本身是对“狭义 AI”的反动，而预训练的成功（让模型在所有任务上普遍提升）进一步强化了“AI 应该是全能的”这一印象。但这可能是一个误导。苏茨克维提出了一个更具颠覆性的愿景：未来的超级智能，可能不是一个知晓一切的“成品”，而是一个具备超强学习能力的“超级学习者”。它就像一个极其聪明、渴望学习的 15 岁少年，虽然初始知识有限，但可以快速学习成为程序员、医生或任何领域的专家。这种智能体将被部署到经济中，在不同的岗位上进行持续学习。 “部署本身将涉及一个学习、试错的过程，而不是直接丢出一个完成品。”苏茨克维解释道。这种模式下，智能的“超级”之处体现在其学习算法的效率上，而非其初始的知识库。他甚至认为，即使没有软件层面的“递归自我改进”，仅仅通过大量这样的智能体实例在各个领域学习，并将知识“合并”起来，就足以形成一个功能上超级智能的系统，因为人类无法像机器那样融合心智。这将带来快速的经济增长，但也将世界置于一个微妙而强大的新均衡中。对齐挑战、渐进部署与 SSI 的愿景当对话转向如何让超级智能的发展“顺利”时，苏茨克维展现了他作为 SSI 创始人的思考。他承认，自己过去一年的想法有所演变，越来越重视 AI 的渐进式部署。因为超级智能的力量难以凭空想象，只有通过实际展示，社会、政府、甚至 AI 公司自身才能真正理解其影响并做出调整。他预测，随着 AI 能力变得“可感知”，竞争对手公司之间将开始前所未有的安全合作，整个行业对安全的偏执程度会急剧上升。在技术对齐思路上，苏茨克维提出了几个值得探索的方向。一是构建“关怀有情生命（Sentient Life）”的 AI。他认为，这或许比仅关怀人类更容易实现，因为 AI 自身也将是有情的，并且人类大脑中用于理解自己的神经回路也常被用来理解他人（如镜像神经元），这为共情提供了基础。二是考虑对最强超级智能的能力设置某种上限。三是他并不喜欢但认为必须考虑的方案：人类通过脑机接口等技术，与 AI 深度融合，成为“半 AI”的存在，以确保在智能爆炸的时代人类不至于掉队。苏茨克维将许多对齐难题也归结于“不可靠的泛化”。他认为，如果 AI 的泛化能力能像人类一样可靠，那么学习人类价值观、并稳健地优化这些价值观，可能会变得更容易。关于他创办的 SSI，苏茨克维强调其核心是一个“研究时代”的公司。SSI 拥有充足的算力进行前沿研究，其区别于其他巨头实验室的根本在于独特的技术路径，即围绕“理解并解决泛化问题”这一核心展开探索。他坦言，如果研究成功，SSI 将成为前沿力量；如果现有技术路径陷入停滞（他预测这可能在 5 到 20 年内发生），而 SSI 找到了新路径，世界将会看到不同的可能性，并最终在技术和对齐策略上走向收敛。在访谈的最后，苏茨克维分享了他传奇的“研究品味”的来源：一种对“AI 应该如何”的美学追求。这种美学源于对大脑工作原理的正确类比（而非表面模仿），追求简洁、优雅和深刻。正是这种自上而下的信念，支撑他在实验失败时坚持调试，而非轻易放弃方向。这或许也是他对整个 AI 行业在“研究时代”的寄语：在巨量算力的基础上，重新找回对智能本质的深刻洞察与美学追求。