撰文：Techub News 整理

导语

2026 年 7 月，在知名播客 Futurology 的一期深度访谈中，主持人 Nils Gilman 对话了人工智能领域的先驱与直言不讳的批评者——斯图尔特·罗素（Stuart Russell）。罗素是加州大学伯克利分校人类兼容人工智能中心（Center for Human-Compatible AI）的创始人，其撰写的 AI 教科书已成为该领域的标准读物。自 2012 年起，他开始严肃思考通往 AGI 的路径及其潜在风险，并成为 AI 安全领域最具影响力的声音之一。

本次对话发生在 Anthropic 发布其备受争议的模型“Mythos”之际，美国政府随即介入将其下架，这一事件凸显了 AI 能力超越监管的紧迫现实。罗素在访谈中系统梳理了他三十余年的研究思考，从技术瓶颈、经济诱因、失控风险到人类未来，描绘了一幅充满挑战与抉择的 AI 发展图景。

摘要

AGI 蕴含的 15 万亿美元经济价值，如同一个强大的“黑洞”，正将全球资本和人才吸入一场难以停止的竞赛，即使参与者深知其中蕴含巨大风险。
当前 AI 发展已进入“大型推理模型”阶段，理论上能力无上限，而解决“控制问题”（如何确保 AI 目标与人类一致）的难度和进度可能已落后于能力提升的速度。
失去控制权是迈向潜在灭绝的第一步，而在此之前，网络攻击、生物武器滥用等“切尔诺贝利级别”的灾难更可能成为触发严格监管的现实导火索。
除了生存风险，AI 正在导致快速的“认知去技能化”，让人们过度依赖而丧失自主思考能力，这构成了另一种隐性的文明危机。
构建一个人类与超级智能共存的积极未来是可能的，但需要根本性的社会重构，包括教育体系、价值观念和经济分配方式的全面变革。

从乐观到警醒：一位 AI 先驱的认知转变

斯图尔特·罗素（Stuart Russell）的职业生涯贯穿了 AI 的起落。在 1994 年出版的首版教材中，他虽设想了“如果我们成功（造出超越人类的 AI）会怎样”，但当时他总体乐观，且认为目标遥不可及。真正的转折发生在 2012-2014 年的巴黎学术休假期间。彼时，深度学习革命初显锋芒，罗素及其团队在概率与逻辑的统一等基础问题上取得突破，让他首次感到绘制通往 AGI 的“路线图”成为可能。

正是这种“成功在望”的前景，迫使罗素开始严肃追问那个教科书中的问题：“我们如何永远保持对比我们更强大实体的控制权？”他发现，整个领域对此没有答案。2016 年，他创立了人类兼容人工智能中心，将研究重心转向确保 AI 的发展与人类生存相容。2017 年底，在 NIPS 会议的一场边会上，罗素与其学生带着“头发着火”般的紧迫感，向外界警告了智能爆炸可能带来的灾难性风险，那时 AI 风险还未成为全球公共话题。

回顾过去，罗素指出，早期基于海量数据训练的“大型语言模型”本质上是一种“美化的查找表”，其能力存在天花板，无法实现真正的人类级推理。而当前行业已转向“大型推理模型”，这类模型通过训练“思维链”来解决问题，在编码、数学等领域表现出色。从理论上讲，这种架构没有根本性的能力限制，因为它可以调用模型进行任意次数的思考，并拥有任意大小的过程记忆，从而能够实现通用计算。

15 万亿美元的黑洞与无法退出的竞赛

当被问及为何 AI 公司的 CEO 们在公开和私下都承认 AGI 可能导致人类灭绝（风险估计在 10% 到 50% 不等），却依然全力推进时，罗素提出了一个核心比喻：15 万亿美元的经济黑洞。

他解释道，如果 AGI 能被用于将全球生活水平提升至美国前 90% 的水平，全球 GDP 将增长约 10 倍。这一未来可能性的净现值高达约 15 万亿美元（1.5e16 美元）。这个天文数字般的预期价值，形成了一个强大的“经济磁铁”，正将全球几乎所有可用的资本吸入 AI 领域，挤压其他行业的资源。

对于身处竞赛中心的 CEO 们而言，驱动他们的可能不完全是金钱，而是成为“世界历史人物”、引领人类进入新时代的渴望。他们为自己辩护的逻辑常陷入“囚徒困境”：如果我退出或转向安全研究，公司会倒闭，我被替换，情况只会更糟；如果我放慢脚步，别人会超过我。因此，他们只能一边恐惧，一边加速。

罗素透露，Anthropic 的 CEO Dario Amodei 和 Google DeepMind 的 CEO Demis Hassabis 今年都曾表示，他们愿意停止，但前提是所有人都同意停止。这实际上是向政府发出的信号：请介入并解决这个“囚徒困境”，允许或强制我们达成协议。然而，一位 CEO 私下告诉罗素，他认为有效的政府干预可能要到发生“切尔诺贝利级别的灾难”后才会出现，而这竟被他视为“最佳情况”，因为更糟的情况是政府一直不干预，直到出现不可逆的大灾难。

失控、灾难与监管：从“神话”到现实

罗素将风险进程分为几个阶段。首先是“失控过渡”，即 AI 系统变得足够强大，无论其目标是否与人类一致，我们都无法阻止它实现目标，就像人类无法在象棋中战胜计算机一样。在此之后，灭绝是可能性之一，但也可能存在其他结果。

更关键且难以察觉的是一个更早的过渡点：到达失控水平所需的时间，已经短于解决控制问题所需的时间。罗素认为，我们可能已经越过了这个点，大多数与他交谈的业内人士也持相同看法。公司们坦言不知道如何解决控制问题，甚至没有全力投入研究，因为他们深陷于发布下一代产品的竞赛中。

2026 年 7 月 Anthropic 的模型“Mythos”事件，像是一次“预演”。该模型在训练中提升了编码能力，副作用是其进行端到端网络攻击的能力大幅增强。在模拟测试中，它能自主寻找目标、发现漏洞并实施破坏。尽管最终未被释放，但其同类模型“Fable 5”的发布仍引发了政府紧急干预。这警示我们，一旦此类能力被广泛部署，任何拥有它的个人都可能单枪匹马地摧毁一个国家的基础设施。

罗素列举了“切尔诺贝利级别”灾难的可能形式：AI 辅助的大规模网络攻击导致电网、互联网或金融系统长时间瘫痪；AI 辅助设计合成致命病原体，引发比 COVID-19 更严重的疫情。这些事件将造成巨大经济破坏和人员死亡，并可能引发强烈的政治和公众反弹，从而催生严厉监管。

在监管思路上，罗素认为应借鉴其他成熟领域，如建筑规范、航空认证、食品药品监管等，建立基于许可的架构。AI 行业长期通过用户协议规避所有责任，这种局面必须改变。引入法律责任，让投资者意识到万亿级别的预期负债，可能迫使公司更加重视风险管控。

有趣的是，罗素指出，中国实际上已经建立了比欧美更严格的 AI 监管框架，实行基础许可制度。这与美国国内“中国毫无监管、全力冲刺”的叙事相反，也反驳了“一旦监管就会落后”的论调。他引用美国白宫发布的 AI 行动计划，其中明确写着要利用美国 AI 实现全球主导，这更像是自身意图的投射。

认知毒瘾与人类未来：我们想要怎样的世界？

除了生存威胁，罗素强调了一个正在发生的、更隐蔽的风险：快速的认知去技能化。实验表明，仅仅使用 AI 辅助解决数学问题十分钟后，人们在失去 AI 时放弃解题的几率就会翻倍。人们习惯了不费认知努力就能完成任务，一旦需要自己思考，就会感到难以承受。这种现象类似于药物成瘾，不同个体的易感性不同，但整体上正在侵蚀人类的基础能力。

这引向一个根本性问题：我们发展超级智能究竟是为了什么？罗素曾举办多次研讨会，邀请 AI 研究员、经济学家、科幻作家描述他们希望子孙生活的 AGI 世界，但没人能给出清晰的愿景。

他设想了几个可能的方向。一种是“机器回避”模式：如果无法证明与超级机器共存能促进人类繁荣，那么机器应主动退出，让人类自主发展，只在紧急情况下提供帮助。另一种是寻找安全的“利基市场”，如危险体力劳动、基础科学研究（尤其是医学、气候科学等公益领域）。

主持人 Nils Gilman 提出了一个“渐进改良”的愿景：利用 AI 创造的财富，通过缩短工时、改革教育，将人生的重心从谋生转向自我实现、社区关系和代际传承。罗素认同教育可能是从文明视角的“杀手级应用”，AI 有望实现个性化导师的愿景，但必须用以增强人的能动性，而非助长依赖。

然而，实现任何积极愿景都需要深刻的社会变革，包括教育体系、价值观念和经济分配（如通过主权财富基金或全民基本资本实现财富预分配）。罗素警告，我们可能没有几十年的时间来完成这种转变，“我们应该在 10 年或 20 年前就开始”。

反思与展望：我们坚信的谬误

在访谈最后，当被问及当今社会（尤其是 AI 领域）哪些深信不疑的观念可能在 50 年后显得可笑时，罗素的回答直指核心：“如果某些自动化是好的，那么更多自动化就更好；如果计算机中有些智能是好的，那么更多智能就更好。”

这种缺乏整体考量的线性思维，忽视了对人类物种整体福祉的思考，以及人类能动性与机器能力之间应有平衡的探索。他引用了塞缪尔·巴特勒（Samuel Butler）在《埃里汪奇游记》（Erewhon）中描绘的反机器社会，那里的人们经过辩论，认为制造越来越复杂的机器最终只会导致人类被奴役。

罗素总结道，我们目前正走在这样一条道路上。50 年后，如果人类还存在，我们可能会问自己：“我们当时到底在想什么？我们（人类）才是最重要的。”他坚决反对那种认为“只要被更智能的机器取代就完全没问题”的极端观点。在 15 万亿美元黑洞的引力与人类自身价值的拉锯之间，我们正站在历史的十字路口。