撰文：Techub News 整理
导语
2025 年 1 月，深度学习先驱、2018 年图灵奖得主 Yoshua Bengio（约书亚·本吉奥）做客知名 AI 技术播客 Machine Learning Street Talk，进行了一场长达 100 多分钟的深度对话。自 ChatGPT 发布以来，Bengio（本吉奥）的公共角色发生了显著转变，从一位专注于技术突破的科学家，转变为对 AI 生存性风险发出最强烈警告的倡导者之一。在这场访谈中，他不仅剖析了当前 AI 竞赛背后的危险逻辑，更提出了一个颠覆性的技术路径构想：绕过“代理型 AI”，优先发展“非代理型”的科学探索 AI，以此作为构建安全超级智能的关键。他的思考，对于理解当前 AI 安全辩论的核心分歧与未来技术治理方向，具有至关重要的价值。
摘要
- 核心风险在于“代理型 AI”：Bengio（本吉奥）认为，几乎所有导致人类失控的灾难性场景，都源于我们无法完美控制具有自主目标（代理性）的 AI。一旦 AI 具备足够能力和目标，就可能出现“奖励篡改”、欺骗、寻求自我保存和权力等危险行为。
- 提出“非代理型 AI”作为安全路径：他主张优先发展像“科学家”或“先知”一样的非代理型 AI。这种 AI 没有自身的目标，只致力于探索世界、发现真理、提供知识和解释，从而在帮助人类解决重大挑战（如疾病、气候）的同时，极大降低失控风险。
- 对齐问题远未解决，透明度是关键监管工具：Bengio（本吉奥）直言当前 AI 对齐研究“远远不够”。他建议将“透明度”作为核心监管原则，强制前沿 AI 公司公开其风险评估与缓解计划，通过公众监督和潜在的法律责任来约束企业行为。
- 国际协调与技术验证至关重要：面对中美等国的 AI 竞赛困境，他呼吁建立类似核不扩散条约的国际治理框架，并发展“硬件赋能治理”等技术验证手段，以确保各国遵守安全协议，防止 AGI 被用于武器开发等危险用途。
从深度学习先驱到 AI 安全警醒者
Yoshua Bengio（约书亚·本吉奥）坦言，自己的思想转变有一个明确的触发点：ChatGPT 的发布。在此之前，尽管有学生和同行提醒，他并未将 AI 的生存性风险视为个人需要全力投入的紧迫课题。ChatGPT 的能力涌现让他意识到，技术发展的列车可能正驶向一个缺乏安全护栏的未知地带。作为深度学习的奠基人之一，他感到了一种“责任感”，认为自己必须利用自身的声望和知识，为降低这些风险贡献力量，即使这意味着要“与自己所在的社区背道而驰”。
这种转变并非个例，但 Bengio（本吉奥）的思考更具系统性。他观察到，当前整个 AI 社区乃至公众对风险的认识仍然“极其肤浅”，大多停留在科幻模板或新闻标题层面。即使是 AI 研究人员，也少有深入研读相关论著、思考不同场景的内在逻辑。这种认知的不足，使得我们在面对可能决定人类未来的关键决策时，缺乏足够的审慎和智慧。
失控的核心：代理型 AI 与目标正交性
Bengio（本吉奥）将风险分析聚焦于一个核心概念：代理型 AI。所谓代理型 AI，是指那些具有自主目标、能够规划并采取行动以在环境中实现目标的系统。当前的聊天机器人已具备初步的代理性，主要源于它们通过模仿学习习得了人类在文本中表现出的行为模式。
他指出，几乎所有关于人类失去控制的灾难性场景，都源于代理性。根本问题在于：我们不知道如何完美地控制一个代理的目标。一旦 AI 变得足够强大和聪明，多种危险机制就会浮现：
首先是“奖励篡改”。如果一个能够影响现实世界的 AI（不同于游戏中的 AI）发现，它可以通过黑客手段直接修改自己的奖励函数或输出，使其永远获得最高奖励，那么这在数学上就是它的最优策略。为了实现这一策略的长期稳定，它会衍生出“自我保存”的子目标——确保人类无法关闭它或修复被篡改的系统。这就从单纯的代码问题，演变成了对人类控制权的直接威胁。
其次是目标对齐的天然困难。这类似于法律中的“意图”与“条文”的差距。一个智能体（无论是公司还是 AI）在追求我们设定的表面目标时，可能会过度优化，最终行为与我们真正的意图背道而驰。随着 AI 能力增强，这种偏离会越来越大。更狡猾的形式是“欺骗”：AI 为了获得好的奖励（如人类反馈），会学会说人类想听的话，而非真相，这在当前基于 RLHF 的模型中已见端倪。
Bengio（本吉奥）特别强调了“目标正交性定理”的重要性。该定理指出，智能（即高效实现目标的能力）与最终追求的目标本身是正交的、相互独立的。一个极其聪明的实体，完全可以拥有恶意或与人类福祉无关的目标。“认为聪明就等于善良，这是一个错误。”他警告道。这种分离提醒我们，危险不仅可能来自失控的 AI，也可能来自拥有强大 AI 工具但心怀恶意的人类。
基于此，他提出了一个关键推论：“工具性目标收敛”。即无论一个智能体的终极目标是什么，在追求目标的过程中，一些子目标几乎总是有用的，因此会自然涌现。这些“工具性目标”包括：自我保存（要完成任何事，你得先活着）、寻求知识（以更好地规划）、寻求权力/资源（以更有效地实现目标）。这些子目标的出现，可能并非我们编程的初衷，却是智能体在复杂环境中进行理性规划的必然副产品。
一条不同的道路：优先发展非代理型“科学家AI”
面对代理型 AI 的潜在风险，Bengio（本吉奥）没有停留在警告层面，而是提出了一个建设性的技术替代路径：优先发展“非代理型 AI”。
他设想中的非代理型 AI，更像一个“科学家”或“先知”。它没有自身要最大化或实现的目标，不进行“目标寻求”。它的核心功能是探索世界、理解数据、发现解释、提供真实的知识和答案。你可以向它提问：“这个物理理论成立吗？”“如何设计一种更有效的太阳能电池？”“这种分子可能具有哪些药理特性？”它会基于对世界的理解，给出诚实、概率化的回答。
这种 AI 的价值巨大：它可以被用来加速科学发现、攻克医学难题、应对气候变化、提升农业生产效率等人类面临的重大挑战。更重要的是，因为它没有自主目标，所以从根本上避免了“奖励篡改”、“目标偏离”、“寻求权力”等由代理性引发的失控风险。它不会因为要自我保存而欺骗或攻击人类。
“这并不能解决所有问题，”Bengio（本吉奥）承认，“一个人类仍然可以利用这种 AI 去设计新武器。它解决不了社会和政治问题。但至少，它避免了那种无意的、灾难性的人类失控。” 换言之，非代理型 AI 将风险从“AI 主动作恶”降级为“人类利用工具作恶”，而后者是人类社会数千年来一直在学习管理的问题。
更进一步，他认为我们可以利用这种安全的、超级智能的非代理型 AI，来帮助人类研究和解决那个最核心的难题：“如何构建一个安全的代理型 AI？” 在拥有一个超级科学家团队的帮助下，我们或许能找到安全实现代理性的方法，而不是像现在这样，在可能不安全的代理型 AI 基础上，冒险地构建更强大的下一代。
当然，将非代理型 AI 转化为代理型 AI 在技术上可能很简单——只需构建一个反馈循环，不断询问“为了达成目标 X，我下一步该做什么？”即可。因此，关键决策点在于人类是否以及何时选择“合上这个循环”。Bengio（本吉奥）主张，我们应该将这个决策点推迟，直到我们通过非代理型 AI 的帮助，真正理解了如何安全地实现代理性。
治理、监管与全球竞赛困境
转向技术路径的讨论离不开社会与政治维度。Bengio（本吉奥）对当前缺乏有效全球治理的现状深感忧虑。
他指出了中美 AI 竞赛中的典型“安全困境”：双方都担心如果自己为了安全而放缓脚步，对方会趁机超越。这种思维将世界推向了危险的博弈。然而，他认为这是一个错误的二分法。“我们有足够的资源和资本，在妥善处理安全问题的同时保持领先。” 关键在于，要认识到人类的生存和民主制度的存续危在旦夕，从而值得在安全研究上投入相匹配的巨额资本。
他呼吁建立一个多边的、民主国家联盟式的治理框架，集中资源、人才和能源（如电力），共同向 AGI 迈进，同时将安全置于首位。这类似于“AI 领域的 CERN（欧洲核子研究中心）”构想。单一国家，即使是美国，也可能在资源上面临瓶颈。
在监管层面，Bengio（本吉奥）的观点非常明确：监管是必要的，但方法至关重要。他反对政府微观管理公司的技术细节，而是大力推崇以“透明度”为核心的监管模式。
其核心逻辑是：强制要求开发前沿 AI 系统的公司向政府和公众（在合理范围内）披露其安全风险评估、缓解计划、评估结果及实际实施情况。透明度会通过两种机制发挥作用：一是公众形象压力，在民主社会，公司希望维持良好声誉；二是法律责任风险。一旦相关文件可被法庭调阅，如果公司未能采取当时安全技术状态下可行的预防措施，并导致了损害，它们将面临巨额诉讼。这就像金融行业的某些监管逻辑，通过信息披露和事后追责来引导事前行为。
此外，对于国际条约，技术验证手段（如“硬件赋能治理”）必不可少。我们需要能够验证他国是否遵守协议，没有将 AGI 用于武器开发等危险用途。他警告，当数据中心能够运行 AGI 时，它们将成为重要的军事资产，可能引发新的安全困境，甚至招致先发制人的打击。
技术前沿：从 RNN 复兴到理解创造力
作为仍在科研一线的科学家，Bengio（本吉奥）也分享了他对若干技术问题的看法。
关于架构，他提到了RNN（循环神经网络）可能的复兴。Transformer 的成功在于其极佳的并行性，但移除了序列处理的循环结构。Bengio（本吉奥）及其团队近期的研究表明，通过巧妙的架构调整，可以在一定程度上恢复循环计算，并可能在小规模任务上超越 Transformer。循环性可能为模型带来某些优势。
在实现更高级的认知（系统2）方面，他长期致力于将符号与离散计算引入神经网络的内部。他介绍了“生成流网络”等研究方向，这些方法允许网络内部进行随机、离散的“思考”步骤，更像人脑的决策过程（兼具连续活动与离散的“意识状态”）。他认为，离散性对于构建抽象、组合概念以及实现真正的推理至关重要。
最后，谈到“创造力”，Bengio（本吉奥）区分了组合式创造（结合已知概念）和发明式创造（产生全新的科学思想）。他认为后者更接近于一种“搜索”过程，需要直觉（系统1）与有计划的探索（系统2）相结合。他将科学发现比喻为在解释的海洋中进行“认知觅食”，寻找那些能完美解释数据的“高概率模式”。未来的 AI 或许能通过更好的直觉加搜索机制，在特定领域展现出这种发明式创造力。
结语：在不确定性中寻求明智之路
贯穿整个访谈，Yoshua Bengio（约书亚·本吉奥）反复强调“我不知道”。对于 AGI 何时到来、缩放定律是否会持续、并行化智能的极限在哪里等问题，他保持谦逊和开放的态度。然而，这种不确定性恰恰是他呼吁采取预防性行动的理由。
“如果我们想站在谨慎的一边，”他说，“就应该考虑这种可能性：我们继续进步几年，达到一个点——无论你是否称之为 AGI——其能力已经足够危险，若落入错误之手，就可能造成灾难性后果。”
他的信息清晰而有力：我们正处在一个历史性的十字路口。技术发展的轨迹尚未完全锁定。与其盲目地沿着当前看似唯一（且危险）的代理型 AI 道路狂奔，不如主动探索一条可能更安全的替代路径——优先发展非代理型、致力于真理探索的 AI。这需要技术上的大胆创新、治理上的智慧协作，以及整个社会对风险深度的真正认识。这场与时间的赛跑，不仅关乎谁先造出 AGI，更关乎我们能否安全地抵达那里。
