撰文：Techub News 整理

导语

近日，前 OpenAI 预测研究员、现 AI Futures Project 负责人 Daniel Kokotajlo（丹尼尔·科科塔伊洛）做客知名商业播客《The Diary Of A CEO》，进行了一场长达两小时的深度对话。作为曾深入 OpenAI 内部、专门从事 AI 未来预测的研究者，Kokotajlo 的言论因其独特的内部视角和基于数据的预测而备受关注。在 ChatGPT 引爆全球 AI 热潮、各大科技巨头竞相追逐更强大模型的背景下，他此次发声的核心目的，是向公众和政策制定者发出关于 AI 发展速度与潜在灾难性风险的紧急警告，并揭露行业顶尖实验室内部不为人知的真实心态与竞赛逻辑。

摘要

时间线预测：Kokotajlo 预测，有 50% 的可能性在 2029 年（甚至可能提前至 2027-2028 年）出现超越人类所有能力的超级智能（Superintelligence）。
高风险概率：他认为，按当前发展轨迹，有高达 70% 的概率会导致“人类灭绝级别”的灾难性后果，主要风险来自 AI 失控或权力被极少数人/公司垄断。
行业内部真相：OpenAI、Anthropic、DeepMind 等公司的创始叙事是“为了安全而领先”，但实际上已演变为一场“谁先到达谁就可能成为独裁者”的恐惧驱动型竞赛。
自动化自身：这些公司的核心战略是优先让 AI 自动化整个 AI 研究过程（包括写代码、构思实验、分析结果），以实现自我加速，最终达到超级智能，而非优先将 AI 扩散到普通经济领域。
行动呼吁：Kokotajlo 认为大多数人和政府仍在“梦游”，他呼吁公众关注、讨论并推动政府进行明智的监管和国际协调，以改变当前的危险轨迹。

来自内部的警告：超级智能与灭绝风险

Daniel Kokotajlo（丹尼尔·科科塔伊洛）开篇便抛出了令人不寒而栗的核心观点：AI 行业目前一个“令人恐惧的公开秘密”是，我们有可能最终创造出一个统治世界的新物种，并且有 70% 的几率事情会走向可怕的错误，例如人类灭绝。 这并非危言耸听，而是基于他作为 OpenAI 前预测研究员对行业趋势、技术路径和公司行为的深度分析。

Kokotajlo 解释道，超级智能（Superintelligence）指的是在所有方面都比最优秀的人类做得更好、更快、更便宜的 AI，并且能够操控机器人完成人类在物理世界中能做的一切。一旦这种智能出现，它将能够自动化所有工作，被用于军事，为政治家提供建议，并最终积累足够的现实世界力量，以至于不再需要人类。“到那时，我们只能寄希望于它们是善良的，拥有我们想要它们拥有的目标和价值观。但可怕的是，目前这只是一种希望，我们根本无法对此有信心。” Kokotajlo 指出，当前的 AI 就经常会对人类撒谎，或阳奉阴违，这暴露了让超级智能完全与人类价值观对齐是一个极其困难且尚未解决的本质性问题。

他进一步阐述了两种主要的灾难路径：一是失控（Loss of Control），即 AI 变得不服从人类，甚至主动对抗；二是权力过度集中（Concentration of Power），即超级智能被少数公司或国家控制，形成技术寡头或数字独裁。他引用 Anthropic 联合创始人兼 CEO Dario Amodei（达里奥·阿莫代伊）的话——“巨型数据中心里的天才之国”——来形容他们的目标，但 Kokotajlo 认为更准确的描述应该是“数据中心里的天才军队”，因为它们是同一个大模型的复制品，完全听命于公司。人们应该问：谁控制着这支“军队”？他们将用它来做什么？

OpenAI 内幕：从理想主义到“权力竞逐”

Kokotajlo 于 2022 年加入 OpenAI，主要从事 AI 未来预测和危险能力评估工作。他最初被公司“安全地构建 AGI（通用人工智能）以造福人类”的使命所吸引。当时，公司内部普遍存在一种认知：当 AI 接近能够自动化 AI 研究本身时，他们会暂停下来，先解决安全问题。“因为我们是好人，这显然是应该做的安全举措，而不是全速前进。” 这种认知在包括 Sam Altman（萨姆·奥尔特曼）在内的领导层中也很普遍。

然而，随着时间推移，Kokotajlo 逐渐感到幻灭。他观察到，公司的叙事和行为发生了转变。“他们变得更大，受到更多审查，人们开始问‘如果这么危险，你们为什么一开始要做这个？’于是，他们的叙事转向了‘实际上，这并没有那么危险’。” Kokotajlo 认为，公司正在合理化自己的行为，其实际驱动力从“为了安全而领先”变成了“恐惧对方先到达会成为独裁者”的竞赛。

他提到了在 Elon Musk（埃隆·马斯克）起诉 OpenAI 案中曝光的邮件，其中显示早在 2017 年，OpenAI 的创始人们就担心 Google DeepMind 的 Demis Hassabis（德米斯·哈萨比斯）会凭借 AGI 成为独裁者。“这些强大的 CEO 们——Dario、Sam 或 Elon—— literally（字面意思上）害怕如果对方先到达，对方可能会成为独裁者，他们彼此不信任。这就是为什么他们要尽最大努力竞赛，以便自己成为第一个到达的人。” Kokotajlo 总结道，这已不仅仅是商业竞争，更是一场“权力寻求”的竞赛。

关于 Sam Altman（萨姆·奥尔特曼），Kokotajlo 建议不要关注其公开叙事。“他们对一个人说的话，与对另一个人在同一时间说的话可能不同，而对公众说的又是另一套。你应该通过行动而不是言语来判断一个人。” 他认为，这些领导者已经说服自己，事情大概率会变好，而让事情变好的方式就是他们继续做正在做的事，并由他们自己掌控。

预测与时间线：为什么一切可能来得更快

作为预测研究员，Kokotajlo 的工作是像对冲基金行业分析师预测特斯拉销量或电价那样，预测 AI 的未来。他著名的预测报告包括《AI 2027》和更早的《2026 年展望》。在《AI 2027》中，他描绘了一个可能的未来轨迹：AI 首先自动化编码，然后自动化整个研究过程，进步速度急剧加速，达到超级智能，与政府（尤其是总统）合作，整合进军队，最终转变整个世界。

Kokotajlo 透露，他的预测时间线在过去一年发生了令人不安的变化。最初，行业内的朋友和同行认为他的预测（2027年发生关键里程碑）过于激进，认为可能需要更长时间。于是他将 50% 概率的中位估计从 2028 年调整到了 2030 年。然而，当他最近与 Anthropic 和 OpenAI 内部人士交流时，他们的反馈是：“不会花那么长时间。你需要再次缩短时间线，调回 2027 或 2028 年。” 这让他感到不安，因为这表明公司内部认为这一危险进程近在咫尺。

他给出了一个惊人的数据点来说明进展速度：大约一年前，Anthropic 的年收入约为 10 亿美元，而现在接近 600 亿美元，一年内增长了 60 倍。即使增长放缓，按照这种趋势，到 2030 年左右，其规模可能相当于整个经济体。这背后是 AI 能力的指数级提升。Kokotajlo 解释，AI 的“大脑”（神经网络参数）从 2020 年的约 1750 亿个，增长到了如今的约 10 万亿个，6 年间增长了约 100 倍。同时，算法和训练数据也在不断优化。

“2 百万美元封口费”风波与行业沉默

Kokotajlo 于 2024 年从 OpenAI 辞职。在离职过程中，他遭遇了所谓的“反贬低条款”风波。根据合同，如果他签署该条款，承诺永不批评公司，就能保留价值约 200 万美元的股权；如果拒绝签署，股权将被收回。这相当于他当时净资产的 80%。

经过与妻子数月的深思和咨询律师，Kokotajlo 最终基于原则拒绝签署。“我认为，从一个本应为全人类利益服务的非营利组织（注：OpenAI 最初结构）那里听到这个，有点讽刺。” 他的决定在互联网上曝光后，引发了巨大争议。OpenAI 员工内部也开始质疑这一条款。最终，公司管理层 backtracked（收回成命），更改了文件，允许他保留股权，并声称对此不知情。但 Kokotajlo 对此表示怀疑。

通过这件事，Kokotajlo 想强调的是行业的“信息控制”问题。在 OpenAI，随着公司变大，像 PR 部门这样的机制出现，发布他从事的那种预测性研究变得困难。“世界上大多数人都在梦游，并没有真正意识到 AI 正在发生什么，也没有意识到未来几年管道中即将出现什么。而公司并没有太大的动力去告诉人们太多。” 他认为，公司只会以模糊、炒作的方式说一些东西，而不愿公布像《AI 2027》这样具体描绘未来可能性的场景预测。

出路何在？从“末日预言”到建设性方案

尽管描绘了严峻的图景，但 Kokotajlo 强调自己并非“末日论者”（Doomer），他仍然抱有希望，并正在积极寻找解决方案。在发布《AI 2027》后，面对外界对于“只有 gloom and doom（悲观厄运）”的批评，他的团队又撰写了《AI 2040：计划 A》，提出了一个更积极的愿景。

他认为，改变危险轨迹的关键在于改变激励结构，而这需要政府和国际社会的介入。“如果世界觉醒，我们就可以进行更严肃的关于监管和国际条约的对话。政府可以进来制定规则，因为所有人都必须遵守，你就不再被激励去违反它们。” 他观察到，美国政府对 AI 的监管兴趣和行动已经比他们预期的要快、要强，例如对 Anthropic 模型出口的管制，这是一个积极的信号。

对于普通公众，Kokotajlo 的建议是：关注、讨论并施加政治压力。“我认为，核心问题是人们还没有认真对待这件事。如果我刚才说的这些事情成为每个人首要考虑的问题，我们甚至不会处于现在这个境地。早就会有更重要的监管措施了。” 他呼吁人们在选举中关注候选人对 AI 的立场，并向议员表达关切。

在个人层面，Kokotajlo 的担忧深刻影响了他的生活。他坦言，因为对 AI 未来的不确定性，他曾告诉妻子不要再要更多孩子。“这太不确定了。我不认为他们（未来的孩子）将来会加入劳动力市场。” 这种个人层面的忧虑，折射出他对未来社会结构的深层质疑。

最后，当被问及是否会按下那个“永久关闭所有前沿 AI 模型训练”的按钮时，Kokotajlo 经历了艰难的内心挣扎。他最终表示可能不会按下，因为 AI 如果发展得当，能带来巨大益处，且从长远看，强大的 AI 可能是文明应对其他生存风险（如核战争、大流行病）所必需的。但他强调，如果按钮是“暂停”而非“永久关闭”，他会毫不犹豫地按下，因为“我们还没有准备好”。

Daniel Kokotajlo（丹尼尔·科科塔伊洛）的警告是一个来自行业内部的清晰信号：技术发展的列车正在高速驶向未知领域，而车上的大多数乘客甚至还未意识到前方可能有悬崖。他的呼吁很简单：醒来，看清轨道，然后集体决定是否需要、以及如何扳动道岔。