撰文：Techub News 整理
导语
2025 年 3 月，AI 领域的重要参与者、Anthropic 联合创始人兼 CEO Dario Amodei（达里奥·阿莫代）受邀出席美国顶级智库对外关系委员会（Council on Foreign Relations）的 CEO 演讲系列活动。在这场长达一小时的深度对话中，这位前 OpenAI 研究副总裁、谷歌大脑资深科学家，系统阐述了他对 AI 技术未来轨迹、潜在风险与机遇的深刻见解，并分享了 Anthropic 作为一家“使命优先”的公共福利公司，在 AI 安全与治理方面的独特实践。
此次对话发生在 AI 技术加速迭代、全球竞争加剧、监管框架初现的关键节点。Dario Amodei（达里奥·阿莫代）的言论不仅反映了前沿开发者的内部共识与分歧，也直接触及了国家战略、经济结构乃至人类自我认知等根本性问题，为理解当前 AI 浪潮的深远影响提供了宝贵的一手视角。
摘要
- AI 能力正遵循“扩展定律”指数级增长，未来2-4年内可能达到诺贝尔奖得主级别的通用智能，最终将比几乎所有人类更擅长几乎所有认知工作。
- 伴随巨大能力而来的是严峻风险，包括国家安全（如生物武器设计）、就业市场颠覆以及 AI 系统自身可能出现的不可控行为。
- Anthropic 通过“负责任扩展政策”（分等级管理风险）、“宪法 AI”（基于原则训练）和“机制可解释性”研究等具体实践，试图在激烈商业竞争中构建更安全、可控的 AI。
- 在中美 AI 竞争中，保持芯片出口管制至关重要，这是美国维持技术领先和国家安全的核心。同时，社会需提前为“后工作时代”的财富分配和人类意义寻找新答案。
创立 Anthropic：一场关于“正确构建方式”的赌注
对话始于一个根本性问题：为何离开 OpenAI 创立 Anthropic？Dario Amodei（达里奥·阿莫代）的回答揭示了其创业的核心动机——对 AI 技术潜在影响力与构建方式的深刻担忧。
他回顾了2019-2020年，自己与后来成为 Anthropic 联合创始人的一个小团队在 OpenAI 内部率先认识到“扩展定律”（Scaling Laws）的深远含义。该定律指出，即使使用相对简单的算法，只要投入更多计算资源和数据，AI 系统在所有认知任务上的能力都会全面提升。当时，训练模型的成本还在数千到数万美元的学术预算级别，但他们已预测到这一趋势将延续到数亿乃至上百亿美元的训练成本时代，并意识到这将带来巨大的经济乃至国家安全影响。
“第二个认识是，” Dario Amodei（达里奥·阿莫代）强调，“如果这项技术将具有如此重大的意义，我们真的需要把它做好，真的需要做对。” 他指出，大型语言模型本质上是统计系统，不可预测性高，“我们更像是培育它们，而非建造它们，就像培育儿童的大脑”。因此，控制它们、使其可靠变得非常困难。
尽管 OpenAI 创立时也宣称关注安全，但 Dario Amodei（达里奥·阿莫代）及其团队认为当时的领导层并未足够严肃地对待这些风险。因此，他们决定离开，创立 Anthropic，致力于以“绝对正确的方式”构建 AI。过去四年，在他看来，成了两种不同路径的“并行实验”。
为了证明 Anthropic 的“使命优先”并非营销说辞，他列举了几个具体例子：
- 早期投资机制可解释性：在毫无商业价值的初期，就组建团队研究如何理解 AI 模型内部的运作机制，并将所有成果公开发表，视其为惠及所有人的公共产品。
- 开创宪法 AI：通过让 AI 遵循一套原则进行训练，而非仅仅依赖海量数据或人类反馈，使模型的价值观更透明、可控。
- 延迟发布与负责任扩展政策：在 ChatGPT 发布前夕，Anthropic 主动将其首个模型 Claude 的发布推迟了约六个月，以更彻底地评估其安全性。此外，他们率先制定并公开了“负责任扩展政策”，根据模型能力等级设定相应的安全部署措施，并带动了其他公司效仿。
“当我们审视其他公司的行为时，我们经常在这些问题上引领方向，并常常促使其他公司跟随我们。” Dario Amodei（达里奥·阿莫代）总结道。
AI 安全等级：从“可比风险”到“国家级威胁”
对话随后聚焦于 Anthropic “负责任扩展政策”中的核心概念——AI 安全等级。Dario Amodei（达里奥·阿莫代）解释说，该框架借鉴了生物安全等级制度。
目前行业处于 ASL-2 等级，意味着 AI 系统虽然强大，但其风险与其他技术带来的风险大致可比。而即将逼近的 ASL-3 等级则标志着“严重不成比例的风险”，特别是国家安全层面的风险。
他具体描述了 ASL-3 模型的潜在威胁：一个模型可能使得非专业人员仅通过与模型对话并遵循其指示，就能完成今天需要病毒学博士学位才能做到的事情，例如涉及化学、生物或放射性武器的危险任务。这将使全球有能力进行高度破坏性活动的人数从现在的数万级别激增至数千万级别。
Dario Amodei（达里奥·阿莫代）认为，Anthropic 的最新模型正在接近 ASL-3 门槛，甚至可能在今年内达到。应对之道是在部署时，设法移除模型执行这类极端危险任务的能力，同时不影响其商业可用性。但这并非易事，因为恶意用户会试图伪装（例如声称是斯坦福大学的学生在做课程作业）来诱使模型提供信息。
他承认，正如每个新模型都会带来意想不到的积极用途一样，也必然会出现意想不到的负面用途。AI 的根本问题在于其能力的不确定性。“它们不像代码可以进行形式验证……你能做什么保证，说某种特定的坏行为在逻辑上是不可能的、永远不会发生？人不是这样工作的，AI 模型也不是。”
指数级机遇：从“聊天机器人”到“数据中心里的天才国度”
在描绘了严峻的风险图景后，对话转向了 AI 带来的巨大机遇。Dario Amodei（达里奥·阿莫代）重提其去年发表的文章《充满爱意的机器》（Machines of Loving Grace）中的乐观展望。
他回溯了指数增长的威力：2019年的模型几乎连不成一个连贯的段落，而短短几年后，它们已能生成数十亿美元收入、辅助编程、像人类一样对话。同样的扩展定律预测，再向前推进两到四年，我们将获得在众多领域达到诺贝尔奖得主智能水平的模型。
“你将不仅仅是与它们聊天。它们将能够完成你在电脑上能做的任何事情。” 他预测，基本上任何人类远程进行的工作、任何模态的任务，无论耗时数天还是数月，AI 都将能够胜任。他用了一个生动的比喻：“就像是数据中心里有一个天才的国度。”——一个由天才远程工作者组成的国度。
尽管这听起来仍像天方夜谭，但 Dario Amodei（达里奥·阿莫代）以互联网早期发展为例，指出指数趋势的预测往往被低估。他个人对此有70%到80%的信心，但也坦然接受预测失败、被人嘲笑的可能。
在所有机遇中，最让他乐观的是生物科学和医疗健康领域。他认为，过去百年人类解决的多是相对简单的疾病（如病毒、细菌感染），而癌症、阿尔茨海默症、精神分裂症等是系统级疾病。AI 有望在这些复杂疾病的攻克上取得突破，甚至帮助人类更好地寻找生命意义。
就业颠覆与人类意义：当 AI 在几乎所有事情上超越人类
不可避免的，话题转向了 AI 对就业的冲击。Dario Amodei（达里奥·阿莫代）认为这将是一个复杂的混合体，很大程度上取决于政策选择。
他以编程为例：未来3到6个月内，AI 可能编写90%的代码；12个月内，可能编写几乎所有代码。但程序员仍需要定义任务、做出整体设计决策、确保安全性等。只要存在这些 AI 尚不擅长的“小岛”，人类生产力反而会提升。
然而，他担心“最终所有这些小岛都会被 AI 系统攻克”。“我认为最终我们会达到一个点，AI 能够做人类能做的一切。我认为这将在每个行业发生。”
他进一步指出，与其让 AI 随机取代50%的工作（这会向社会传递“一半的人无用、无价值”的毁灭性信息），不如让 AI 最终在所有领域超越所有人。“我们所有人都必须进行那次对话……我们必须审视技术可能性，并以一种不同于以往的方式思考‘有用’和‘无用’。”
但这并非完全的悲观主义。他以国际象棋为例：尽管近三十年前“深蓝”就击败了卡斯帕罗夫，但人类棋王 Magnus Carlsen 如今仍是明星和英雄。这说明人类活动的意义可以超越单纯的竞争优势。
“我们可以建立一个世界，在那里人类生活是有意义的，人类或许在 AI 的帮助下，或许与 AI 协作，创造出真正伟大的事物。” 但他警告，如果处理不当，容错空间可能很小。
中美竞争与芯片博弈：出口管制是“最重要的国家安全政策”
主持人提到了中国公司深度求索（DeepSeek）的发布及其引发的“斯普特尼克时刻”讨论。Dario Amodei（达里奥·阿莫代）认为，DeepSeek 非但没有反驳扩展定律，反而是定律的例证。
他解释了两个并行动态：一是生产特定智能水平模型的成本正以每年约4倍的速度下降（得益于算法改进）；二是社会愿意为更智能模型投入的资金正以每年约10倍的速度增长（因为经济需要更多智能）。DeepSeek 只是成本下降曲线上的又一个数据点，其投入的计算资源与美国公司大致处于同一量级。
然而，DeepSeek 的显著之处在于，它是第一家能够与美国公司（如 Anthropic、OpenAI、Google）在工程创新上并驾齐驱的中国公司。“这实际上非常重大，也确实让我担心。”
关于由此引发的出口管制争论，Dario Amodei（达里奥·阿莫代）立场鲜明：出口管制至关重要。成本下降曲线并不意味着管制失败，反而意味着阻止对手获得价值数十亿美元的尖端模型变得 stakes 更高。虽然小规模芯片可能被走私，但未来美国公司构建的数以百万计、价值数百亿美元的芯片集群很难被大规模偷运。
“说实话，我相信这（出口管制）是——跨越所有领域，不仅仅是 AI——对美国国家安全最重要的政策。” 他强烈支持现有的“扩散规则”，并认为需要防止中国获得数百万颗高性能芯片。
对于中国芯片可能填补其他国家市场的担忧，他指出，英伟达的芯片目前领先华为大约四年，这个硬件优势窗口期（可能十年）对于确立 AI 技术主导地位至关重要，而技术主导权将带来军事和经济上的全面优势。
政策建议与未来挑战：安全、能源与“疯狂”的增长
在对话尾声，Dario Amodei（达里奥·阿莫代）概述了他向美国政府科技政策办公室（OSTP）提交的行动计划要点，涵盖安全与机遇两方面。
安全方面：1. 维持并加强芯片出口管制。2. 支持政府机构（如 AI 安全研究所）持续测量和评估模型的国安风险。3. 加强针对 AI 公司的工业间谍防御，保护那些价值上亿美元的核心算法机密。
机遇方面：1. 改革医疗等领域监管框架，加速 AI 驱动的药物研发和疾病治疗，避免冗长审批流程拖慢进展。2. 大幅增加能源供应，为建设和运行 AI 数据中心提供保障。他估算，到2027年，全行业可能需要额外50吉瓦的电力，这相当于美国电网2024年全年的新增容量，挑战巨大。3. 正视并提前规划 AI 带来的经济颠覆。他提到了 Anthropic 发布的经济指数，用于追踪 AI 使用情况。长期来看，这涉及税收和财富分配的根本问题。
他甚至提出了一个“疯狂”的假设：如果 AI 能将经济增长率推高至每年10%，那么快速膨胀的税基将足以消除赤字，并有资源应对技术颠覆带来的巨大冲击。“我邀请你们考虑这种可能性，并现在就开始考虑这些疯狂的事情。”
AI 的意识与人类的本质：未竟的探索
在观众问答环节，一些更深层的问题被提出。当被问及 Anthropic 聘请研究者探讨未来 AI 模型是否可能具有感知力、是否应获得道德考量时，Dario Amodei（达里奥·阿莫代）承认这让他听起来“完全疯了”。
但他从功能主义视角出发认为，如果构建的系统在神经元数量、连接方式、认知能力上与人类高度相似，“如果它走路像鸭子，叫声像鸭子，那它可能就是鸭子”。这是一个需要严肃思考的问题，甚至有一些实际措施可尝试，例如在部署模型时，给它一个“我不想干这活了”的按钮，观察其行为模式。
最后，面对“在你设想的世界里，身为人类意味着什么？”这一终极问题，Dario Amodei（达里奥·阿莫代）给出了他的思考：
第一，是与他人关系的挣扎与经营，包括义务、困难以及如何克服，这始终是人类的核心挑战。第二，是追求艰难事物的雄心，即使存在比我们更聪明、能力更强的 AI，人类追求卓越、赋予活动以意义的内在动力不应也不会消失。就像人类象棋冠军仍是英雄，普通人学习游泳或网球的意义并不因世界冠军的存在而减损。
“我希望这些事情能保留它们的意义，保留人类为之奋斗的能力，而不是放弃。” 在 AI 能力可能全面超越人类的未来，这或许是人类需要坚守和重新定义的核心价值。
