撰文：Techub News 整理
导语
2025 年 2 月，知名播客主持人 Dwarkesh Patel 邀请到了 Google 的两位传奇工程师——首席科学家 Jeff Dean（杰夫·迪恩）和 Transformer 架构共同发明人 Noam Shazeer（诺姆·沙泽尔）进行了一场深度对话。两人均在 Google 工作了近 25 年，是塑造现代计算与 AI 格局的关键人物。Jeff Dean 主导了 MapReduce、BigTable、TensorFlow、TPU 等基础系统的开发，如今是 Gemini 项目的三位联合负责人之一。Noam Shazeer 则是 Transformer、Mixture of Experts、Mesh TensorFlow 等核心 AI 技术的发明者或共同发明者，同样深度参与 Gemini 项目。这场对话不仅是对 Google 25年技术史的回顾，更是两位顶尖大脑对 AGI（通用人工智能）未来路径的前瞻性探讨，揭示了从硬件设计、算法创新到组织形态的深层思考。
摘要
- 从 N-gram 模型到 Transformer：回顾了 Google 早期在语言模型（如 2007 年的两万亿词条 N-gram 模型）上的探索，以及 Transformer 诞生的必然性与偶然性。
- 硬件与算法的「共舞」：探讨了摩尔定律变迁下，从通用 CPU 到专用 AI 芯片（如 TPU）的转变如何反过来塑造了深度学习算法的发展。
- 推理计算的范式转变：未来 AI 能力的飞跃将更多来自「推理时计算」的扩展，通过搜索、验证和多步思考，让模型在回答问题时「想得更深」。
- 下一代 AI 架构构想：提出了超越当前 Transformer 的、更「有机」的模型生长方式，灵感来源于大脑的模块化与连接可塑性，以适应硬件层级和多样化任务。
- Google 的 AGI 愿景：AI 不仅是信息检索，更是信息组织与创造的工具，其目标是理解多模态世界并帮助人类完成复杂任务。
从 25 人到 AGI：Google 的技术演进史
当被问及在 Google 早期是否了解公司的一切时，Jeff Dean（杰夫·迪恩）幽默地回忆起公司规模的指数级膨胀。他加入时 Google 只有约 25 人，可以记住每个人的名字和项目。但随着公司壮大，会经历「知道所有软件工程师」到「只知道所有项目」，再到「收到‘鸭嘴兽项目’上线邮件却不知其为何物」的阶段。Noam Shazeer（诺姆·沙泽尔）的加入故事则更具偶然性：1999 年在招聘会上看到 Google，误以为已是巨头而错过，2000 年因喜欢其搜索引擎而投递简历，被当时墙上用蜡笔绘制的、呈指数增长的每日搜索查询图表所吸引，决定加入这个「一群聪明人做好事」的地方，并计划「赚够钱后就去专心研究 AI」——这个计划以他未曾预料的方式实现了。
两人回顾了 Google 如何天然成为 AI 研究的沃土。公司的使命——「整合全球信息，供大众使用，使人人受益」——本身就是一个需要先进 AI 才能实现的宏大目标。从早期的网页索引和搜索，到后来的机器翻译、拼写纠正，AI 一直是 Google 核心业务的延伸与深化。
硬件与算法的共生：从摩尔定律到 TPU
对话深入探讨了硬件进步如何与算法发展相互塑造。Jeff Dean（杰夫·迪恩）指出，过去二十年，摩尔定律在通用 CPU 上的红利逐渐消退，但专用机器学习加速器（如 TPU 和 GPU）的崛起，使得针对现代计算（尤其是矩阵运算）的高性能和高效能成为可能。Noam Shazeer（诺姆·沙泽尔）进一步阐释，当前深度学习得以爆发，正是因为算术变得极其廉价，而数据移动相对昂贵。这使得以大量矩阵乘法（N³ 运算，N² 数据通信）为核心的架构成为主流。
这种硬件特性直接影响了算法设计。Jeff Dean（杰夫·迪恩）以量化为例说明了「协同设计」的重要性。早期 TPUv1 冒险采用 8 位整数进行推理，如今训练和推理已可使用 INT4 甚至更低的精度。这需要算法设计者意识到低精度能带来巨大的吞吐量/成本提升，并与芯片设计者紧密合作。他调侃道，如果只问当前的算法研究者，他们可能会因为量化带来的麻烦而拒绝；但如果能看到全貌，知道量化能让模型快三倍，「那么你就得忍受这点麻烦」。
两人还设想了一个反事实世界：如果内存成本下降速度远快于算术成本，AI 可能会更像 20 年前的样子，依赖对大型内存的查找，而非如今的计算密集型模型。这凸显了当前技术路径的硬件依赖性。
早期探索与 Transformer 的必然性
Jeff Dean（杰夫·迪恩）分享了他 1990 年的本科论文，内容是在 32 处理器超立方机器上并行化神经网络的反向传播。他当时天真地以为 32 个处理器就能训练出强大的神经网络，后来才发现需要百万倍的计算量。直到 2008-2010 年左右，得益于摩尔定律，神经网络才开始在真实问题上发挥作用。
更引人注目的是 Google 在 2007 年的工作：为参与 DARPA 机器翻译比赛，团队训练了一个基于两万亿词条的五元文法（5-gram）语言模型。当时的系统翻译一个句子需要 12 小时，因为要进行数十万次磁盘寻址。Jeff Dean（杰夫·迪恩）与团队合作，设计了内存中的压缩数据结构，将翻译延迟降至 100 毫秒左右。这个将整个互联网词汇关系进行潜在表征的系统，可视为当今大语言模型的早期雏形。Noam Shazeer（诺姆·沙泽尔）则在更早的 2001 年就构建了基于语言模型的拼写纠正系统，其准确性令全公司惊叹。
当被问及是否当时就预见到 N-gram 模型会通向智能时，两人都给出了否定的答案。Noam Shazeer（诺姆·沙泽尔）认为，语言建模之所以成为「世界上最好的问题」，在于其目标简单（预测下一个词的概率分布）、拥有近乎无限的训练数据（互联网文本），并且是「AI 完备」的——做好这一点，几乎就能解决任何问题。Transformer 的诞生被形容为「想法已在空气中」，需要有人将注意力机制、键值存储等已有灵感组合起来，并解决关键的新问题。
从信息检索到 AGI：Google 使命的扩展
随着 AI 模型从检索信息（如 BERT 用于搜索）发展到实际完成工作（如编写代码），Google 的核心使命也在演进。Jeff Dean（杰夫·迪恩）认为，Google 始终是「组织全球信息」的公司，但这一定义已超越检索，涵盖了「根据指导创造新信息」。例如，帮助用户给兽医写信、总结视频内容、处理基因组或自动驾驶汽车激光雷达数据等。
AI 的目标是理解存在于所有模态中的世界信息，并将其转化为对人们有用的洞察，帮助他们完成各种任务——无论是娱乐性聊天，还是从上百个网页中综合信息回答复杂问题。Noam Shazeer（诺姆·沙泽尔）更展望了消除语言障碍的愿景：让任何语言的使用者都能无障碍获取和理解任何内容（如观看任何语言的视频）。
长上下文、推理计算与模型进化
当前模型的上下文长度有限（虽已可达百万 token），且存在「幻觉」问题。Noam Shazeer（诺姆·沙泽尔）指出，模型参数记忆事实的效率较高（大约每个参数记忆一个事实），但上下文中的每个 token 需要大量内存存储键值。未来的挑战是让模型能够「关注」数万亿 token，例如整个互联网或个人的全部信息。这需要突破二次复杂度的朴素注意力算法，开发新的近似算法。
两人都认为，未来 AI 能力提升的关键将从预训练更多地转向「推理时计算」。Noam Shazeer（诺姆·沙泽尔）算了一笔经济账：即使进行一万亿次操作 per token，成本也极低，使得与模型对话比阅读平装书便宜 100 倍，比咨询客服、软件工程师或医生便宜无数个数量级。因此，有巨大空间通过增加推理计算来让模型「更聪明」。Jeff Dean（杰夫·迪恩）描述，这就像有一个旋钮，拧得越多（消耗更多计算），答案质量就越高。这对于重要性不同的问题非常有用。
实现更高效推理需要算法创新，例如使用「草案模型」：让小模型一次预测多个 token，再由大模型验证，从而突破单 token 解码的瓶颈。此外，搜索（探索多种解决方案路径）将是利用额外推理计算的核心部分。
下一代架构：超越 Transformer 的「有机体」
在对话最富想象力的部分，Jeff Dean（杰夫·迪恩）勾勒了超越当前 Transformer 的下一代 AI 架构蓝图。他称之为更「有机」、不那么精心数学构造的机器学习模型。灵感来源于大脑的不同专门化区域，以及连接的可塑性。
- 模块化与专门化：超越混合专家模型当前的结构化形式，实现更有机的「专业能力」生长。模型可以根据需要，在特定领域增加容量并学习更多。
- 连接适应硬件：模型连接方式应适应硬件层级。同一芯片/HBM 内的「神经元」连接应极度密集；跨芯片连接减少；跨 TPU Pod 或跨数据中心（城域）的连接则更少，仅传递最重要的表征信息。Jeff Dean（杰夫·迪恩）希望这种连接模式能有机地涌现出来，而非手动指定。
- 动态计算分配：这种「有机体」可以根据任务需求，动态激活不同规模的计算子图。需要 10 个工程师的输出或 100 个工程师的输出，不是调用更多代理实例，而是激活不同模式或更大规模的子图。计算量可能因任务难度差异万倍甚至百万倍。
- 持续进化与蒸馏：这个系统可以持续进化，虽然部署复杂，但可以通过蒸馏技术，定期将其能力提取到高效、可服务的模型中。Jeff Dean（杰夫·迪恩）呼吁业界发明能瞬间将巨型「有机体」蒸馏到手机上的技术。
Noam Shazeer（诺姆·沙泽尔）补充，要实现这种飞跃，还需要改进训练目标。仅仅预测下一个 token 可能不是最有效的学习方式。人类会通过回答问题、视觉输入、在环境中行动并观察结果（如婴儿学习重力）来学习。让模型在学习过程中采取行动，将比被动观察数据集有效得多。甚至，模型可以通过「思想实验」或自我对弈（如 AlphaZero 下棋）来提升，无需外部数据。
研发加速、数据效率与开源思考
随着 AI 自动化自身研发过程，进步可能加速。Noam Shazeer（诺姆·沙泽尔）指出，当前全球可能有上万名 AI 研究者，每年产生 Transformer 级突破的概率或许是 10%。如果这个社区通过 AI 工具扩大千倍，可能会带来突破的井喷。自动化探索可以让人工研究者从繁琐实验中解放，更专注于高层指导。
Jeff Dean（杰夫·迪恩）特别提到利用 AI 加速芯片设计的潜力。当前芯片设计周期长达 18 个月以上，制造只占其中一小部分。如果通过自动化搜索大幅缩短设计时间，就能更快地响应算法变化，实现更快的硬件迭代，形成加速反馈循环。
关于数据效率，人类仅接触过约 10 亿 token 的数据，却掌握了大量知识。这表明当前模型从数据中提取信息的能力还有巨大提升空间。通过改变训练目标（如掩码预测、dropout、多轮学习）、纳入更多视觉数据，以及让模型通过行动学习，可以大幅提升样本效率。
当被问及 Google 早期开源 Transformer 等核心技术是否后悔时，Noam Shazeer（诺姆·沙泽尔）认为，看到其他公司的进展有助于认清机会规模，而且市场并非零和游戏。AI 将带来 GDP、健康、财富等领域的数量级增长。如今，Google 会根据技术的关键性和产品化节奏，灵活决定是立即发表、产品化后发表，还是仅内部使用。目标是在推动领域发展与保持竞争优势间取得平衡。
25 年长青的秘诀：好奇心、谦逊与协作
回顾长达 25 年且横跨多个领域的突破性职业生涯，两人分享了他们的秘诀。Jeff Dean（杰夫·迪恩）强调持续学习新领域的重要性：关注研究动态，与不同领域的同事合作，让专业知识相互「感染」，从而获得解决新问题的综合能力。Noam Shazeer（诺姆·沙泽尔）则认为「谦逊」是关键：要能随时放弃自己的想法，拥抱更好的方案。他提到 Google Brain 早期「自下而上」的算力分配（类似全民基本收入），鼓励了探索和失败；而如今 Gemini 项目更多「自上而下」的协调，则促进了协作，减少了重复建设。未来的理想模式是两者结合，既鼓励协作，也保持灵活性。
Jeff Dean（杰夫·迪恩）还有一个名为「去吧，杰夫，疯狂点子」的内部幻灯片，用于分享他基于新能力设想的产品方向，以此激发团队兴趣，而非强制命令。这或许正是 Google 这个科技巨头能持续创新的文化缩影。在这场跨越四分之一世纪的回顾与展望中，两位先驱不仅梳理了 AI 发展的来路，更为我们描绘了一条通往更强大、更有机、更通用人工智能的激动人心的未来路径。
