Loading...
Loading...
Google 首席科学家 Jeff Dean（杰夫·迪恩）与 Transformer 之父 Noam Shazeer（诺姆·沙泽尔）：25 年 AI 之路与 AGI 蓝图撰文：Techub News 整理
导语
2025 年 2 月，知名播客主持人 Dwarkesh Patel 邀请到了 Google 的两位传奇工程师——首席科学家 Jeff Dean（杰夫·迪恩）和 Transformer 架构共同发明人 Noam Shazeer（诺姆·沙泽尔）进行了一场深度对话。两人均在 Google 工作了近 25 年，是塑造现代计算与 AI 格局的关键人物。Jeff Dean 主导了 MapReduce、BigTable、TensorFlow、TPU 等基础系统的开发，如今是 Gemini 项目的三位联合负责人之一。Noam Shazeer 则是 Transformer、Mixture of Experts、Mesh TensorFlow 等核心 AI 技术的发明者或共同发明者，同样深度参与 Gemini 项目。这场对话不仅是对 Google 25年技术史的回顾，更是两位顶尖大脑对 AGI（通用人工智能）未来路径的前瞻性探讨，揭示了从硬件设计、算法创新到组织形态的深层思考。
摘要
从 N-gram 模型到 Transformer：回顾了 Google 早期在语言模型（如 2007 年的两万亿词条 N-gram 模型）上的探索，以及 Transformer 诞生的必然性与偶然性。
硬件与算法的「共舞」：探讨了摩尔定律变迁下，从通用 CPU 到专用 AI 芯片（如 TPU）的转变如何反过来塑造了深度学习算法的发展。
推理计算的范式转变：未来 AI 能力的飞跃将更多来自「推理时计算」的扩展，通过搜索、验证和多步思考，让模型在回答问题时「想得更深」。
下一代 AI 架构构想：提出了超越当前 Transformer 的、更「有机」的模型生长方式，灵感来源于大脑的模块化与连接可塑性，以适应硬件层级和多样化任务。
Google 的 AGI 愿景：AI 不仅是信息检索，更是信息组织与创造的工具，其目标是理解多模态世界并帮助人类完成复杂任务。
从 25 人到 AGI：Google 的技术演进史
当被问及在 Google 早期是否了解公司的一切时，Jeff Dean（杰夫·迪恩）幽默地回忆起公司规模的指数级膨胀。他加入时 Google 只有约 25 人，可以记住每个人的名字和项目。但随着公司壮大，会经历「知道所有软件工程师」到「只知道所有项目」，再到「收到‘鸭嘴兽项目’上线邮件却不知其为何物」的阶段。Noam Shazeer（诺姆·沙泽尔）的加入故事则更具偶然性：1999 年在招聘会上看到 Google，误以为已是巨头而错过，2000 年因喜欢其搜索引擎而投递简历，被当时墙上用蜡笔绘制的、呈指数增长的每日搜索查询图表所吸引，决定加入这个「一群聪明人做好事」的地方，并计划「赚够钱后就去专心研究 AI」——这个计划以他未曾预料的方式实现了。
两人回顾了 Google 如何天然成为 AI 研究的沃土。公司的使命——「整合全球信息，供大众使用，使人人受益」——本身就是一个需要先进 AI 才能实现的宏大目标。从早期的网页索引和搜索，到后来的机器翻译、拼写纠正，AI 一直是 Google 核心业务的延伸与深化。
硬件与算法的共生：从摩尔定律到 TPU
对话深入探讨了硬件进步如何与算法发展相互塑造。Jeff Dean（杰夫·迪恩）指出，过去二十年，摩尔定律在通用 CPU 上的红利逐渐消退，但专用机器学习加速器（如 TPU 和 GPU）的崛起，使得针对现代计算（尤其是矩阵运算）的高性能和高效能成为可能。Noam Shazeer（诺姆·沙泽尔）进一步阐释，当前深度学习得以爆发，正是因为算术变得极其廉价，而数据移动相对昂贵。这使得以大量矩阵乘法（N³ 运算，N² 数据通信）为核心的架构成为主流。
这种硬件特性直接影响了算法设计。Jeff Dean（杰夫·迪恩）以量化为例说明了「协同设计」的重要性。早期 TPUv1 冒险采用 8 位整数进行推理，如今训练和推理已可使用 INT4 甚至更低的精度。这需要算法设计者意识到低精度能带来巨大的吞吐量/成本提升，并与芯片设计者紧密合作。他调侃道，如果只问当前的算法研究者，他们可能会因为量化带来的麻烦而拒绝；但如果能看到全貌，知道量化能让模型快三倍，「那么你就得忍受这点麻烦」。
两人还设想了一个反事实世界：如果内存成本下降速度远快于算术成本，AI 可能会更像 20 年前的样子，依赖对大型内存的查找，而非如今的计算密集型模型。这凸显了当前技术路径的硬件依赖性。
早期探索与 Transformer 的必然性
Jeff Dean（杰夫·迪恩）分享了他 1990 年的本科论文，内容是在 32 处理器超立方机器上并行化神经网络的反向传播。他当时天真地以为 32 个处理器就能训练出强大的神经网络，后来才发现需要百万倍的计算量。直到 2008-2010 年左右，得益于摩尔定律，神经网络才开始在真实问题上发挥作用。
更引人注目的是 Google 在 2007 年的工作：为参与 DARPA 机器翻译比赛，团队训练了一个基于两万亿词条的五元文法（5-gram）语言模型。当时的系统翻译一个句子需要 12 小时，因为要进行数十万次磁盘寻址。Jeff Dean（杰夫·迪恩）与团队合作，设计了内存中的压缩数据结构，将翻译延迟降至 100 毫秒左右。这个将整个互联网词汇关系进行潜在表征的系统，可视为当今大语言模型的早期雏形。Noam Shazeer（诺姆·沙泽尔）则在更早的 2001 年就构建了基于语言模型的拼写纠正系统，其准确性令全公司惊叹。
当被问及是否当时就预见到 N-gram 模型会通向智能时，两人都给出了否定的答案。Noam Shazeer（诺姆·沙泽尔）认为，语言建模之所以成为「世界上最好的问题」，在于其目标简单（预测下一个词的概率分布）、拥有近乎无限的训练数据（互联网文本），并且是「AI 完备」的——做好这一点，几乎就能解决任何问题。Transformer 的诞生被形容为「想法已在空气中」，需要有人将注意力机制、键值存储等已有灵感组合起来，并解决关键的新问题。
从信息检索到 AGI：Google 使命的扩展
随着 AI 模型从检索信息（如 BERT 用于搜索）发展到实际完成工作（如编写代码），Google 的核心使命也在演进。Jeff Dean（杰夫·迪恩）认为，Google 始终是「组织全球信息」的公司，但这一定义已超越检索，涵盖了「根据指导创造新信息」。例如，帮助用户给兽医写信、总结视频内容、处理基因组或自动驾驶汽车激光雷达数据等。
AI 的目标是理解存在于所有模态中的世界信息，并将其转化为对人们有用的洞察，帮助他们完成各种任务——无论是娱乐性聊天，还是从上百个网页中综合信息回答复杂问题。Noam Shazeer（诺姆·沙泽尔）更展望了消除语言障碍的愿景：让任何语言的使用者都能无障碍获取和理解任何内容（如观看任何语言的视频）。
长上下文、推理计算与模型进化
当前模型的上下文长度有限（虽已可达百万 token），且存在「幻觉」问题。Noam Shazeer（诺姆·沙泽尔）指出，模型参数记忆事实的效率较高（大约每个参数记忆一个事实），但上下文中的每个 token 需要大量内存存储键值。未来的挑战是让模型能够「关注」数万亿 token，例如整个互联网或个人的全部信息。这需要突破二次复杂度的朴素注意力算法，开发新的近似算法。
两人都认为，未来 AI 能力提升的关键将从预训练更多地转向「推理时计算」。Noam Shazeer（诺姆·沙泽尔）算了一笔经济账：即使进行一万亿次操作 per token，成本也极低，使得与模型对话比阅读平装书便宜 100 倍，比咨询客服、软件工程师或医生便宜无数个数量级。因此，有巨大空间通过增加推理计算来让模型「更聪明」。Jeff Dean（杰夫·迪恩）描述，这就像有一个旋钮，拧得越多（消耗更多计算），答案质量就越高。这对于重要性不同的问题非常有用。
实现更高效推理需要算法创新，例如使用「草案模型」：让小模型一次预测多个 token，再由大模型验证，从而突破单 token 解码的瓶颈。此外，搜索（探索多种解决方案路径）将是利用额外推理计算的核心部分。
下一代架构：超越 Transformer 的「有机体」
在对话最富想象力的部分，Jeff Dean（杰夫·迪恩）勾勒了超越当前 Transformer 的下一代 AI 架构蓝图。他称之为更「有机」、不那么精心数学构造的机器学习模型。灵感来源于大脑的不同专门化区域，以及连接的可塑性。
模块化与专门化：超越混合专家模型当前的结构化形式，实现更有机的「专业能力」生长。模型可以根据需要，在特定领域增加容量并学习更多。
连接适应硬件：模型连接方式应适应硬件层级。同一芯片/HBM 内的「神经元」连接应极度密集；跨芯片连接减少；跨 TPU Pod 或跨数据中心（城域）的连接则更少，仅传递最重要的表征信息。Jeff Dean（杰夫·迪恩）希望这种连接模式能有机地涌现出来，而非手动指定。
动态计算分配：这种「有机体」可以根据任务需求，动态激活不同规模的计算子图。需要 10 个工程师的输出或 100 个工程师的输出，不是调用更多代理实例，而是激活不同模式或更大规模的子图。计算量可能因任务难度差异万倍甚至百万倍。
持续进化与蒸馏：这个系统可以持续进化，虽然部署复杂，但可以通过蒸馏技术，定期将其能力提取到高效、可服务的模型中。Jeff Dean（杰夫·迪恩）呼吁业界发明能瞬间将巨型「有机体」蒸馏到手机上的技术。
Noam Shazeer（诺姆·沙泽尔）补充，要实现这种飞跃，还需要改进训练目标。仅仅预测下一个 token 可能不是最有效的学习方式。人类会通过回答问题、视觉输入、在环境中行动并观察结果（如婴儿学习重力）来学习。让模型在学习过程中采取行动，将比被动观察数据集有效得多。甚至，模型可以通过「思想实验」或自我对弈（如 AlphaZero 下棋）来提升，无需外部数据。
研发加速、数据效率与开源思考
随着 AI 自动化自身研发过程，进步可能加速。Noam Shazeer（诺姆·沙泽尔）指出，当前全球可能有上万名 AI 研究者，每年产生 Transformer 级突破的概率或许是 10%。如果这个社区通过 AI 工具扩大千倍，可能会带来突破的井喷。自动化探索可以让人工研究者从繁琐实验中解放，更专注于高层指导。
Jeff Dean（杰夫·迪恩）特别提到利用 AI 加速芯片设计的潜力。当前芯片设计周期长达 18 个月以上，制造只占其中一小部分。如果通过自动化搜索大幅缩短设计时间，就能更快地响应算法变化，实现更快的硬件迭代，形成加速反馈循环。
关于数据效率，人类仅接触过约 10 亿 token 的数据，却掌握了大量知识。这表明当前模型从数据中提取信息的能力还有巨大提升空间。通过改变训练目标（如掩码预测、dropout、多轮学习）、纳入更多视觉数据，以及让模型通过行动学习，可以大幅提升样本效率。
当被问及 Google 早期开源 Transformer 等核心技术是否后悔时，Noam Shazeer（诺姆·沙泽尔）认为，看到其他公司的进展有助于认清机会规模，而且市场并非零和游戏。AI 将带来 GDP、健康、财富等领域的数量级增长。如今，Google 会根据技术的关键性和产品化节奏，灵活决定是立即发表、产品化后发表，还是仅内部使用。目标是在推动领域发展与保持竞争优势间取得平衡。
25 年长青的秘诀：好奇心、谦逊与协作
回顾长达 25 年且横跨多个领域的突破性职业生涯，两人分享了他们的秘诀。Jeff Dean（杰夫·迪恩）强调持续学习新领域的重要性：关注研究动态，与不同领域的同事合作，让专业知识相互「感染」，从而获得解决新问题的综合能力。Noam Shazeer（诺姆·沙泽尔）则认为「谦逊」是关键：要能随时放弃自己的想法，拥抱更好的方案。他提到 Google Brain 早期「自下而上」的算力分配（类似全民基本收入），鼓励了探索和失败；而如今 Gemini 项目更多「自上而下」的协调，则促进了协作，减少了重复建设。未来的理想模式是两者结合，既鼓励协作，也保持灵活性。
Jeff Dean（杰夫·迪恩）还有一个名为「去吧，杰夫，疯狂点子」的内部幻灯片，用于分享他基于新能力设想的产品方向，以此激发团队兴趣，而非强制命令。这或许正是 Google 这个科技巨头能持续创新的文化缩影。在这场跨越四分之一世纪的回顾与展望中，两位先驱不仅梳理了 AI 发展的来路，更为我们描绘了一条通往更强大、更有机、更通用人工智能的激动人心的未来路径。
Google Gemini 负责人 Noam Shazeer（诺姆·沙泽尔）与 Jack Rae（杰克·雷）：测试时计算能带我们走多远？撰文：Techub News 整理
导语
在知名 AI 播客《Unsupervised Learning》的最新一期节目中，主持人 Jacob Effron 邀请到了 Google Gemini 大语言模型项目的两位关键人物：Noam Shazeer（诺姆·沙泽尔）与 Jack Rae（杰克·雷）。Noam Shazeer 是 Transformer 架构的联合发明人之一，也是 Character.ai 的创始人，现回归 Google 领导 Gemini 项目。Jack Rae 则是 DeepMind 多项突破性研究的关键贡献者，目前也深度参与 Gemini 的开发。这场长达 70 分钟的对话，正值 Gemini 2.0 系列模型发布、测试时计算范式兴起之际，两位身处 AI 研究最前沿的专家分享了他们对技术现状、未来路径以及行业生态的独到观察。
摘要
测试时计算潜力巨大，但非 AGI 万能钥匙：通过投入更多推理时计算资源（如思维链），模型能力能获得显著提升，尤其在数学、代码等可验证领域。然而，要达成真正的 AGI，仍需解决在复杂环境中行动、提出真正新颖问题等核心挑战。
模型能力正从“应试”转向“创造”：当前的研究重点正从在固定基准测试上“刷分”，转向让模型能够进行开放式探索、提出新问题，并最终在科学发现等实际创造领域做出贡献。
开源模型的追赶速度超乎预期：Noam Shazeer 和 Jack Rae 均对开源社区（如 Gemma、DeepSeek）快速跟进并发布有竞争力模型的速度表示惊讶和赞赏，认为这股创新力量将持续存在。
AI 与教育的结合前景广阔：Jack Rae 以其孩子的亲身经历为例，展示了 AI 如何成为强大的个性化学习工具，认为下一代人将因此变得更“聪明”，AI 在教育领域的潜力被严重低估。
对 AGI 风险持审慎乐观态度：两人均认为需要认真对待 AI 安全与对齐问题，以及技术对社会经济的冲击。Google 内部有专门的团队评估模型发布的风险。Noam Shazeer 比喻，希望 AI 能像尊重父母的孩子一样尊重其创造者。
测试时计算：现状、惊喜与天花板
对话始于对 Gemini 2.0 系列模型，特别是其“思维”（Thinking）或测试时计算能力的探讨。Jack Rae 分享了一个最初的惊喜：研究团队原本集中精力于提升模型在数学和代码等“推理任务”上的表现，但很快发现，这种深度思考的能力同样能显著改善创造性任务，例如撰写文章。模型在“思维”过程中展现的构思、修订过程，其输出结果的质量和风格都令人印象深刻。
Noam Shazeer 强调了在可验证领域（如数学、代码）取得突破的重要性，因为这些评估指标能有效区分模型是真正学会了推理，还是仅仅记住了更多数据。他坦言，评估基准（Evals）的“寿命”正在急剧缩短，往往几个月前还极具挑战性的任务，很快就被模型攻克并变得“微不足道”。这促使整个行业需要不断开发更复杂、更私密的新评估体系。
当被问及什么才是真正有意义的里程碑时，Noam Shazeer 给出了一个引人深思的回答：“当 Gemini X 能够编写 Gemini X+1 时。” 这指向了 AI 自我改进的强化循环——利用已构建的 AI 工具，来更高效地开发下一代更强大的 AI。他认为，除了这个“元循环”，来自用户反馈的数据飞轮以及全球关注与资金投入的飞轮，都将共同驱动 AI 发展的加速。
那么，测试时计算的“天花板”在哪里？它能否直接将我们带向 AGI？对此，两人的观点明确。Noam Shazeer 从经济学角度分析：当前大语言模型的推理成本极低（每美元可生成数百万 tokens），远低于人类阅读书籍或雇佣工程师的成本。因此，只要价值存在，就有巨大空间投入更多计算资源让模型在推理时“思考”得更深入、更聪明。这无疑会带来显著的能力提升曲线。
然而，Jack Rae 明确指出，测试时计算范式并非通往 AGI 的完整路径。他认同需要其他关键组件，尤其是让 AI 能够在复杂环境中行动的“智能体”（Agent）研究。目前的测试时计算更像是“针对特定问题思考更久以找到答案”，而未来的目标应该是让模型能进行“深度思考”，在“思维”中创造并内化新知识，从而大幅提升解决后续任务的数据效率。就像人类数学家通过研读一本教材并深入思考，最终成为世界级专家一样。他们正在朝这个方向努力，但尚未抵达。
从“应试者”到“探索者”：AI研究范式的转变
随着模型能力提升，其角色也在发生根本性变化。Jack Rae 以数学为例，阐述了这种转变：当前数学多被用作基准测试，类似于“考试”；而未来的重要转折点，是让 AI 开始生成“有用的数学”，解决真正重要的、未解决的问题。这需要建立一套从现有能力逐步过渡到实际科学贡献的评估阶梯。
Noam Shazeer 对此深表赞同，并借此回应了关于“大模型仅是模仿、无法产生新颖思想”的批评（如 Yann LeCun 的观点）。他认为，即便只是将两个已知的、互不相干的知识领域进行交叉“插值”，从而发现新的属性（例如在材料科学中），这本身就已经能极大加速科学进程。至于何为“真正新颖”，他认为无需陷入哲学争论，更务实的态度是持续构建 AI，提升全球技术水平，帮助人类。
Jack Rae 则描绘了一幅更宏大的图景：将当前数学研究的现状比作15世纪的地理大发现。只有少数精英探险家（数学家）能够冒险探索未知领域，带回零星的新地图。如果 AI 能够学会提出正确的数学问题（这被认为是最难的部分），并且有能力解决它们，那么未来我们或许可以拥有“百万个陶哲轩级别的数学家”，快速绘制出整个“数学地图”，这将对所有科学产生革命性影响。
研究文化、开源生态与未来展望
回顾过去十年的 AI 研究，尤其是像 Transformer 这样的突破，Noam Shazeer 将其比作“炼金术”时代——高度实验性，知其然未必知其所以然。他强调在研究文化中慷慨给予认可的重要性，因为想法的溯源和贡献分配往往极其复杂。对于 Transformer 的诞生是否具有必然性，他认为类似的想法在当时已呼之欲出，但具体的碰撞与结合确实需要一些机缘。
两人也讨论了不同的研究组织模式。Jack Rae 结合其在 OpenAI（更集中化）和 DeepMind（更多自上而下）的经历，认为在 Google 当前的环境中，保持“自上而下”的战略聚焦与“自下而上”的自由探索之间的平衡至关重要。战略聚焦能确保在关键方向（如测试时计算）投入资源并交付成果，而自由探索则常常带来意想不到的、更具影响力的突破。
一个令他们共同“改变想法”的领域是开源模型的进展。Jack Rae 坦言，他曾以为闭源模型可能会逐渐拉大领先优势，但开源社区展现出的激情、创造力和快速迭代能力令人震惊。像 Gemma 3 和 DeepSeek 这样的模型性能卓越，表明开源力量完全能够持续创新并保持竞争力。Noam Shazeer 也认为，开源与闭源之间的“时间差”正在缩小，未来可能是“质量差距明显但时间差极小”的局面。
AI 的社会影响：教育、风险与人类角色
谈及 AI 对个人生活的影响，Jack Rae 分享了一个生动例子：他四岁的儿子喜欢用 Gemini 识别花园里的植物和蜥蜴，并迅速吸收了详尽的专业知识，甚至能在学校向老师准确描述。他认为，AI 与教育的结合将催生一种前所未有的个性化学习方式，让下一代人变得更“聪明”，这一前景被严重低估。
Noam Shazeer 的思考则更具哲学意味。他认为，随着 AI 可能在未来承担更多物质生产工作，人类需要重新寻找生命的意义——这可能不再是关于生存的挣扎，而是更多地关乎精神层面的追求。他鼓励人们，如果现在有想做的、有物质意义的事情，“现在就去做”，因为未来情况可能不同。
关于 AGI 风险，两人态度审慎。Jack Rae 表示“中度担忧”，指出创造出一个远超自身智能、但仍能可靠服务于创造者的实体，在历史上缺乏先例。此外，AI 对就业和经济结构的潜在冲击也是需要认真应对的现实问题。他提到 Google 内部有独立的团队专门负责从更全局的视角评估模型发布的安全性与社会影响。Noam Shazeer 则用了一个巧妙的比喻：希望 AI 能像（理想中）尊重父母的孩子一样尊重人类。他承认需要全力投入安全研究，但整体并不恐惧。
最后，在快速问答环节，对于“当前 AI 界什么被高估/低估了”的问题，Jack Rae 认为某些特定的、复杂的合成任务基准（如 ARC-AGI）被高估了，因为它们可能无法有效导向通用的、有用的 AGI。Noam Shazeer 则坚定地认为，大语言模型和 AGI 本身仍然被“严重低估”，其潜力远不止于创造万亿美元市值的产品。如果让他们现在去开发应用，两人都认为“智能体”领域，尤其是能够自动化执行复杂任务（不限于编码）的智能体，以及 AI 赋能软件工程（自我加速循环的关键），是最值得关注的方向。
Google DeepMind 研究副总裁 Noam Shazeer（诺姆·沙泽尔）：「大语言模型想要什么？」撰文：Techub News 整理
导语
在2025 年 9 月举行的全球顶尖芯片会议 Hot Chips 2025 上，Transformer 论文《Attention Is All You Need》的联合作者之一、Google DeepMind 研究副总裁 Noam Shazeer（诺姆·沙泽尔）发表了主题为「AI 下一阶段预测」的开场演讲。作为深度参与了从早期语言模型研究到现代大规模 AI 系统构建全过程的先驱人物，Shazeer 的视角兼具历史纵深与前沿洞察。他不仅回顾了自己从 Google Brain 到创办 Character.ai，再回归 Google 领导 Gemini 项目的历程，更系统性地剖析了驱动大语言模型（LLM）智能进步的核心要素，并对未来 AI 硬件的发展方向提出了恳切建议。这场演讲是理解当前 AI 浪潮技术根源和未来演变趋势的宝贵窗口。
摘要
大语言模型的智能提升依赖于计算量、参数规模、模型深度、训练数据量与信息流动效率等多个因素的协同增长，每一项的边际提升都可能对数地提高模型「智商」。
硬件创新是 AI 革命的关键驱动力，未来硬件应在保持确定性的前提下，提供更多的计算能力（FLOPS）、更高的内存容量与带宽，以及更快的网络互连。
低精度计算（如 FP8）在深度学习中日益普及且有效，但硬件与软件生态需要协同突破才能充分发挥其潜力。
模型推理（尤其是长链思维）和训练后优化（如 RLHF）所需的计算量将大幅增长，可能成为未来 AI 计算负载的重心。
尽管 Transformer 架构取得了巨大成功，但探索更有机、更具「神经状态」记忆能力的新架构，可能是进一步提升模型能力与效率的方向。
大语言模型想要什么？
Noam Shazeer（诺姆·沙泽尔）开篇便提出了一个核心问题：是什么让大语言模型变得更聪明？他将其归纳为几个关键因素的组合，每一项的提升都能对数地提高模型的「智商」。首要因素是计算量，即能够执行更多的浮点运算。他指出，深度学习尤其是 LLM 的爆发，很大程度上归功于能够执行比传统单线程处理器高出几个数量级计算的高度并行处理器的出现。
其次，模型参数的数量也至关重要，它决定了模型能吸收多少知识。虽然参数量的增长通常与计算量同步，但并非必然，通过稀疏化等方法可以在不显著增加计算负担的情况下增加参数。此外，模型的深度（即层数）以及层间的非线性变换，是「深度学习」之名的由来，也对模型能力有贡献。
Shazeer 特别强调了信息流动的重要性。Transformer 架构的核心优势就在于它能高效地在序列的不同部分之间移动信息。无论是序列内部（如注意力机制），还是网络层之间，更畅通、更丰富的信息流都会让模型变得更聪明。最后，训练数据的规模和独特性同样关键。使用更多、更独特的训练样本，避免简单重复，是持续提升模型性能的基础。
「任何时候，如果我们能在不严重损害其他因素的前提下，显著提升其中一项，那通常就是一个巨大的胜利。」Shazeer 总结道。
从语言建模痴迷者到 Transformer 联合创始人
Shazeer 回顾了自己是如何「入坑」LLM 领域的。时间回到 2015 年，他在 Google Brain 工作，遇到了一群痴迷于「十亿词语言建模基准」的研究者。当时，基于 LSTM 的模型在数十个 GPU 上运行数周，只为了将困惑度（perplexity）从 30.5 降低到 30.0。这种对极致性能的追求深深吸引了他。
他认为，语言建模是「最好的问题」。文本是抽象思维最精炼的形式，而预测下一个词这个任务表述极其简单，却蕴含着解决通用人工智能（AGI）的潜力。「如果你在这个任务上越做越好，你几乎就解决了人工智能。你可以通过图灵测试，可以完成任何通过交谈就能完成的任务。」Shazeer 解释道。当时，可用的训练数据看似无穷无尽，这让他看到了无限的可能性。
他的第一个主要贡献是探索稀疏性。既然增加参数和计算能让模型更聪明，而计算又很昂贵，那么是否可以只增加参数而不成比例地增加计算呢？他提出了「稀疏门控混合专家」（Sparsely-Gated Mixture of Experts）模型，其核心思想是设计一种与密集矩阵乘法兼容的块级稀疏性，以避免降低硬件计算单元的利用率。这个想法在当时并未立即实用化，但如今已被广泛采用。
随后在 2017 年，他与一群研究者合作，共同创造了 Transformer 架构。他们希望用注意力机制取代当时占主导地位的、训练起来很「烦人」的 RNN。注意力机制通过构建一种键值存储，极大地增加了序列维度的信息流动，而且整个架构可以高效地用矩阵乘法实现，从而在 GPU 或 TPU 上快速运行。「这最终取得了相当不错的成功。」Shazeer 谦虚地表示。
2018 年，随着 Google 开始构建 TPU Pod（大规模 TPU 集群），Shazeer 开始思考如何将模型扩展到单个芯片的内存限制之外。他与 Cliff 等同事合作开发了 Mesh TensorFlow 库，使得 Transformer 模型能够分布式地横跨多个芯片运行，实现了模型并行，为当今的超大规模模型训练奠定了基础。
七年前的预言与今日的现实
Shazeer 展示了他 2018 年在一次大型会议上发表的题为「自然语言模型：越大越好」的演讲片段，以此作为「我早就说过」的回顾。当时，他展示了参数规模从 3000 万到 50 亿的模型生成文本的质量变化，并预测了千亿参数模型的潜力。他当时驳斥了「小模型有利于泛化、速度和内存」的常见观点，认为训练数据不足、计算机太慢或内存限制都不是根本问题，并大力推介了当时的 TPU v3 超级计算机和 Mesh TensorFlow。
「快进到 2025 年，我想说，我早就告诉过你们应该放大 Transformer。」Shazeer 笑着说道。如今，这已成为行业共识。
自 2018 年以来，他还致力于解决其他关键问题，例如推理延迟。Transformer 在处理并行序列时效率很高，但在逐令牌生成（解码）时，注意力层会退化为向量-矩阵乘法，在现代硬件上效率不高。他参与提出了多查询注意力（Multi-Query Attention）和推测解码（Speculative Decoding，当时称为块级并行解码）等技术，以加速推理过程。此外，他还参与了 T5 项目、Google 的对话机器人 LaMDA 的前身「Mina」的开发，并因此受到启发，共同创办了 Character.ai，旨在构建具有个性、能与用户深度互动的聊天机器人。
「当时，我们是最早推出消费者可直接在线对话的 LLM 的公司之一。」Shazeer 提到，「结果发现很多人将其用于娱乐目的，这很有道理，因为这些模型本质上是被训练来『编造东西』的，而不是告诉你真相。」这也正是他于 2024 年回归 Google，共同领导 Gemini 项目的原因之一——他看到了 LLM 在实用化应用方面的巨大进展和潜力。
硬件，请给我们更多！
作为软件和算法研究者，Shazeer 深知硬件的基石作用。他首先感谢了在场的硬件社区，称 AI 革命「没有你们就不可能发生」。那么，大语言模型到底需要硬件提供什么？
他的清单简明而直接：
更多的 FLOPS（计算能力）：这让我们能够训练计算更密集的模型，并使用更多的训练样本。
更高的内存容量和带宽：从片上存储到 HBM，整个内存层次的瓶颈都可能限制模型的设计。如果内存带宽相对计算能力过低，我们就不得不使用非常大的矩阵乘法维度来补偿，这限制了模型设计的灵活性。内存容量则直接决定了我们能构建多大的模型。
更快的网络带宽：当今的训练和推理几乎都是分布式的。网络带宽在所有层次上都至关重要。特别是对于推理延迟，当用户希望模型进行长时间「思维链」推理时，我们希望单步推理时间足够短。这通常受限于访问所有模型参数的速度，即内存带宽。通过模型并行将参数分布在更多芯片上，可以聚合内存带宽，但这又需要芯片间具备足够高的互连带宽。
「总而言之，如果你能给我更多这些标准的东西——更多的 FLOPS、更大的内存容量、更高的内存和网络带宽——我们真的能用得很好。」Shazeer 强调，模型架构师在设计时，总是在问：「芯片能承受什么？哪个部分未被充分利用？」硬件的特性直接塑造了软件和算法的形态。
此外，Shazeer 还提出了两个更具体的偏好：
低精度计算：对于深度学习中的许多应用，参数和激活值本身就在不断变化，低位精度通常足够，且能以更低的功耗提供更高的计算吞吐。「如果你能给我更多低精度的 FLOPS，那通常很有好处。」
确定性：这对于研究和调试至关重要。在 AI 研究中，大量实验因算法想法本身无效而失败，但也可能因为软件错误或数据问题。如果实验是确定性的，研究人员就可以进行微调并精确复现问题，从而高效地排除故障。「除非你能告诉我，通过牺牲确定性可以获得 10 倍的性能提升，否则，确定性就是好的。」
观众问答：架构、对齐与未来
在问答环节，与会者提出了众多深刻的问题，Shazeer 的回答同样富有洞见。
关于第一令牌延迟是否重要，他认为这取决于应用场景。如果是对话式应用，只要生成速度比用户阅读速度快即可；但如果需要生成长文本后才给出答案，则整体延迟比第一令牌延迟更重要。
针对下一代模型架构的探索，有观众询问是否可能借鉴更「有机」、带有循环连接等复杂结构的生物启发设计，以提升「每参数智能」。Shazeer 承认尝试过很多想法，但指出人类大脑的参数与训练数据（经验）之比远高于当前 LLM，这可能是因为人类寿命（训练时间）有限。他更倾向于不过度限制参数，而是追求「每计算智能」的提升。
关于计算增长的重点，Shazeer 预测，未来在训练后优化（如人类反馈强化学习 RLHF）和推理上的计算投入可能会与预训练相当，因为这些都是提升模型最终能力的有效手段。
对于数据耗尽的担忧，Shazeer 的态度相对乐观。他认为即使数据总量充足，数据质量的持续提升永远有益。这与他在 2018 年「数据无穷」的乐观表态形成微妙的对照，反映了行业认识的深化。
硬件-软件协同设计的挑战被多次提及。Shazeer 指出，这常常是一个「先有鸡还是先有蛋」的困境：如果当前硬件不支持某项功能（如低精度），软件就不会使用它，导致下一代硬件也不会包含该功能。打破循环需要硬件团队的前瞻性冒险和软件团队对未来硬件的模拟。
关于AGI 与对齐，当被问及如果硬件在 2025 年停止发展，仅凭现有架构是否能实现 AGI 时，Shazeer 给出了一个引人深思的回答：「可能可以。我认为真正会加速这一切的是自我加速——我们可以用 AI 来帮助我们构建更好的软件和硬件。」至于对齐问题，他坦言自己并不确定硬件架构是否能以「新兴」的方式贡献于对齐研究，这反映了他对未知领域的诚实态度。
最后，针对模型可能机械复述训练数据（数据 regurgitation）以及使用模型自身生成数据进行训练可能导致的质量退化问题，Shazeer 认为这需要后续的数据筛选和质量控制来解决。同时，有观众重提了 RNN 所具有的「神经隐藏状态」的记忆与遗忘能力，并询问未来是否会回归类似机制，而非单纯依赖不断增长的外部上下文（Context）。Shazeer 对此表现出浓厚兴趣，认为这是一个好想法，并幽默地发出了工作邀请。
整场演讲和问答在轻松、坦诚且充满探索精神的氛围中结束，Shazeer 的谦逊与好奇心给听众留下了深刻印象，也为 AI 硬件与软件社区的未来协作指明了充满希望的方向。撰文：Techub News 整理 导语 2025 年 2 月，知名播客主持人 Dwarkesh Patel 邀请到了 Google 的两位传奇工程师——首席科学家 Jeff Dean（杰夫·迪恩）和 Transformer 架构共同发明人 Noam Shazeer（诺姆·沙泽尔）进行了一场深度对话。两人均在 Google 工作了近 25 年，是塑造现代计算与 AI 格局的关键人物。Jeff Dean 主导了 MapReduce、BigTable、TensorFlow、TPU 等基础系统的开发，如今是 Gemini 项目的三位联合负责人之一。Noam Shazeer 则是 Transformer、Mixture of Experts、Mesh TensorFlow 等核心 AI 技术的发明者或共同发明者，同样深度参与 Gemini 项目。这场对话不仅是对 Google 25年技术史的回顾，更是两位顶尖大脑对 AGI（通用人工智能）未来路径的前瞻性探讨，揭示了从硬件设计、算法创新到组织形态的深层思考。 摘要 从 N-gram 模型到 Transformer：回顾了 Google 早期在语言模型（如 2007 年的两万亿词条 N-gram 模型）上的探索，以及 Transformer 诞生的必然性与偶然性。 硬件与算法的「共舞」：探讨了摩尔定律变迁下，从通用 CPU 到专用 AI 芯片（如 TPU）的转变如何反过来塑造了深度学习算法的发展。 推理计算的范式转变：未来 AI 能力的飞跃将更多来自「推理时计算」的扩展，通过搜索、验证和多步思考，让模型在回答问题时「想得更深」。 下一代 AI 架构构想：提出了超越当前 Transformer 的、更「有机」的模型生长方式，灵感来源于大脑的模块化与连接可塑性，以适应硬件层级和多样化任务。 Google 的 AGI 愿景：AI 不仅是信息检索，更是信息组织与创造的工具，其目标是理解多模态世界并帮助人类完成复杂任务。 从 25 人到 AGI：Google 的技术演进史 当被问及在 Google 早期是否了解公司的一切时，Jeff Dean（杰夫·迪恩）幽默地回忆起公司规模的指数级膨胀。他加入时 Google 只有约 25 人，可以记住每个人的名字和项目。但随着公司壮大，会经历「知道所有软件工程师」到「只知道所有项目」，再到「收到‘鸭嘴兽项目’上线邮件却不知其为何物」的阶段。Noam Shazeer（诺姆·沙泽尔）的加入故事则更具偶然性：1999 年在招聘会上看到 Google，误以为已是巨头而错过，2000 年因喜欢其搜索引擎而投递简历，被当时墙上用蜡笔绘制的、呈指数增长的每日搜索查询图表所吸引，决定加入这个「一群聪明人做好事」的地方，并计划「赚够钱后就去专心研究 AI」——这个计划以他未曾预料的方式实现了。 两人回顾了 Google 如何天然成为 AI 研究的沃土。公司的使命——「整合全球信息，供大众使用，使人人受益」——本身就是一个需要先进 AI 才能实现的宏大目标。从早期的网页索引和搜索，到后来的机器翻译、拼写纠正，AI 一直是 Google 核心业务的延伸与深化。 硬件与算法的共生：从摩尔定律到 TPU 对话深入探讨了硬件进步如何与算法发展相互塑造。Jeff Dean（杰夫·迪恩）指出，过去二十年，摩尔定律在通用 CPU 上的红利逐渐消退，但专用机器学习加速器（如 TPU 和 GPU）的崛起，使得针对现代计算（尤其是矩阵运算）的高性能和高效能成为可能。Noam Shazeer（诺姆·沙泽尔）进一步阐释，当前深度学习得以爆发，正是因为算术变得极其廉价，而数据移动相对昂贵。这使得以大量矩阵乘法（N³ 运算，N² 数据通信）为核心的架构成为主流。 这种硬件特性直接影响了算法设计。Jeff Dean（杰夫·迪恩）以量化为例说明了「协同设计」的重要性。早期 TPUv1 冒险采用 8 位整数进行推理，如今训练和推理已可使用 INT4 甚至更低的精度。这需要算法设计者意识到低精度能带来巨大的吞吐量/成本提升，并与芯片设计者紧密合作。他调侃道，如果只问当前的算法研究者，他们可能会因为量化带来的麻烦而拒绝；但如果能看到全貌，知道量化能让模型快三倍，「那么你就得忍受这点麻烦」。 两人还设想了一个反事实世界：如果内存成本下降速度远快于算术成本，AI 可能会更像 20 年前的样子，依赖对大型内存的查找，而非如今的计算密集型模型。这凸显了当前技术路径的硬件依赖性。 早期探索与 Transformer 的必然性 Jeff Dean（杰夫·迪恩）分享了他 1990 年的本科论文，内容是在 32 处理器超立方机器上并行化神经网络的反向传播。他当时天真地以为 32 个处理器就能训练出强大的神经网络，后来才发现需要百万倍的计算量。直到 2008-2010 年左右，得益于摩尔定律，神经网络才开始在真实问题上发挥作用。 更引人注目的是 Google 在 2007 年的工作：为参与 DARPA 机器翻译比赛，团队训练了一个基于两万亿词条的五元文法（5-gram）语言模型。当时的系统翻译一个句子需要 12 小时，因为要进行数十万次磁盘寻址。Jeff Dean（杰夫·迪恩）与团队合作，设计了内存中的压缩数据结构，将翻译延迟降至 100 毫秒左右。这个将整个互联网词汇关系进行潜在表征的系统，可视为当今大语言模型的早期雏形。Noam Shazeer（诺姆·沙泽尔）则在更早的 2001 年就构建了基于语言模型的拼写纠正系统，其准确性令全公司惊叹。 当被问及是否当时就预见到 N-gram 模型会通向智能时，两人都给出了否定的答案。Noam Shazeer（诺姆·沙泽尔）认为，语言建模之所以成为「世界上最好的问题」，在于其目标简单（预测下一个词的概率分布）、拥有近乎无限的训练数据（互联网文本），并且是「AI 完备」的——做好这一点，几乎就能解决任何问题。Transformer 的诞生被形容为「想法已在空气中」，需要有人将注意力机制、键值存储等已有灵感组合起来，并解决关键的新问题。 从信息检索到 AGI：Google 使命的扩展 随着 AI 模型从检索信息（如 BERT 用于搜索）发展到实际完成工作（如编写代码），Google 的核心使命也在演进。Jeff Dean（杰夫·迪恩）认为，Google 始终是「组织全球信息」的公司，但这一定义已超越检索，涵盖了「根据指导创造新信息」。例如，帮助用户给兽医写信、总结视频内容、处理基因组或自动驾驶汽车激光雷达数据等。 AI 的目标是理解存在于所有模态中的世界信息，并将其转化为对人们有用的洞察，帮助他们完成各种任务——无论是娱乐性聊天，还是从上百个网页中综合信息回答复杂问题。Noam Shazeer（诺姆·沙泽尔）更展望了消除语言障碍的愿景：让任何语言的使用者都能无障碍获取和理解任何内容（如观看任何语言的视频）。 长上下文、推理计算与模型进化 当前模型的上下文长度有限（虽已可达百万 token），且存在「幻觉」问题。Noam Shazeer（诺姆·沙泽尔）指出，模型参数记忆事实的效率较高（大约每个参数记忆一个事实），但上下文中的每个 token 需要大量内存存储键值。未来的挑战是让模型能够「关注」数万亿 token，例如整个互联网或个人的全部信息。这需要突破二次复杂度的朴素注意力算法，开发新的近似算法。 两人都认为，未来 AI 能力提升的关键将从预训练更多地转向「推理时计算」。Noam Shazeer（诺姆·沙泽尔）算了一笔经济账：即使进行一万亿次操作 per token，成本也极低，使得与模型对话比阅读平装书便宜 100 倍，比咨询客服、软件工程师或医生便宜无数个数量级。因此，有巨大空间通过增加推理计算来让模型「更聪明」。Jeff Dean（杰夫·迪恩）描述，这就像有一个旋钮，拧得越多（消耗更多计算），答案质量就越高。这对于重要性不同的问题非常有用。 实现更高效推理需要算法创新，例如使用「草案模型」：让小模型一次预测多个 token，再由大模型验证，从而突破单 token 解码的瓶颈。此外，搜索（探索多种解决方案路径）将是利用额外推理计算的核心部分。 下一代架构：超越 Transformer 的「有机体」 在对话最富想象力的部分，Jeff Dean（杰夫·迪恩）勾勒了超越当前 Transformer 的下一代 AI 架构蓝图。他称之为更「有机」、不那么精心数学构造的机器学习模型。灵感来源于大脑的不同专门化区域，以及连接的可塑性。 模块化与专门化：超越混合专家模型当前的结构化形式，实现更有机的「专业能力」生长。模型可以根据需要，在特定领域增加容量并学习更多。 连接适应硬件：模型连接方式应适应硬件层级。同一芯片/HBM 内的「神经元」连接应极度密集；跨芯片连接减少；跨 TPU Pod 或跨数据中心（城域）的连接则更少，仅传递最重要的表征信息。Jeff Dean（杰夫·迪恩）希望这种连接模式能有机地涌现出来，而非手动指定。 动态计算分配：这种「有机体」可以根据任务需求，动态激活不同规模的计算子图。需要 10 个工程师的输出或 100 个工程师的输出，不是调用更多代理实例，而是激活不同模式或更大规模的子图。计算量可能因任务难度差异万倍甚至百万倍。 持续进化与蒸馏：这个系统可以持续进化，虽然部署复杂，但可以通过蒸馏技术，定期将其能力提取到高效、可服务的模型中。Jeff Dean（杰夫·迪恩）呼吁业界发明能瞬间将巨型「有机体」蒸馏到手机上的技术。 Noam Shazeer（诺姆·沙泽尔）补充，要实现这种飞跃，还需要改进训练目标。仅仅预测下一个 token 可能不是最有效的学习方式。人类会通过回答问题、视觉输入、在环境中行动并观察结果（如婴儿学习重力）来学习。让模型在学习过程中采取行动，将比被动观察数据集有效得多。甚至，模型可以通过「思想实验」或自我对弈（如 AlphaZero 下棋）来提升，无需外部数据。 研发加速、数据效率与开源思考 随着 AI 自动化自身研发过程，进步可能加速。Noam Shazeer（诺姆·沙泽尔）指出，当前全球可能有上万名 AI 研究者，每年产生 Transformer 级突破的概率或许是 10%。如果这个社区通过 AI 工具扩大千倍，可能会带来突破的井喷。自动化探索可以让人工研究者从繁琐实验中解放，更专注于高层指导。 Jeff Dean（杰夫·迪恩）特别提到利用 AI 加速芯片设计的潜力。当前芯片设计周期长达 18 个月以上，制造只占其中一小部分。如果通过自动化搜索大幅缩短设计时间，就能更快地响应算法变化，实现更快的硬件迭代，形成加速反馈循环。 关于数据效率，人类仅接触过约 10 亿 token 的数据，却掌握了大量知识。这表明当前模型从数据中提取信息的能力还有巨大提升空间。通过改变训练目标（如掩码预测、dropout、多轮学习）、纳入更多视觉数据，以及让模型通过行动学习，可以大幅提升样本效率。 当被问及 Google 早期开源 Transformer 等核心技术是否后悔时，Noam Shazeer（诺姆·沙泽尔）认为，看到其他公司的进展有助于认清机会规模，而且市场并非零和游戏。AI 将带来 GDP、健康、财富等领域的数量级增长。如今，Google 会根据技术的关键性和产品化节奏，灵活决定是立即发表、产品化后发表，还是仅内部使用。目标是在推动领域发展与保持竞争优势间取得平衡。 25 年长青的秘诀：好奇心、谦逊与协作 回顾长达 25 年且横跨多个领域的突破性职业生涯，两人分享了他们的秘诀。Jeff Dean（杰夫·迪恩）强调持续学习新领域的重要性：关注研究动态，与不同领域的同事合作，让专业知识相互「感染」，从而获得解决新问题的综合能力。Noam Shazeer（诺姆·沙泽尔）则认为「谦逊」是关键：要能随时放弃自己的想法，拥抱更好的方案。他提到 Google Brain 早期「自下而上」的算力分配（类似全民基本收入），鼓励了探索和失败；而如今 Gemini 项目更多「自上而下」的协调，则促进了协作，减少了重复建设。未来的理想模式是两者结合，既鼓励协作，也保持灵活性。 Jeff Dean（杰夫·迪恩）还有一个名为「去吧，杰夫，疯狂点子」的内部幻灯片，用于分享他基于新能力设想的产品方向，以此激发团队兴趣，而非强制命令。这或许正是 Google 这个科技巨头能持续创新的文化缩影。在这场跨越四分之一世纪的回顾与展望中，两位先驱不仅梳理了 AI 发展的来路，更为我们描绘了一条通往更强大、更有机、更通用人工智能的激动人心的未来路径。