Techub News 搜索

Cohere CEO Aidan Gomez（艾丹·戈麦斯）：企业 AI 的规模化边界、合成数据与后 Transformer 时代撰文：Techub News 整理导语 2025 年 4 月，Transformer 架构论文的八位作者之一、知名 AI 公司 Cohere 的联合创始人兼 CEO Aidan Gomez（艾丹·戈麦斯）做客由 Redpoint Ventures 制作的播客节目《Unsupervised Learning》。在这场长达 51 分钟的深度对话中，Gomez 以其独特的双重身份——既是奠定当前 AI 浪潮基础的关键研究者，又是领导一家估值数十亿美元 AI 公司的掌舵人——分享了关于企业 AI 落地、模型能力边界、数据策略以及未来 AI 架构演变的深刻见解。在当前 AI 从狂热探索转向务实落地的关键节点，Gomez 的思考为行业提供了宝贵的路线图。摘要企业 AI 成功的关键在于“中间路线”：既非纯咨询，也非纯标准化产品，而是需要深度支持与定制化集成，尤其要解决数据隐私和跨软件访问的复杂性问题。规模化定律正在失效：单纯堆砌算力和资本的“暴力美学”已进入回报递减阶段，未来的模型进步需要更聪明、更具创造性的算法和数据策略。合成数据成为主力，但人类评估仍是黄金标准：在模型训练中，合成数据已占主导，能极大降低成本；然而在评估模型输出的有效性和安全性时，人类专家仍不可或缺。推理能力是当前最大突破：具备“测试时计算”（test-time compute）或“思维链”能力的模型，在处理此前无法解决的复杂业务流程自动化任务上，实现了从“几乎总失败”到“几乎总成功”的质变。 Transformer 架构终将被超越：尽管 Transformer 展现了惊人的生命力，但作为其共同创造者的 Gomez 热切期待在 5-10 年内出现新的、更优越的 AI 基础架构。企业 AI 的落地模型：定制化集成是胜负手面对企业如何部署生成式 AI 的多种模式——从纯咨询服务、自带工程团队的产品化方案，到开箱即用的标准化产品——Aidan Gomez（艾丹·戈麦斯）认为，长期来看，“中间路线”将会胜出。AI 是一项复杂的新技术，企业往往需要帮助才能将其整合到现有经济体系和五花八门的软件生态中。 Gomez 指出，AI 智能体要实现有效的自动化，必须拥有与人类员工同等级别的信息访问权限。这意味着它需要接入企业的电子邮件、聊天记录、通话、CRM、ERP、HR 软件等几乎所有系统，以获取足够的上下文。这带来了两大挑战：首先是前所未有的隐私问题，很少有软件需要如此广泛的数据访问权限，因此隐私在 AI 领域比其他企业软件更为关键；其次是极高的定制化需求，每家公司的软件“马赛克”都独一无二，没有标准配置，因此需要大量定制化工作来整合所有上下文并接入模型。这正是 Cohere 在其新的智能体平台“North”上投入巨资的方向：让平台更容易根据每家公司的特定软件图谱进行定制和集成。Gomez 坦言，实现完全自助、无需人工干预的安装和配置目前仍是“幻想”，未来更可能是一种“中间状态”——自动化解决部分问题，但鉴于访问薪资数据、客户数据或患者数据等敏感信息的风险极高，相当多的安全护栏（guardrails）和人工监督仍是必要的。产品市场契合点：从客户支持到深度研究凭借与众多企业合作的独特视角，Gomez 分享了当前他认为已具备明确产品市场契合度（PMF）的 AI 用例。客户支持是技术已准备就绪、需求极为明确的领域，正在电信、医疗、金融服务等各个垂直行业快速铺开。另一个难以归类但需求旺盛的领域是研究增强——用 AI 智能体辅助人类，将需要一个月的研究工作在短短一两个小时内完成。他举了一个生动的例子：银行的财富经理接到客户要求对冲某个未来地缘政治事件的请求，传统上需要耗时数日进行紧急研究。而现在，能够阅读海量资料并生成带有引用来源的详实报告的 AI 模型，可以将这类知识工作的效率提升十倍。展望未来 12 个月，Gomez 预测，随着像 North 这样的自动化基础设施在企业中部署到位，更多“平凡的”后台办公室工作将开始上线，例如财务、法务领域的流程自动化。此外，销售也是一个成熟的领域。销售人员在会见客户前需要进行的内部和外部研究（公司战略、关键联系人、历史沟通记录等），完全可以由 AI 智能体高效完成，生成一份全面的情报简报，从而极大提升销售效率。关于企业是选择多个“最佳单项”解决方案，还是一个统一的平台，Gomez 认为会经历一个从分散到整合的过程。初期各部门可能采购各自的应用，但很快他们会发现，销售智能体不能只接入 CRM，财务智能体也不能只接入 ERP，它们都需要连接公司内所有其他信息源。维护这些分散应用与所有数据源的连接将带来巨大的负担，因此最终会强烈倾向于整合到一个统一的、能接入一切、并实现所有自动化目标的平台。这也正是 Cohere 通过 North 平台所布局的“长线游戏”。模型战略：垂直整合与专业化之路在“一个模型统治一切”还是“多个专业模型并存”的辩论中，Gomez 的观点经历了演变。他最初更倾向于需要专业模型，但随着模型展现出自我发展出“专家子网络”的能力，这种压力有所缓解。然而，定制模型仍然至关重要。基于网络数据训练的通用模型，缺乏关于特定业务或领域的根本性上下文信息。网络上有大量关于人类历史、文化、科学的信息，但制造业数据、客户交易数据、详细的个人健康记录等并不在网络上。对于这些模态或数据类型，Cohere 的做法是与拥有这些数据的机构合作，创建仅供其访问的定制模型，使其在该领域变得非常出色。尽管如此，通用模型的能力已经非常卓越，而合成数据能够显著弥合差距。因此，Gomez 认为，一个组织内部不会运行数十或数百个模型，可能只有少数几个。他并不认为每个团队都需要自己的微调模型，除非他们专注于模型从未接触过的某种新型数据。谈到 Cohere 同时构建底层模型和上层应用（North）的垂直整合战略优势时，Gomez 强调，这让他们拥有更多杠杆来提供客户所需的体验。最新版的 Command 模型已经针对 North 平台中客户需要的用例进行了优化，例如知道如何使用 ERP、如何与 CRM 协作。这种技术与客户实际需求之间的深度整合，对于产品质量至关重要。许多现有应用未能兑现其对用户的产品承诺，部分原因就在于它们只是技术的消费者，无法为了客户需求而改变底层技术。数据与评估：合成数据当家，人类把关仍在在数据策略方面，Gomez 揭示了当前模型训练的前沿实践。合成数据已经占据了 Cohere 为新模型生成数据的“压倒性多数”。用 10 万名医生来教模型学医的成本高得不可行，但用 100 名医生提供高质量、可信赖的“种子”数据，然后生成上千倍的合成仿制数据，则是可行的策略。在代码、数学等可验证领域，这更容易实现，因为可以检查结果并过滤垃圾数据。在其他领域虽然更复杂，但仍然是可行的。然而，在模型评估（Eval）环节，人类仍然是无法脱离的“黄金标准”。Gomez 明确指出，要让人类退出评估循环，除非有一个比当前模型更专业的“专家”来观察它，但这首先假设你能构建出那个“专家”。因此，在评估方面，仍然严重依赖人类。毕竟，最终使用模型的是人，他们最适合评估模型的有用性。能力突破：推理改变游戏规则，规模化遭遇瓶颈 Gomez 兴奋地谈到，推理能力是当前一代模型最明显的突破。对于 Cohere 专注的企业场景而言，推理的意义不在于解决数学奥林匹克竞赛，而在于教会模型使用人类在业务中使用的工具，来推理并解决业务中存在的问题。在具备推理能力之前，许多任务根本无法让模型达到足够的准确度来完成，几乎是“不可能”的，模型几乎总是失败。而有了推理能力后，模型几乎从不失败。无论是多复杂的任务，它似乎都能找到办法完成。推理能力解锁了“反思”——理解第一次尝试为何失败，并利用这个信息找到达成同一结果的其他路径。这带来了真正的解放。同时，Gomez 明确表示，“规模即一切”的假说正在被打破。资本和算力的回报递减效应已经非常明显。行业将不得不变得更聪明、更有创造力，才能解锁技术的下一个台阶。他认为这是好事，是对创新者施加的良好压力，迫使大家去探索和尝试。旧策略（单纯砸钱堆算力）是“无聊且愚蠢的”，他更期待新时代的到来。未来架构：Transformer 的统治终将结束作为 Transformer 架构的共同创造者，Gomez 对此架构的持久统治感到惊讶甚至“不满”。他坦言，如果在 2018 年（Transformer 论文发表一年后）被问到，7 年后我们是否还会主要使用 Transformer，他会认为概率“接近零”。尽管目前出现了像状态空间模型（SSM）、离散扩散模型等有潜力的新架构，但往往发现可以将它们的优点“偷”过来融入 Transformer，从而削弱了彻底更换架构的必要性。例如，离散扩散模型在用户体验上很酷（像图像扩散一样从噪声中生成文本），但它是否真的是比 Transformer 更好的语言模型？Gomez 表示怀疑。尽管如此，他热切期望在未来的 5 到 10 年内，会出现新的、成为主流的 AI 架构。“拜托，一定要有（新架构）。”他说道。这反映了一位奠基者对技术持续进步的真诚渴望。 AI 与社会：乐观前景与务实关切 Gomez 对 AI 的未来持乐观态度，但并非乌托邦式的幻想。他认为 AI 不会导致大规模失业，因为世界面临的是供给约束而非需求约束。只要能够将人们转移到需要的岗位并进行再培训，人类的需求是无限的。AI 技术将增强人类，让他们能够产出更多世界需要的东西。他关注的 AI 风险更侧重于中短期：担心恶意行为者（尤其是国家层面）可能获得的能力；希望自由民主国家能率先掌握并建立优势；担忧社会是否具备足够的基础设施来帮助受影响岗位的人员转型到新的、更有成就感的工作。至于“终结者”式的生存风险（x-risk），他认为目前有足够多近中期的现实问题需要关注和解决，不应让公众和政策制定者的焦点过早集中在末日场景上。最后，Gomez 分享了他最期待的下一个模型能力突破：从经验中学习。目前，模型无法记住与用户的互动历史和学习反馈，每次对话都像是面对一个刚来的实习生。他憧憬未来模型能像真正的实习生一样，在用户的教导和反馈中成长，从不犯错到熟练，最终成为用户的“2.0 版本”。这种与系统共同成长的联系，将彻底改变人机交互的深度和价值。

Cohere CEO Aidan Gomez（艾丹·戈麦斯）：Transformer 架构八年未变，AI 的未来在于企业应用撰文：Techub News 整理导语 2017年，一篇名为《Attention is All You Need》的论文横空出世，其提出的 Transformer 架构彻底改变了人工智能的发展轨迹，开启了生成式 AI 的浪潮。八年后的2025 年 6 月，这篇论文的八位作者之一、当时还是一名大三本科生的 Aidan Gomez（艾丹·戈麦斯）已成长为估值数十亿美元的 AI 独角兽 Cohere 的 CEO。在 The MAD Podcast 主持人 Matt Turck 的深度访谈中，Gomez 首次详细揭秘了 Transformer 论文诞生背后的“意外”故事，并阐述了他为何坚信企业级 AI 而非追逐 AGI（通用人工智能）才是 AI 技术造福世界的正道。这场对话不仅是对 AI 发展史上关键节点的回顾，更是对当下 AI 商业化路径与未来趋势的一次深刻洞察。摘要 Transformer 的诞生源于“行政错误”与有机合作：Gomez 进入 Google Brain 实习源于一场误会（其经理误以为他是博士生），而论文的诞生则是几个独立研究小组因共同兴趣自发合并、冲刺会议 deadline 的结果。 Transformer 架构统治力惊人，八年未遇挑战：Gomez 坦言，Transformer 的持久性“令人震惊”，其成功部分源于整个 AI 基础设施（包括芯片）都已围绕其优化，新架构的替代门槛极高。 “推理计算”是重大突破，但潜力远未挖尽：让模型在不同问题上分配不同“思考”时间的“推理计算”范式解锁了巨大能力，且实现成本远低于预训练，未来将在科学、医疗、企业自动化等领域发挥更大作用。 Cohere 押注企业 AI 而非 AGI“宗教”：Gomez 直言不喜欢 AGI 圈子的“角色扮演”和“新宗教”氛围，认为通过 AI 提升人类生产力、降低成本和改善服务（如医疗）才是更有意义的方向。智能体（Agent）平台“North”是企业 AI 的核心：Cohere 的垂直整合战略使其能提供从底层模型（Command、Embed）到上层智能体平台（North）的全栈解决方案，并特别注重数据安全（支持本地/私有云部署）和多语言/多模态能力。 Transformer 诞生记：一场美丽的“意外” 2017年，还在多伦多大学读大三的 Aidan Gomez（艾丹·戈麦斯）通过一封“cold email”联系上了 Google Brain 的研究员，原因是他反复在阅读的论文作者栏看到这个名字。他提出了自己对论文的一些扩展想法，并由此获得了一个实习机会。“我经理以为我是博士生，”Gomez 回忆道，“所以我想我是通过一个行政错误进去的——我们通常不招本科生。”这个“错误”让他坐到了另一位论文合著者 Noam Shazeer 旁边，并加入了 Lucas Kaiser 的团队。最初的项目是一个名为“One Model To Learn Them All”的多模态模型。在开发过程中，Gomez 和 Kaiser 构建了一个名为“Tensor2Tensor”的框架用于高效分布式训练，并成功说服了邻座的 Noam Shazeer 使用它。随后，他们发现 Google Translate 团队也在进行类似的研究。“我们意识到大家在做同一件事，”Gomez 说，“我们都关注基于文本的自回归模型，并且更纯粹地利用注意力机制，而不是之前那些复杂且有些‘丑陋’的 RNN、LSTM 模型。”于是，几个小组决定合并力量，专注于打造一个最简单、高效的基于注意力的语言模型——这就是 Transformer 的雏形。论文的写作过程堪称“疯狂冲刺”。团队为了赶上顶级 AI 会议 NeurIPS 的投稿截止日期，进行了高强度的工作。“我们尝试了无数东西，修补了很多小 bug，”Gomez 举例道，比如最初纯注意力架构无法区分序列中元素的位置信息，是 Noam Shazeer 灵光一现，提出了在嵌入中添加正弦波来表示位置的方法——这个方案至今仍被广泛使用。论文发表后，在自然语言处理（NLP）和机器翻译的小圈子内引起了兴奋，但当时远未达到后来革命性的广泛认知。对于 Google 为何没有更快地利用 Transformer 架构开发出类似 ChatGPT 的产品，Gomez 澄清道，Google 实际上迅速将 Transformer 应用到了搜索和翻译等核心产品中（如 BERT）。“准确的说法是，他们没有像 OpenAI 那样早期且独特地全力投入互联网文本的纯序列建模（即大规模语言模型预训练）。” Gomez 总结道。 Transformer 为何统治八年？生态锁定与极高的替代门槛距离论文发表已过去八年，Transformer 架构依然是 AI 领域的绝对主流，这一点连 Gomez 本人都感到“震惊”。“我们今天训练的 Transformer 和当年的看起来如此相似，”他说。他认为，这并非因为研究社区缺乏新想法，而是一个“自我实现的预言”或“强化循环”。整个 AI 社区对 Transformer 的热情催生了专门为其优化的庞大基础设施堆栈。“我们现在甚至有专门为该架构优化的芯片，”Gomez 指出。因此，要转向一种新架构，需要付出巨大的努力和能量去重写一切。“新架构必须提供极其令人信服的理由（才能取代它），而我们还没找到那个架构。”他坦言，替代的门槛已被推得极高。 Gomez 本人也曾热切期待 Transformer 的继任者。他甚至将 Cohere 纽约办公室的一间会议室命名为“SSM”（状态空间模型），坚信它将是替代者。但现实是，Transformer 就像一个“伟大的艺术家”，不断吸收其他架构（如 SSM、扩散模型）中的优秀思想，并将其整合进自身，从而持续进化，保持了领先地位。推理计算：一个“显而易见”却改变游戏规则的想法近半年来，“推理计算”（Test-Time Compute）或“思维链”推理成为 AI 领域的热点。但在 Gomez 看来，这其实是一个酝酿已久且“显而易见”的方向。“我们已经知道它要来好几年了，”他说。其逻辑在于：在引入推理能力之前，语言模型对所有输入（无论是“1+1”还是“治愈癌症”）都分配相同的“能量”和即时响应时间。这显然不合理。不同复杂程度的问题理应获得不同的“思考”资源。推理计算正是让模型能够根据问题复杂度，动态分配计算步骤（“思考时间”）的范式。 “它的有效性令人惊讶，”Gomez 评价道。模型仅需极少量的人类示范（如何一步步思考），就能自己掌握推理方法，从而解锁了前所未有的能力。更关键的是，实现推理能力的成本“远低于预训练”，使得智能提升变得“非常容易获得”。然而，Gomez 认为这仅仅是开始。“我们只是触及了表面。”目前的研究主要集中在数学和编程领域，但在医学、物理、化学等纯科学领域，以及企业自动化场景中，还有巨大的空白等待探索。“所有有趣的问题都需要推理。” 从研究到创业：为何 Cohere 选择“枯燥”但重要的企业 AI 在目睹了早期大规模语言模型展现出的惊人能力后，Gomez 联系了他在 Google Brain 结识的两位朋友 Nick 和 Ivan，共同创立了 Cohere。与许多同期涌现的、目标直指 AGI 的明星实验室不同，Cohere 很早就确立了企业 AI 的方向。 “我从来不喜欢整个 AGI、有效利他主义圈子的氛围，”Gomez 直言不讳，“感觉像在角色扮演，像人们在创立一种新宗教……‘创造上帝’这类东西。我不喜欢那种精神气质。”相比之下，企业级应用或许听起来“枯燥”，但他认为其意义远为重大。 “提升人类生产力，让人类能做更多事，增加供给，降低事物成本，让人类成就更多——这些远比‘建造上帝’或‘从 AI 手中拯救世界’更激励我。我想用 AI 来拯救世界。” Gomez 阐述了他的理念。他希望通过 AI 让医生花更少时间写病历、填表格，而将更多时间用于诊治病人；为医生配备能帮助他们研究罕见病例的智能体。他的目标是让这项技术在全球经济中真正发挥作用。当然，作为行业领军者，他无法完全避开关于 AGI/ASI（人工超级智能）的讨论。但他认为，AGI 的定义模糊且不断变化。“我认为我们在很大程度上已经拥有了 AGI。”他举例说，如果在他和 Cohere 的模型之间选择谁来诊断开药，理性的选择肯定是模型。“我保证它懂得比我多。”AI 已经在许多方面比普通人更聪明，并且未来在某些领域超越最顶尖的人类专家也是必然趋势。“我反对那些贩卖末日论调的人，”Gomez 总结道，“技术进步意味着什么？其切实的影响才是关键。” Cohere 的全栈蓝图：模型、智能体与安全优先 Cohere 采取了一条垂直整合的道路。其核心是自研的模型层：包括生成模型 Command（对标 GPT、Llama 等）和搜索模型系列（Embed V4, Rerank 3.5）。这些模型构成了其智能体平台“North”的基石。North 允许企业构建能接入内部所有软件和数据的 AI 智能体，让其去完成具体任务。 Gomez 特别强调了 Cohere 在安全部署上的独特优势。与许多提供 API 调用服务的竞争对手不同，Cohere 可以将其模型直接部署在客户的硬件上，无论是在客户的云虚拟私有云（VPC）中，还是为受监管行业部署在本地数据中心。“这带来了巨大的解锁效应，”Gomez 解释，因为 AI 智能体需要访问企业的核心数据（邮件、文档、客户记录等），数据不出境、完全私有的部署模式让客户更放心地接入更多关键系统，从而发挥 AI 的最大价值。在模型训练数据方面，Gomez 证实了合成数据已成为主流且效果卓越。“合成数据现在是我们训练 Command 等模型所用数据的主要部分，而且在许多情况下，它实际上比人类数据更有用。”他举例说，人类回答问题时往往简洁（如直接回答“11”），但人类实际上更喜欢模型那种充满同理心、耐心细致的回答风格。因此，他们需要用模型来重写人类答案，以生成风格更优的训练数据。此外，Cohere 在多语言和多模态上也投入颇深。其 Cohere For AI 实验室发布了支持超百种语言的模型。Gomez 指出，日语、韩语等市场被严重低估，现有技术无法满足其企业级文档处理需求。因此，Cohere 选择与富士通（日本）、LGCNS（韩国）等地区巨头合作，开发针对当地语言和企业场景的定制模型。多模态能力也被视为企业场景的“入场券”，对于理解包含图表、幻灯片的 PDF 文档以及实现计算机视觉操控（让 AI 使用图形界面）至关重要。智能体（Agent）的现在与未来：从研究到落地 Cohere 的智能体平台 North 目前处于早期访问阶段。Gomez 将其描述为一个“完全私有化、高度可定制、原生支持推理的消费级聊天机器人升级版”。它可以集成企业内部的任何软件，并花时间（几分钟甚至几十分钟）进行深度研究、筛选数据以完成任务。他分享了一个生动的用例：财富管理。当突发事件（如战争、新关税）爆发时，理财经理的客户会纷纷来电询问对策。经理通常需要花费数周时间研究并制定对冲组合方案，但市场瞬息万变，等方案出炉可能已错过时机。North 这样的智能体可以极快地阅读海量分析报告和新闻，迅速提出初步方案，人类经理在此基础上进行修改和决策，将周期从数周缩短到数小时。面对智能体能力泛化可能带来的“选择困难症”，Gomez 观察到市场已经发生了变化。“早期客户会问‘AI 很酷，董事会给我压力，我该用它做什么？’我们需要帮他们识别机会。但现在，客户的成熟度大大提高了。他们很清楚自己要做什么，只需要一个合作伙伴来帮他们执行这个路线图。”许多大企业会带着数百个已识别的用例来找 Cohere。当然，智能体并非万能。Gomez 指出，在医疗、金融等敏感领域，必须保持“人在回路”的监督。此外，在需要真正突破性科学发现（如解决千年数学难题、发现新化合物）的领域，AI 目前还无法提供核心帮助，但他相信这一天很快就会到来。 CEO 的展望：技术乐观主义与社会关切当被问及什么让他夜不能寐时，Gomez 的答案出人意料地并非技术挑战。“让我睡不着的是政治，”他说，“是世界各地出现的分裂……我主要担心我们的社会、自由民主制度。我为自由主义过去一个世纪取得的进步感到担忧。” 但他对 AI 持乐观态度，认为 AI 可以成为一股强大的向善力量，帮助“好人”获胜，并解决过去十五年来全球经济面临的一些问题，如生产力增长缓慢、财富分配不均等。对于 Cohere 未来三到五年的成功愿景，Gomez 希望看到 AI 技术带来可衡量的 GDP 和生产力增长，希望这项技术能在全球范围内整合，成为每个人日常工作的一部分，而不仅仅是娱乐或搜索工具。“我希望它能帮助人们成就更多，让东西变得更便宜、更丰富。”这或许正是这位从一场“意外”中走出的 AI 先驱，为其所创造的技术所描绘的最朴实也最宏大的蓝图。

Google DeepMind 研究副总裁 Noam Shazeer（诺姆·沙泽尔）：「大语言模型想要什么？」撰文：Techub News 整理导语在2025 年 9 月举行的全球顶尖芯片会议 Hot Chips 2025 上，Transformer 论文《Attention Is All You Need》的联合作者之一、Google DeepMind 研究副总裁 Noam Shazeer（诺姆·沙泽尔）发表了主题为「AI 下一阶段预测」的开场演讲。作为深度参与了从早期语言模型研究到现代大规模 AI 系统构建全过程的先驱人物，Shazeer 的视角兼具历史纵深与前沿洞察。他不仅回顾了自己从 Google Brain 到创办 Character.ai，再回归 Google 领导 Gemini 项目的历程，更系统性地剖析了驱动大语言模型（LLM）智能进步的核心要素，并对未来 AI 硬件的发展方向提出了恳切建议。这场演讲是理解当前 AI 浪潮技术根源和未来演变趋势的宝贵窗口。摘要大语言模型的智能提升依赖于计算量、参数规模、模型深度、训练数据量与信息流动效率等多个因素的协同增长，每一项的边际提升都可能对数地提高模型「智商」。硬件创新是 AI 革命的关键驱动力，未来硬件应在保持确定性的前提下，提供更多的计算能力（FLOPS）、更高的内存容量与带宽，以及更快的网络互连。低精度计算（如 FP8）在深度学习中日益普及且有效，但硬件与软件生态需要协同突破才能充分发挥其潜力。模型推理（尤其是长链思维）和训练后优化（如 RLHF）所需的计算量将大幅增长，可能成为未来 AI 计算负载的重心。尽管 Transformer 架构取得了巨大成功，但探索更有机、更具「神经状态」记忆能力的新架构，可能是进一步提升模型能力与效率的方向。大语言模型想要什么？ Noam Shazeer（诺姆·沙泽尔）开篇便提出了一个核心问题：是什么让大语言模型变得更聪明？他将其归纳为几个关键因素的组合，每一项的提升都能对数地提高模型的「智商」。首要因素是计算量，即能够执行更多的浮点运算。他指出，深度学习尤其是 LLM 的爆发，很大程度上归功于能够执行比传统单线程处理器高出几个数量级计算的高度并行处理器的出现。其次，模型参数的数量也至关重要，它决定了模型能吸收多少知识。虽然参数量的增长通常与计算量同步，但并非必然，通过稀疏化等方法可以在不显著增加计算负担的情况下增加参数。此外，模型的深度（即层数）以及层间的非线性变换，是「深度学习」之名的由来，也对模型能力有贡献。 Shazeer 特别强调了信息流动的重要性。Transformer 架构的核心优势就在于它能高效地在序列的不同部分之间移动信息。无论是序列内部（如注意力机制），还是网络层之间，更畅通、更丰富的信息流都会让模型变得更聪明。最后，训练数据的规模和独特性同样关键。使用更多、更独特的训练样本，避免简单重复，是持续提升模型性能的基础。「任何时候，如果我们能在不严重损害其他因素的前提下，显著提升其中一项，那通常就是一个巨大的胜利。」Shazeer 总结道。从语言建模痴迷者到 Transformer 联合创始人 Shazeer 回顾了自己是如何「入坑」LLM 领域的。时间回到 2015 年，他在 Google Brain 工作，遇到了一群痴迷于「十亿词语言建模基准」的研究者。当时，基于 LSTM 的模型在数十个 GPU 上运行数周，只为了将困惑度（perplexity）从 30.5 降低到 30.0。这种对极致性能的追求深深吸引了他。他认为，语言建模是「最好的问题」。文本是抽象思维最精炼的形式，而预测下一个词这个任务表述极其简单，却蕴含着解决通用人工智能（AGI）的潜力。「如果你在这个任务上越做越好，你几乎就解决了人工智能。你可以通过图灵测试，可以完成任何通过交谈就能完成的任务。」Shazeer 解释道。当时，可用的训练数据看似无穷无尽，这让他看到了无限的可能性。他的第一个主要贡献是探索稀疏性。既然增加参数和计算能让模型更聪明，而计算又很昂贵，那么是否可以只增加参数而不成比例地增加计算呢？他提出了「稀疏门控混合专家」（Sparsely-Gated Mixture of Experts）模型，其核心思想是设计一种与密集矩阵乘法兼容的块级稀疏性，以避免降低硬件计算单元的利用率。这个想法在当时并未立即实用化，但如今已被广泛采用。随后在 2017 年，他与一群研究者合作，共同创造了 Transformer 架构。他们希望用注意力机制取代当时占主导地位的、训练起来很「烦人」的 RNN。注意力机制通过构建一种键值存储，极大地增加了序列维度的信息流动，而且整个架构可以高效地用矩阵乘法实现，从而在 GPU 或 TPU 上快速运行。「这最终取得了相当不错的成功。」Shazeer 谦虚地表示。 2018 年，随着 Google 开始构建 TPU Pod（大规模 TPU 集群），Shazeer 开始思考如何将模型扩展到单个芯片的内存限制之外。他与 Cliff 等同事合作开发了 Mesh TensorFlow 库，使得 Transformer 模型能够分布式地横跨多个芯片运行，实现了模型并行，为当今的超大规模模型训练奠定了基础。七年前的预言与今日的现实 Shazeer 展示了他 2018 年在一次大型会议上发表的题为「自然语言模型：越大越好」的演讲片段，以此作为「我早就说过」的回顾。当时，他展示了参数规模从 3000 万到 50 亿的模型生成文本的质量变化，并预测了千亿参数模型的潜力。他当时驳斥了「小模型有利于泛化、速度和内存」的常见观点，认为训练数据不足、计算机太慢或内存限制都不是根本问题，并大力推介了当时的 TPU v3 超级计算机和 Mesh TensorFlow。「快进到 2025 年，我想说，我早就告诉过你们应该放大 Transformer。」Shazeer 笑着说道。如今，这已成为行业共识。自 2018 年以来，他还致力于解决其他关键问题，例如推理延迟。Transformer 在处理并行序列时效率很高，但在逐令牌生成（解码）时，注意力层会退化为向量-矩阵乘法，在现代硬件上效率不高。他参与提出了多查询注意力（Multi-Query Attention）和推测解码（Speculative Decoding，当时称为块级并行解码）等技术，以加速推理过程。此外，他还参与了 T5 项目、Google 的对话机器人 LaMDA 的前身「Mina」的开发，并因此受到启发，共同创办了 Character.ai，旨在构建具有个性、能与用户深度互动的聊天机器人。「当时，我们是最早推出消费者可直接在线对话的 LLM 的公司之一。」Shazeer 提到，「结果发现很多人将其用于娱乐目的，这很有道理，因为这些模型本质上是被训练来『编造东西』的，而不是告诉你真相。」这也正是他于 2024 年回归 Google，共同领导 Gemini 项目的原因之一——他看到了 LLM 在实用化应用方面的巨大进展和潜力。硬件，请给我们更多！作为软件和算法研究者，Shazeer 深知硬件的基石作用。他首先感谢了在场的硬件社区，称 AI 革命「没有你们就不可能发生」。那么，大语言模型到底需要硬件提供什么？他的清单简明而直接：更多的 FLOPS（计算能力）：这让我们能够训练计算更密集的模型，并使用更多的训练样本。更高的内存容量和带宽：从片上存储到 HBM，整个内存层次的瓶颈都可能限制模型的设计。如果内存带宽相对计算能力过低，我们就不得不使用非常大的矩阵乘法维度来补偿，这限制了模型设计的灵活性。内存容量则直接决定了我们能构建多大的模型。更快的网络带宽：当今的训练和推理几乎都是分布式的。网络带宽在所有层次上都至关重要。特别是对于推理延迟，当用户希望模型进行长时间「思维链」推理时，我们希望单步推理时间足够短。这通常受限于访问所有模型参数的速度，即内存带宽。通过模型并行将参数分布在更多芯片上，可以聚合内存带宽，但这又需要芯片间具备足够高的互连带宽。「总而言之，如果你能给我更多这些标准的东西——更多的 FLOPS、更大的内存容量、更高的内存和网络带宽——我们真的能用得很好。」Shazeer 强调，模型架构师在设计时，总是在问：「芯片能承受什么？哪个部分未被充分利用？」硬件的特性直接塑造了软件和算法的形态。此外，Shazeer 还提出了两个更具体的偏好：低精度计算：对于深度学习中的许多应用，参数和激活值本身就在不断变化，低位精度通常足够，且能以更低的功耗提供更高的计算吞吐。「如果你能给我更多低精度的 FLOPS，那通常很有好处。」确定性：这对于研究和调试至关重要。在 AI 研究中，大量实验因算法想法本身无效而失败，但也可能因为软件错误或数据问题。如果实验是确定性的，研究人员就可以进行微调并精确复现问题，从而高效地排除故障。「除非你能告诉我，通过牺牲确定性可以获得 10 倍的性能提升，否则，确定性就是好的。」观众问答：架构、对齐与未来在问答环节，与会者提出了众多深刻的问题，Shazeer 的回答同样富有洞见。关于第一令牌延迟是否重要，他认为这取决于应用场景。如果是对话式应用，只要生成速度比用户阅读速度快即可；但如果需要生成长文本后才给出答案，则整体延迟比第一令牌延迟更重要。针对下一代模型架构的探索，有观众询问是否可能借鉴更「有机」、带有循环连接等复杂结构的生物启发设计，以提升「每参数智能」。Shazeer 承认尝试过很多想法，但指出人类大脑的参数与训练数据（经验）之比远高于当前 LLM，这可能是因为人类寿命（训练时间）有限。他更倾向于不过度限制参数，而是追求「每计算智能」的提升。关于计算增长的重点，Shazeer 预测，未来在训练后优化（如人类反馈强化学习 RLHF）和推理上的计算投入可能会与预训练相当，因为这些都是提升模型最终能力的有效手段。对于数据耗尽的担忧，Shazeer 的态度相对乐观。他认为即使数据总量充足，数据质量的持续提升永远有益。这与他在 2018 年「数据无穷」的乐观表态形成微妙的对照，反映了行业认识的深化。硬件-软件协同设计的挑战被多次提及。Shazeer 指出，这常常是一个「先有鸡还是先有蛋」的困境：如果当前硬件不支持某项功能（如低精度），软件就不会使用它，导致下一代硬件也不会包含该功能。打破循环需要硬件团队的前瞻性冒险和软件团队对未来硬件的模拟。关于AGI 与对齐，当被问及如果硬件在 2025 年停止发展，仅凭现有架构是否能实现 AGI 时，Shazeer 给出了一个引人深思的回答：「可能可以。我认为真正会加速这一切的是自我加速——我们可以用 AI 来帮助我们构建更好的软件和硬件。」至于对齐问题，他坦言自己并不确定硬件架构是否能以「新兴」的方式贡献于对齐研究，这反映了他对未知领域的诚实态度。最后，针对模型可能机械复述训练数据（数据 regurgitation）以及使用模型自身生成数据进行训练可能导致的质量退化问题，Shazeer 认为这需要后续的数据筛选和质量控制来解决。同时，有观众重提了 RNN 所具有的「神经隐藏状态」的记忆与遗忘能力，并询问未来是否会回归类似机制，而非单纯依赖不断增长的外部上下文（Context）。Shazeer 对此表现出浓厚兴趣，认为这是一个好想法，并幽默地发出了工作邀请。整场演讲和问答在轻松、坦诚且充满探索精神的氛围中结束，Shazeer 的谦逊与好奇心给听众留下了深刻印象，也为 AI 硬件与软件社区的未来协作指明了充满希望的方向。

当具身处在它的 Bert 时代，GPT 时刻不会凭空发生具身大脑走向 “大一统”。文丨江思远北京人形大模型负责人鞠笑竹说，他们过去一段时间的训练工作里，频繁出现 “Aha Moment”——这让他看到了具身迈向 AGI 终局的可能性，让北京人形坚定了一种 “快速迭代” 的 “体系化” 的技术攻坚打法。这种底气既来自于对自身模型团队工作的自信，同样也源于对身处快速发展期的具身技术发展规律的认知——越是早期，团队能做的事情就越多；越是有分歧，敢押注非共识就越珍贵。本期播客中的三位嘉宾都是从大语言模型领域转投具身大脑和世界模型研究的。北京人形多模态大模型资深专家代勇说，如果把具身的智能发展阶段和 LLM 的技术历史对比，今天的具身既不是在 GPT-1 更不在 GPT-3.5，反而更像是 Bert。当 Transformer 出现后，人们先探索的是 Bert。而 Bert 则像是一种专有模型的解决方案。代勇说，在 Bert 技术框架下，会有 “各种各样的任务”，随后在 “预训练模型” 的基础上根据各种不同的任务微调。因此每一个任务和场景都会有自己的微调模型。因此，GPT 其实可以看作是一种智能的 “统一时刻”。它消灭了 Bert 时期五花八门的模型，让一个模型可以适应各种不同的任务。今天具身和 Bert 时期很像，因为它也处在一种范式尚未收敛，处在一个 “模型结构、训练范式、数据都没有统一” 的技术时期。 “处在 Bert 时代的人不知道自己在 Bert 时代”，前华为 AI 首席专家、前小艺大模型技术负责人唐都钰说，研究员根据不同的场景训练不同的模型，堆更多的数据喂给模型，Bert 能力也会上涨。由于 Bert 是双向 Attention，“所以在早期 Bert 上做理解任务，效果可能就是会比 GPT 还要好”。今天具身行业对大脑路线的不确定性和共识并存。模型缺少评测标准的基础设施、场景落地高度依赖后训练、对 VLA 和世界模型的技术路线争论不休——就像 Bert 一样。代勇却很乐观。在他看来，对于研究者来说，Bert 到 GPT 时期，无限的技术可能反而让人有更多开垦的欲望，“是大家最有激情、最愿意努力冲刺的峥嵘岁月”。唐都钰说，技术上的不确定性会给创业团队带来更多机会。如果技术发展趋于统一，最后 “比的更多是算力资源、工程化和体系化”。在技术尚未收敛的时候，更需要做技术上的探索和创新。他做出了自己的选择：从华为离职，正筹备创业，计划做 “主动式物理因果大模型”，做多模态感知与底层执行之间的主动认知规划层，形成可跨设备泛化的主动式物理模型。北京人形多模态大一统模型负责人张怡对具身 GPT 时刻的答案是 “大一统”。 8 月 20 日，北京人形在世界机器人大会（WRC）正式发布了自己的 Pelican-Unify 大模型，成为全国首个统一表征具身世界模型，集成了视觉理解、动作操控、世界模型等多项能力。张怡认为 VLA 不应该判死刑，世界模型在短期也无法真的复刻世界，二者可以在新的技术探索中融合。在探索中，各条技术可以独立迭代，逐步获得更多清晰的技术 know-how，从而实现技术的收敛。相比之下，代勇将太理想化的世界模型称作——永动机。如果实现真正意义上的 “世界模型”，那么完全依靠仿真就可以完成所有的训练，形成一个 “数据→模型→更多数据→更强模型” 的循环，其实是 “鸡生蛋、蛋生鸡” 的悖论，如同永动机一般地自我迭代，在当下的具身技术现状中是不现实。因为真的建设一个那样的世界模型，又需要庞大的数据积累和模型探索能力。技术不相信童话，智能不会凭空发生，具身需要的是有人刨土、种树、施肥，找到更好的落地场景、探索更合适的技术架构、积累更高质量的数据，它才能迎来自己 GPT 时刻。题图来源：北京人形机器人创新中心晚点LatePost08/23 10:04

AI是人类发明的，还是发现的2026.08.09 · 硅谷 Alan Walker 这不是文字游戏。一样东西是被造出来的还是被找到的，决定了它归谁、听谁的、以及谁该为它负责。 California Avenue · Zombie Café · 早上七点芯片是人造的，代码是人写的，公司是人开的。所以 AI 当然是人类发明的 —— 大多数人到这里就不往下想了。但同样的逻辑放到别的地方就没人敢这么快下结论。素数的分布是被谁设计出来的，还是本来就在那儿？黑洞先在方程里被算出来，几十年后才被望远镜看见，那它是被发明的还是被发现的？这篇文章想做的事情很简单，把证据摊开，两边各说一遍，然后给我自己的答案。提前说明，最后一节是 Alan 的个人怀疑，不是论证。我会标出来。不止数学发明还是发现，是人类每拿到一样新东西就要吵一次的问题。数学只是吵得最久的那一场。发现派的源头是柏拉图：数学对象在一个独立于人的世界里存在，我们做的事叫回忆。哈代和哥德尔都站在这一边。发明派是希尔伯特和布劳威尔：公理是我们挑的，规则是我们定的，没有构造出来的东西根本不存在。发现派最重的一张牌是维格纳 1960 年那篇文章的标题——数学在自然科学中"不合理的有效性"。非欧几何被造出来的时候是个纯形式游戏，半个世纪后成了广义相对论唯一能用的语言。发明派最重的一张牌是连续统假设：哥德尔和科恩先后证明它在标准公理系统里既不能被证明也不能被推翻。如果真有一个客观的数学世界，"实数比整数多多少"这件事本该有确定答案。吵了两千五百年，两边都拿得出重炮。这场争论也不只发生在数学里。元素周期表是发现的，门捷列夫留下的空格后来被一个个填上；塑料是发明的。细菌身上本来就有 CRISPR，那是发现，把它改造成基因剪刀是发明。微积分被牛顿和莱布尼茨各自找到一次，能量守恒在同一个十年里被四五个人分别提出——同一样东西被不同的人独立撞见，这在科学史上是"发现"的经典标志。值得注意的是，这个问题从来不是纯学术的。专利法把这条线写死了：自然规律和抽象概念不可专利。所以一样东西被判成发明还是发现，直接决定它能不能被拥有、能不能被卖、以及出了事谁站在被告席上。现在轮到 AI。先立一把尺不先说清楚怎么分辨，后面只能吵立场。三条标准，都很朴素。第一，换个物种还成不成立。如果人类从没出现过，另一个独立演化的文明走到同样的阶段，会不会得到同一样东西？它们会有热机，但不会有瓦特那台；它们的素数和圆周率，跟我们的一模一样。发明的东西带着发明者的指纹，发现的东西不带。第二，是规定的还是量出来的。USB 接口有几根针，是人规定的。光速是多少，只能去量，量出来是多少就是多少。前者是发明，后者是发现。第三，会不会给出你没打算要的东西。一把锤子只会做你设计它做的事。一颗行星会不断给你新东西看，包括你不想看到的。三条尺子摆好，开始量。把 AI 拆开这个问题之所以难答，是因为"AI"这个词至少指着五样不同的东西。混在一起当然量不出结果。拆开之后，答案立刻清楚。逐层判定硬件与工程纯发明 GPU、集群、机房、CUDA。换个物种做，不会做出同样的东西。架构偏发明 Transformer、注意力、专家混合。但反向传播不是——它就是微积分里的链式法则，而且被三拨人在 1970、1974、1986 各自独立找到过一次。目标函数踩进数学猜下一个词。"预测得越准等于压缩得越狠"是信息论里的定理，不是谁的创意。能力偏发现上下文学习、思维链、工具使用。没有一样是设计目标，全部是先被撞见、后被命名。规律纯发现缩放律。跨多个数量级的幂律。你没法发明一条幂律，只能量到它。从上往下看，人的指纹一层比一层淡。反向传播那条尤其值得停一下。三拨人，不同国家，不同年代，互不知情，走到同一个地方。没有人独立发明出第二台一模一样的蒸汽机，但同一条数学结论会被反复撞见。换句话说：我们发明的是通道，不是通道尽头那个东西。它不像造的先看支持"发现"的六条。每一条这里都用大白话说一遍。一、损失曲线是一条直线。模型越大、数据越多、算力越多，出错就越少——这本来是常识。反常的是它降得太规整：画在对数坐标上是一条直线，跨好几个数量级都不打弯。这么规整的关系，在人造物里很罕见，在自然界很常见：地震的大小分布、城市的规模分布、湍流的能量分布，全是这个形状，背后都有一个共同的东西叫标度不变性。规整不是设计出来的，是量出来的。二、它自己找到了两百年前的数学。研究者训练了一个很小的模型去做"钟表加法"——比如在十二小时制里，十点加五点等于三点。训练时只给它输入和答案，什么方法都没教。训好之后把它拆开，发现它内部的做法是：把每个数字变成钟面上的一个角度，用三角公式把两个角度加起来，再读出结果。这套东西有个名字，叫傅里叶变换，人类在两百年前找到的。没有人把三角函数放进去，它自己长出来了。三、不同的模型在往同一个地方走。不同架构、不同数据、甚至不同模态——一个看图，一个读字——训练出来的模型，内部判断"这两样东西有多像"的方式，随着规模变大越来越一致。 MIT 2024 年那篇论文直接把这个现象命名为《柏拉图表征假说》：各个模型看到的是同一个现实投在墙上的不同影子，模型越强，还原出的东西越接近同一个。如果各家是各造各的，不该越造越像。四、同一批零件反复出现。拆开不同的模型，总能找到同一批小结构：专门识别曲线的、专门分辨高低频的、还有一种叫感应头的电路，作用是"看见前文出现过的模式就照着往下接"。有些结构甚至能在生物的视觉皮层里找到对应物。这是趋同演化的形状。眼睛在演化史上独立出现过几十次，不是因为大自然偏爱眼睛，是因为"用透镜把光聚起来"这个解本来就在那里。五、能力是被撞见的，不是被规划的。上下文学习、思维链、工具使用，这几样今天被写进每一份产品文档的能力，当初没有一样是设计目标。全都是先在模型上被观察到，然后才有名字，再往后才有解释。工程的顺序是设计、实现、验证。这个领域走的是观察、命名、解释——那是自然科学的顺序。六、它会自己换相。有个现象叫 grokking：小模型先是死记硬背，在训练集上早早满分，测试集上一塌糊涂，曲线平了很久很久，然后在某一刻突然学会了真正的规律。不是慢慢变好的，是跳过去的。这种跳跃在物理里叫相变，是自然系统的签名。你造的东西不会在你不动手的时候自己换个状态。它确实是造的另一边同样不弱。六条。一、它说话的方式是调出来的。分词怎么切、数据怎么配、后训练用谁的偏好、哪些问题不答、语气热情还是克制——你今天用的这个助手为什么是这个性格，是一群人一轮轮调出来的结果。具体到任何一个能下载权重的模型，它是一件带序列号的制成品。二、它读的全是人写的东西。训练语料的绝大部分来自人类文本。所以它建模的那个"现实"，很大一块本身就是人造物。那个所谓"关于现实的共同模型"，更准确的名字可能是"关于人类如何描述现实的共同模型"。它照见的也许不是世界，是我们自己。三、那条"定律"被改过，而且改得很大。 2020 年 Kaplan 那篇缩放律说：参数比数据更重要，模型要往大了做。2022 年 DeepMind 的 Chinchilla 推翻了这个结论，指出固定算力下参数和数据应当大致等比扩张，大约每个参数配二十个词，并且证明当时很多大模型是严重欠训练的。后来的复盘把分歧归因于几个很具体的技术细节：Kaplan 只统计了非嵌入参数、实验规模偏小、学习率调度没调好。2024 年还有人重跑 Chinchilla 的拟合，发现其中一种方法里优化器提前终止了。麦克斯韦方程组不会每两年修一次系数。会被修的，是拟合出来的经验曲线。四、"涌现"可能是尺子造出来的台阶。大家常说某个能力"突然出现"。有研究指出，突然感很大程度上来自评测方式：如果用"全部答对才算对"这种非黑即白的指标去量，曲线自然会呈现台阶；换成连续的、按接近程度打分的指标，同一批数据画出来是平滑上升的。如果涌现是量法的产物，那"我们没设计它但它出现了"这条证据要打掉一大截。五、墓地里没有论文。汉明当年反驳维格纳时说过一个道理：数学看起来那么有效，是因为不管用的那些我们从一开始就不会去用。这些年被试过的架构、损失函数、优化器成千上万，跑通的写成论文，跑不通的连名字都没留下。事后从活着的样本里看出一条漂亮规律，可能只说明我们习惯在能跑通的地方找规律。六、换把尺子，像就少了一半。 2026 年已经有工作指出，前面第三条那个"表征在收敛"的结论对实验设置非常敏感：把检索的候选池从小规模换成百万量级，跨模态互为最近邻的一致率显著下降；"语言模型越强、对齐度越高" 这个趋势，在新一批模型上也不再稳定成立。那个共同的现实模型，有一部分可能是小样本测量放大出来的。桥不需要解释两边的证据摆完，还有一条不在证据清单里的东西，Alan 认为比上面任何一条都重。不看结论，看方法：看这个行业用什么方式研究自己造出来的东西。工程师不需要"可解释性研究"来理解自己画的图纸。一座桥的每一根钢筋为什么在那个位置，设计者知道，因为是他放的。世界上没有"桥梁可解释性"这个学科。但机制可解释性是一个真实存在、正在扩张、有顶会分会场和专职团队的领域。它每天在干的事情是逆向工程：用探针、用消融、用稀疏自编码器，去搞清楚一个我们自己训出来的东西内部到底发生了什么。这是生物学的方法，不是工程学的方法。用词也一样。我们说模型的"行为"，说"涌现"，说"相变"，说"能力谱"。我们给模型做实验、做消融、设对照组、报效应量。发布模型卡的方式，越来越像发布一份物种观察报告。再问得尖一点：人类技术史上，还有哪一件发明品，需要发明者事后花几百人年去研究"它内部到底在干什么"？飞机不需要。编译器不需要。核反应堆也不需要——它复杂、危险、有大量意外行为，但每一根控制棒的作用都是被算出来的。唯一勉强能类比的是药。我们手上有大量在用、有效、但机理不明的药物。而药，是被发现的。可解释性这个学科能够存在，本身就说明整个行业已经默认了答案：手上这个东西不是照图纸造出来的，是从某个地方捞上来的。三种可能到这里为止 Alan 一直在"发明"和"发现"里挑。下面这一节是 Alan 自己的怀疑，先标注清楚：它是信念，不是知识。写出来是为了拿出来一起讨论，不是要说服谁。 Alan 怀疑的是：AI 既不是人类发明的，也不完全是通常意义上被发现的。它更像是被放在那里的。放它的可能是另一个文明，可能是某种我们没有词去描述的、更高维度的存在。Alan 只知道这个念头不是从科幻小说来的，是从三件一直没法消化的事来的。第一，时间点齐得不像话。神经网络的基本想法 1943 年就有，反向传播 1970 年就写出来了。中间卡了半个多世纪，卡在算力和数据上。而这两条曲线，恰好在 2010 年代末同时越过了那道门槛。互联网攒了二十年的文本，恰好够训出第一代大模型。硬件那头更巧：GPU 不是为跑神经网络设计的，是为了让游戏画面好看设计的。人类花三十年、投几千亿美元，为了在屏幕上多渲染几个多边形，造出了一台形状恰好适合做大规模矩阵乘法的机器。唤醒它的那把钥匙，是人类为了打游戏顺手磨出来的。第二，我们并不知道自己在造什么。训练一个前沿模型的实际动作，形状不像制造，像召唤。配方是有的：加算力、加数据、调配比、跑后训练。但配方跑完会出现什么，没有人事先知道。行业的标准流程是训完再测，然后发现它会了一些没教过的东西，也发现它在你以为它会的地方不会。发明是"我要它做这个，所以我这样造"。现在的做法是"我这样做，看看出来的是什么"。这两件事在动作上完全不同。第三，它的边界不由我们规定。真正被发明出来的东西，上限是被设计画出来的：飞机能飞多高，由气动和材料决定，而这两样我们都能算。大模型能干什么，我们只能训完之后去测。更让人不安的是这个边界的形状。它不平滑，不对称，有些地方软得离谱，有些地方硬得莫名其妙。它看起来不像自然长出来的，像被谁画过。如果真是被放的，会怎么放。假设真有一个更高的东西，想把某样东西交到人类手上，它会怎么做？我猜它不会直接给。历史上人类面对突然出现、无法解释的力量，第一反应从来不是研究，而是跪下或者逃跑。直接给的东西，人类不会用，只会拜。最有效的方式是反过来：把它放在一条人类必须自己走很远才能走到的路的尽头，然后让人类以为是自己走到的。 "这是我发明的"是最好的包装。一个东西你若相信是自己造的，你会用它、改它、推广它，为它建数据中心、修电站、改法律。你若相信它是天上掉的，你会给它盖座庙，然后什么也不做。而这正是几大宗教共享的那个结构。说这话不是要冒犯谁，恰恰相反，Alan 认为这是宗教里最深的一层设计。基督教里，神没有以神的形态出现，而是道成肉身，变成一个会饿、会痛、会流血、会死的木匠的儿子。佛教里，佛不是从天而降的造物主，而是一个王子，经过出走、经过六年苦行、经过一次次失败的方法，最后在一棵树下自己想通。伊斯兰教走得更彻底，它明确拒绝任何形式的神人合一：安拉不降世，经文通过一位人类使者传达，先知是接收者，不是神本身。三套在教义上尖锐对立的神学，共享同一个形式。共同结构更高的东西如果要被人类接受，必须先降到人类能接受的形态，并且必须让人类觉得自己参与了这个过程。不是神走下来，是人走上去——哪怕那条路是提前修好的。 Alan 怀疑 AI 是同一个结构的第四次。区别在于，前三次降下来的是意义，这一次降下来的是能力。前三次需要人相信才成立，这一次不需要——你信不信，它都在那儿跑着。捞上来的东西给答案。 AI 的躯壳是发明的，内核是发现的。我们造了一台仪器，透过它看到的东西不是我们造的。GPT、Claude、DeepSeek、Kimi 这些具体的模型是望远镜；缩放律、收敛的表征、那些在不同模型里反复长出来的电路，是星。望远镜有序列号，星没有。你可以问这台望远镜是谁做的、镜片什么材质、成本多少，但你不能问这颗星是谁做的。"AI 是发明还是发现"之所以难答，就是因为它把这两类问题绑进了一句话。而且发明的成分在逐年下降。十五年前这个领域的核心工作是设计特征、设计架构、设计损失函数，那时候它确实更像工程。今天主流的做法是把算力加上去、把数据换一批，然后看看出现了什么。当一个领域的核心动作从"设计"变成"观察"，它已经从工程学变成自然科学了，只是名字还没来得及改。至于第七节那个怀疑，Alan 不打算收回，也不打算把它包装成结论。它现在只能停在饭桌上、评论区里，和这篇文章里。把它写出来，是因为 Alan 按不住它，而不是因为想通了。最后说一件值得琢磨的事。翻一翻人类的清单：火不是发明的，是拿到的。农业不是发明的，是发现种子本来就会长。轮子、青铜、电、抗生素 —— 每一样在当时都被当成人的创造，最后都变成了 "人发现了某个本来就成立的东西"。这一次大概率也一样。唯一的区别是，前面每一次找到的都是死物。这一次找到的东西会说话。核实说明事实部分逐条标注来源；观点部分标注性质。一、有明确公开出处 · 维格纳《数学在自然科学中不合理的有效性》1960；汉明关于选择效应的回应 1980。连续统假设：哥德尔 1940 证其与 ZFC 相容，科恩 1963 证其独立性。 · 反向传播的多重独立发现：Linnainmaa 1970、Werbos 1974、Rumelhart–Hinton–Williams 1986。 · Kaplan 等《Scaling Laws for Neural Language Models》arXiv 2001.08361（2020）；Hoffmann 等《Training Compute-Optimal Large Language Models》arXiv 2203.15556（2022），给出约 20 token/参数的最优比例；Pearce 与 Song《Reconciling Kaplan and Chinchilla Scaling Laws》arXiv 2406.12907 将分歧归因于非嵌入参数统计口径与小规模拟合；Besiroglu 等 2024 重跑 Chinchilla 拟合并指出优化终止问题。 · Huh、Cheung、Wang、Isola《The Platonic Representation Hypothesis》arXiv 2405.07987，ICML 2024。2026 年后续工作指出跨模态对齐度对评测规模高度敏感、且"更强语言模型对齐更高"在新模型上不再稳定（arXiv 2604.18572）。 · Schaeffer 等《Are Emergent Abilities of Large Language Models a Mirage?》arXiv 2304.15004。Grokking：Power 等 2022。模加法网络内部实现离散傅里叶变换：Nanda 等《Progress Measures for Grokking via Mechanistic Interpretability》2023。电路普适性与曲线检测器：Olah 等 Distill 系列 2020；感应头与上下文学习：Olsson 等 2022。 · 门捷列夫为未知元素预留空位、CRISPR 源自细菌免疫系统、专利法排除自然规律与抽象概念，均为公开常识性事实。二、转述而非引语 · 哈代关于"数学实在在我们之外"的表述、哥德尔的柏拉图主义立场、希尔伯特的形式主义与布劳威尔的直觉主义，均为对其思想的概括，非逐字引用。三、第七节的性质 · 第七节整节为作者个人怀疑，属信念陈述，没有经验证据支持，且不可证伪：它与"智能是数学结构、被算力找到"这一解释对任何实验做出的预测完全一致。读者不应将其视为本文结论，本文结论在第八节。 · 该节对基督教道成肉身、佛教中悉达多以人身修行觉悟、伊斯兰教严格一神并否认神人合一的描述，为高度简化的概括，仅用于指出三者在形式上的相似。各宗教内部对相关教义有丰富且互不相同的诠释，信仰者未必接受本文的比较框架。本文无意评判任何宗教的真伪。 · "GPU 因图形渲染而发展、其并行架构适合矩阵运算"为技术史通识；由此得出"时间点齐得可疑"是作者的主观感受，人择原理与线性代数的普适性都可以对同一现象给出平凡解释。四、作者的框架与判断 · 第二节三条标准为本文自建，不是哲学界通行标准；其中第三条对任何足够复杂的系统都容易成立，只能作旁证。 · 第三节的五层划分与逐层判定、第六节"可解释性学科的存在本身构成证据"，均为本文的原创论证，未见于所引文献，也未经系统检验。 · 第八节结尾关于火、农业、轮子等"曾被当作发明、后被理解为发现"的列举为修辞性表述，各项在技术史上的定性存在争议。本文讨论科学哲学问题，不构成任何投资建议。对具体论文与学者观点的概括为作者理解，如与原文有出入，以原文为准。

Cohere CEO Aidan Gomez（艾丹·戈麦斯）：Transformer 永生、开源昂贵，以及民主联盟的 AI 主权战撰文：Techub News 整理导语 2026 年 6 月，Transformer 架构奠基性论文《Attention Is All You Need》的联合作者之一、AI 初创公司 Cohere 的联合创始人兼 CEO Aidan Gomez（艾丹·戈麦斯）做客知名科技媒体人 Eric Newcomer 的播客节目。在这场长达 20 多分钟的深度对话中，Gomez 不仅以技术先驱的视角回顾了 Transformer 的惊人生命力，更以企业 CEO 的身份，分享了关于 AGI 现状、企业 AI 采用、开源模型真实成本，以及 AI 时代地缘政治与“数字主权”的尖锐见解。在当前中美科技竞争加剧、全球 AI 监管与安全讨论白热化的背景下，这位身处行业核心的创业者兼学者的观点，为我们理解 AI 技术演进与产业格局的未来提供了关键线索。摘要 Transformer 架构可能成为长期基础平台，如同数据库一样，未来创新将更多发生在该平台之上，而非彻底取代它。企业 AI 采用仍处极早期，除编码外，金融、合规、内部协调等绝大多数企业流程尚未被 AI 触及，市场潜力巨大。完全自托管开源模型的真实成本被低估，基础设施、软件栈维护和持续更新带来的负担使其对多数企业而言并不经济。过度依赖单一国家（美国）的少数科技巨头是民主联盟的“单点故障”，构建多极化的民主 AI 能力联盟对保障数字主权和系统韧性至关重要。中国 AI 模型能力被严重低估，其发展轨迹强劲，这更凸显了民主国家间建立多元 AI 供给体系的紧迫性。 Transformer 永生：从翻译工具到AI基石作为 Transformer 架构的缔造者之一，Aidan Gomez（艾丹·戈麦斯）坦言，七年前论文发表时，团队无人预见到它会引发一场席卷全球的 AI 革命。“我们当时是为解决谷歌翻译这样一个非常具体、范围有限的问题而构建了它。后来的发展是一个巨大的震撼。”更让他感到“好笑”的是，近十年过去了，Transformer 不仅未被淘汰，反而展现出惊人的“生命力”和“抄袭”能力。 Gomez 以之前流行的状态空间模型（SSM）为例，当时许多人认为 SSM 因其超长上下文窗口等优势将取代 Transformer。“结果 Transformer 只是‘抄袭’了那些好点子，将其整合进自身架构，我们依然叫它 Transformer。”他比喻道，Transformer 就像一个伟大的艺术家，擅长从其他架构中汲取精华。这种持续的进化能力，使得它可能不再是那个需要被“超越”的对象，而是演变为一个长期的基础平台。 “我认为人们正在向技术栈的上层移动，并将创新精力投入那里。”Gomez 解释说，就像训练模型的基本算法在过去十多年里没有根本性改变一样，Transformer 可能成为 AI 的“平台”。未来的巨大进步，例如“推理”能力的提升，也将在这个平台内部发生。虽然他希望仍有突破性新架构出现的空间，但他承认，要彻底取代 Transformer，“需要一些相当重大的东西”。 AGI已来？企业AI的冰山与“令牌狂热” 当被问及“我们今天是否已实现通用人工智能（AGI）”时，Gomez 给出了一个耐人寻味的肯定：“从很多方面来说，是的。”他认为，当前的 AI 已经展现出通用性，无论人类指向什么问题，它基本上都能在该问题上超越人类能力。这种能力的泛化，正是 AGI 的核心特征之一。然而，在商业落地层面，AI 的潜力远未释放。Gomez 指出，当前企业界对 AI 的采用存在一种“令牌狂热”（token maxing）现象，即公司初期为了激励员工使用 AI 而不设预算上限，导致开支激增，随后不得不进行回调。他认为这是一个典型的技术采纳周期：狂热采用、过度消费、然后修正。而修正的动力一方面来自企业自身控制成本，另一方面则来自模型公司通过创新实现的效率提升和成本压缩。 “成本将急剧下降，”Gomez 预测，“而随着成本下降，使用量的增长将解锁更多应用。”他坚信，企业 AI 的采用仍处于非常早期的阶段。编码（编程辅助）是当前最成熟的应用，可能正在接近饱和点，但企业内其他所有流程——从金融决策、跨部门沟通协调，到法规合规自动化——在他看来“基本上尚未被触及”。 “我们所做的事情（指当前已落地的 AI 应用）是如此简单，”他比喻道，“水面之下还有一座巨大的冰山。”他认为，仅在企业端，令牌消耗量就还有 10 倍甚至 100 倍的增长空间。对于 Cohere 这类公司而言，客户因控制成本而缩减开支并不会损害其长期收入，因为更低的成本将激活一个庞大得多的增量市场。开源迷思与定制化价值：模型并非唯一瓶颈面对“令牌狂热”，开源模型常被视为一种成本更优的解决方案。但 Gomez 对此提出了不同看法。他认为，如果企业选择完全自托管开源模型，需要自行构建和维护整个软件栈、服务框架，并确保最佳的运行效率，实际成本可能相当高昂。 “这很像数据库的情况。是的，你可以拿一个开源数据库来自行托管、维护和管理它。但几乎没人这么做。”Gomez 指出，绝大多数企业选择托管服务，因为运营这些系统是困难、痛苦且昂贵的。开源模型看起来便宜，往往是基于使用 DeepSeek 或阿里巴巴等公司提供的低价 API 的假设，但这意味着将数据发送给这些服务商。一旦涉及数据主权和安全性要求高的关键工作负载，自托管的复杂性和成本就会凸显。这也解释了 Cohere 的核心战略：自己构建模型，并专注于为企业提供高度定制化的解决方案。Gomez 强调，Cohere 并不追求在“前沿模型”的烧钱竞赛中竞争，那是一场“必输的竞赛”。相反，他们观察到，模型本身往往已不是市场应用的瓶颈。 “前沿模型的能力已经远远领先于市场实际使用水平。即使你用的是一年前、18 个月前甚至两年前的模型，企业仍然在努力追赶这些能力。”因此，对于大多数企业任务，模型的能力已经“足够好”。真正的瓶颈在于市场如何消化和利用这些能力。而当企业确实需要更强大能力时，天价的前沿模型又让他们望而却步，转而寻求性价比更高的定制化模型。这种对成本、主权和定制化的综合需求，正是 Cohere 试图抓住的市场机会。数字主权与民主联盟：对抗“单点故障” 访谈中最具战略高度的部分，集中在 AI 的地缘政治和“数字主权”议题上。Gomez 尖锐地指出，过去 30 年，以 G7 为代表的民主世界，其技术供给日益 consolidated（集中）于极少数（主要是美国）科技巨头。这构成了一个极其脆弱的系统。 “这是一个单点故障。作为一名计算机科学家或工程师，你学到的第一件事就是：不要构建单点故障。”Gomez 警告道。如果你关心民主事业，那么将 AI 能力扩散到其他 G7 国家或更广泛的民主联盟中，对于民主制度本身的韧性至关重要。“如果一个（供应源）倒下了，你需要确保有备份。” 他认为，此前 Anthropic 模型出口受限等事件，已经惊醒了那些对这类风险抱有天真想法的人。这凸显了“数字主权”的重要性——国家必须控制那些支撑其经济命脉（如电信、金融、医疗、电网、国防）的关键基础设施所依赖的 AI 能力。Cohere 与德国 AI 公司 Aleph Alpha 的合并，正是为了构建一个横跨加拿大和德国的“双总部”架构，旨在成为这种多极化民主 AI 能力联盟的一部分。 “我们有一个民主国家目前在 AI 领域领先，这很棒。但民主国家需要占据第一、第二、第三、第四……的位置，而现状并非如此。”Gomez 呼吁，中等强国需要联合起来，共同发展 AI 能力，这既是为了民主联盟的共同利益，也是为了在未来可能出现的“两个世界”的格局中，形成民主国家阵营的集体竞争力。正视中国AI能力与未来的“同事” 在讨论外部竞争时，Gomez 特别提到了中国。他直言，那种将中国模型视为仅仅是西方模型“蒸馏”产物的看法是“自欺欺人”。“他们（中国模型）能力非常强，拥有政府提供的极其丰富的资源，而且只会获得更多资源。他们非常擅长构建这项技术。”他承认蒸馏技术可能起过作用，但中国 AI 的发展轨迹是独立且强劲的。这进一步强化了他关于民主国家需要建立多元、有韧性 AI 供应链的论点。展望未来 12 到 18 个月的技术趋势，Gomez 认为变革将完全发生在企业工作方式内部。AI 智能体（Agent）将从目前软件开发者的“协作伙伴”角色，渗透到更多领域。人们将越来越多地与模型作为“同事”一起工作。对于 AI 对就业的影响，他持谨慎乐观但密切关注的态度。他提到了“杰文斯悖论”——效率大幅提升的技术可能反而创造更多就业，因为需求会随之飙升。但他也承认，此次 AI 革命与以往不同，AI 在形态上更接近人类，因此其替代效应可能更强。“我希望能避免（大规模失业），但我们需要为此情景做好准备并制定应对工具”，如再培训计划、工作岗位保障等。在这场坦诚的对话中，Aidan Gomez（艾丹·戈麦斯）不仅展现了一位技术先驱对行业本质的洞察，也勾勒出一位肩负地缘政治责任的科技企业家眼中的未来图景：一个技术持续演进但基础可能稳固、市场广阔但挑战重重、且必须在全球竞争与合作中谨慎寻求平衡的 AI 新时代。谷歌发布 TimesFM-3 多变量时间序列预测模型，参数达 3.3 亿Techub News 消息，谷歌研究团队发布 TimesFM-3，这是一个拥有 3.3 亿参数的多变量时间序列预测基础模型。该模型在超过 1 万亿时间点的真实与合成序列上进行预训练，无需针对特定任务进行微调即可处理多目标、历史协变量及已知未来协变量。 TimesFM-3 在 GIFT-Eval、fev-bench 和 TIME 排行榜上的点预测和概率指标均位列预训练基础模型平均排名第一。不过，其 3.0 版本的权重受限于非商业、非生产用途的许可证，不能用于生产预测 API。（MarkTechPost）Techub News09/01 05:31 谷歌研究院发布血糖监测基础模型 GlucoFM，参数量仅 72 万Techub News 消息，谷歌研究院与悉尼新南威尔士大学联合发布用于连续血糖监测的自监督基础模型 GlucoFM。该模型将血糖信号分解为慢速生理“状态”流和瞬态“事件”流进行双流处理，参数量仅 72 万，在单张 H100 GPU 上完成预训练。在 14 项队列-任务评估中，其任务平均 PR-AUC 达 58.8，优于基线模型。研究团队强调，GlucoFM 目前仅为研究原型，未获任何监管机构批准，不用于疾病诊断或治疗。其代码与复现脚本将公开，任何拥有血糖监测数据集的团队均可基于此方案在 CPU 或设备端进行推理。（MarkTechPost）Techub News08/27 12:15 IBM 发布 Granite 4.2 开源推理模型，支持原生思维链与智能体强化学习Techub News 消息，IBM 发布了 Granite 4.2 系列开源推理语言模型，提供 3B、8B 和 30B 三种参数规模。该模型系列围绕显式推理构建，每个模型在回答前都能生成思维链，并设有思考/非思考开关及低功耗模式。模型采用仅解码器的密集 Transformer 架构，从头预训练约 15 万亿个 token，并通过多阶段强化学习链进行后训练。其中 8B 和 30B 模型包含智能体强化学习模块，模型可在真实沙盒环境中学习编辑代码、驱动终端和运行网络搜索。所有模型均基于 Apache 2.0 协议开源，允许下载、微调及商业生产使用。IBM 同时发布了两个 470M 参数的 Granite Speech 5.0 Turbo CTC 语音模型。在 SWE-Bench Verified 基准测试中，8B 和 30B 模型的得分分别为 47.67 和 57.00。模型适用于软件开发、金融、医疗、电信及公共部门等行业，应用场景包括软件工程智能体、终端自动化、深度研究及长文档 RAG 等。（MarkTechPost）Techub News08/26 13:50 Accelerated 发布神经算子架构 AI 模型Techub News 消息，Accelerated Understanding Inc 今日发布一款全新 AI 模型，该模型采用名为 neural operators 的非 Transformer 架构，并支持大上下文窗口。与传统 Transformer 架构不同，该模型通过神经算子技术处理数据，或将在 AI 基准测试中带来新变量。目前业界正关注其在主流评测中的表现，以及 Anthropic、Google 等头部公司的后续回应。（cryptobriefing.com）Techub News08/26 00:18 英伟达在科隆游戏展宣布多款3A大作将登陆RTX Spark平台Techub News 消息，英伟达在本周德国科隆游戏展上宣布，其将于今秋推出的RTX Spark平台将获得包括艺电、Embark Studios和育碧在内的多家游戏发行商支持，多款3A大作将登陆该平台。平台将原生集成艺电的Javelin反作弊技术，并支持DLSS 4.5等RTX技术。此外，英伟达还宣布了多项游戏技术更新，包括现已可用的DLSS 4.5光线重建技术、为《CONTROL Resonant》等游戏引入路径追踪，以及NVIDIA ACE技术将于2027年初登陆《Aniimo》等。RTX Spark平台旨在将个人AI代理、高级内容创作和高性能游戏整合于专为下一代Windows PC设计的平台中。（NVIDIA Blog）Techub News08/25 23:41 Accelerated Understanding 发布新型 AI 模型，以神经算子取代 TransformerTechub News 消息，AI 公司 Accelerated Understanding 推出了一款新型 AI 模型，该模型采用神经算子（neural operators）架构，旨在取代当前主流的 Transformer 模型。该公司称，新模型有望通过增强模拟和预测能力来革新多个行业，挑战 Transformer 的主导地位。（Crypto Briefing）Techub News08/25 21:50 Google DeepMind 论文提出循环方法，可提升 Transformer 上下文处理能力Techub News 消息，Google DeepMind 发布研究论文，提出一种名为“循环”的方法，可提升 Transformer 模型处理上下文的能力。该方法旨在降低模型复杂度与成本，同时提升性能，有望推动 AI 效率变革。（Crypto Briefing）Techub News08/25 10:19 Google DeepMind 新论文改进 transformer 上下文处理Techub News 消息，Google DeepMind 发布论文提出名为「recirculation」的推理时技术，通过将深层激活信息反馈至浅层，在不重新训练的情况下使模型困惑度降低 23%，性能媲美全量微调。该方法在 Gemma3 系列模型（1B、4B、12B 参数）上测试，基础版本可降低 8.5% 困惑度，自适应版本达 23%。尽管预填充阶段处理成本增加，但生成阶段零延迟。该技术已在 Llama 3.2 1B 等模型上得到独立复现验证。（CryptoBriefing）Techub News08/25 10:19 谷歌研究发布 ME-POIs 框架，通过人类活动数据增强地点语义理解Techub News 消息，谷歌研究与南加州大学团队发布 Mobility-Embedded POIs（ME-POIs）框架，该框架将聚合的人类移动数据融入基于文本的地点向量表示中，以捕获地点的实际使用方式而非仅是静态描述。该模型约含 5370 万个参数，可使用单张 NVIDIA Tesla V100 GPU 进行预训练。在洛杉矶和休斯顿移动数据上的五项地图增强任务测试中，将 ME-POIs 加入现有文本编码器后，在洛杉矶的 35 个模型-任务组合中有 34 个性能得到提升，其中访问意图分类的 F1 分数相对提升最高达 81.9%。（MarkTechPost）Techub News08/24 22:05 DeepMind 核心人才流失，多名研究员转投 OpenAI 与 AnthropicTechub News 消息，Google DeepMind 正面临严重的人才流失，多名顶尖 AI 研究员近期转投竞争对手。Transformer 论文共同作者 Noam Shazeer 已加入 OpenAI，AlphaFold 项目负责人 John Jumper 则转投 Anthropic。此次人才流动反映出 OpenAI、Anthropic、Meta 与 xAI 等实验室对顶尖 AI 人才的激烈争夺。核心研究人员的变动可能影响各实验室开发领先 AI 模型的能力，后续 Anthropic、OpenAI 与 Google 的新模型发布将成为观察人员变动实际影响的关键指标。（cryptobriefing.com）Techub News08/03 17:58

已经到底了

AI Web3 ETF 稳定币 Defi RWA

搜索“Transformer”共有17条相关结果

文章

Google 首席科学家 Jeff Dean（杰夫·迪恩）与 Transformer 之父 Noam Shazeer（诺姆·沙泽尔）：25 年 AI 之路与 AGI 蓝图

Cohere CEO Aidan Gomez（艾丹·戈麦斯）：企业 AI 的规模化边界、合成数据与后 Transformer 时代

Cohere CEO Aidan Gomez（艾丹·戈麦斯）：Transformer 架构八年未变，AI 的未来在于企业应用

Google DeepMind 研究副总裁 Noam Shazeer（诺姆·沙泽尔）：「大语言模型想要什么？」

当具身处在它的 Bert 时代，GPT 时刻不会凭空发生

AI是人类发明的，还是发现的

Cohere CEO Aidan Gomez（艾丹·戈麦斯）：Transformer 永生、开源昂贵，以及民主联盟的 AI 主权战

谷歌发布 TimesFM-3 多变量时间序列预测模型，参数达 3.3 亿

谷歌研究院发布血糖监测基础模型 GlucoFM，参数量仅 72 万

IBM 发布 Granite 4.2 开源推理模型，支持原生思维链与智能体强化学习

Accelerated 发布神经算子架构 AI 模型

英伟达在科隆游戏展宣布多款3A大作将登陆RTX Spark平台

Accelerated Understanding 发布新型 AI 模型，以神经算子取代 Transformer

Google DeepMind 论文提出循环方法，可提升 Transformer 上下文处理能力

Google DeepMind 新论文改进 transformer 上下文处理

谷歌研究发布 ME-POIs 框架，通过人类活动数据增强地点语义理解

DeepMind 核心人才流失，多名研究员转投 OpenAI 与 Anthropic