扫码下载
搜索“Transformer”共有43条相关结果
撰文：Techub News 整理 导语 2025 年 2 月，知名播客主持人 Dwarkesh Patel 邀请到了 Google 的两位传奇工程师——首席科学家 Jeff Dean（杰夫·迪恩）和 Transformer 架构共同发明人 Noam Shazeer（诺姆·沙泽尔）进行了一场深度对话。两人均在 Google 工作了近 25 年，是塑造现代计…
撰文：Techub News 整理 导语 2025 年 4 月，Transformer 架构论文的八位作者之一、知名 AI 公司 Cohere 的联合创始人兼 CEO Aidan Gomez（艾丹·戈麦斯）做客由 Redpoint Ventures 制作的播客节目《Unsupervised Learning》。在这场长达 51 分钟的深度对话中，Gomez…
撰文：Techub News 整理 导语 2026 年 6 月，Transformer 架构奠基性论文《Attention Is All You Need》的联合作者之一、AI 初创公司 Cohere 的联合创始人兼 CEO Aidan Gomez（艾丹·戈麦斯）做客知名科技媒体人 Eric Newcomer 的播客节目。在这场长达 20 多分钟的深度对话…
VC们没亏一分钱。 作者 张雪 手搓量丨98% 2023年，a16z合伙人Sarah Wang写了一篇题为《Investing in Character.AI》的文章。 在文章里，她提到第一次使用Character.AI，是在她丈夫的生日宴上。原本围桌聊天的12个朋友，逐渐把注意力交给了手机里的虚拟人物：有人向“马斯克”请教火星，有人找“英国女王”聊王室。…
这两天接触到了一个非常有探索性的记忆项目：摒弃外挂文本，将记忆存入参数 首先，我认为：上下文即一切对模型来说，上下文有三种来源：人给的、Agent 给的、模型内化了的 之前在新华社做分享时的 ppt 前两种都是文本：人复制资料、写提示词、传文件；Agent 联网搜索、读知识库、调接口。最后都塞进上下文窗口，这次对话用完就没了 而第三种模型的内化记忆，则只有…
作者｜刘必可（微信zbthdx） 编辑｜王兆洋（微信Geisterspiele） 最近，OpenAI 公布了 Navier–Stokes 存在性与光滑性问题的一份解答及 Lean 形式化证明。这是克雷数学研究所在 2000 年提出的七个“千禧年难题”之一，每题设有百万美元奖金。据 OpenAI 公告，其内部模型构造了光滑外力下的有限时间爆破：方程描述的流速…
撰文：Techub News 整理 导语 在2025 年 9 月举行的全球顶尖芯片会议 Hot Chips 2025 上，Transformer 论文《Attention Is All You Need》的联合作者之一、Google DeepMind 研究副总裁 Noam Shazeer（诺姆·沙泽尔）发表了主题为「AI 下一阶段预测」的开场演讲。作为深度…
2026.08.09 · 硅谷 Alan Walker 这不是文字游戏。一样东西是被造出来的还是被找到的，决定了它归谁、听谁的、以及谁该为它负责。 California Avenue · Zombie Café · 早上七点 芯片是人造的，代码是人写的，公司是人开的。所以 AI 当然是人类发明的 —— 大多数人到这里就不往下想了。 但同样的逻辑放到别的地方…
Techub News 消息，美国金融科技公司 Affirm 宣布推出基于 Transformer 架构的机器学习模型，用于实时信贷审批。该 AI 驱动的承销模型旨在重新定义信用风险评估，有望提高先买后付（BNPL）行业的批准率和利润率。 （Crypto Briefing）
Techub News 消息，Nunchux AI 发布 VC-Attention，一种无需训练的低比特注意力内核，专为视频扩散 Transformer 设计。它同时解决值量化误差和 softmax 阶段缓慢两个问题，通过 V-Smooth 处理值异常值和 ExpCast-FP8 优化 softmax 瓶颈。 在 B200、H200、RTX 5090 等 GPU 上的测试显示，该内核能实现 1.13 倍至 1.70 倍的端到端加速，注意力计算速度提升最高达 3.58 倍。在 Wan2.2 等开源视频生成模型上，其保真度优于 SageAttention2 等先前方法。（MarkTechPost）
Techub News 消息，AI 公司 Accelerated Understanding 推出了一款新型 AI 模型，该模型采用神经算子（neural operators）架构，旨在取代当前主流的 Transformer 模型。该公司称，新模型有望通过增强模拟和预测能力来革新多个行业，挑战 Transformer 的主导地位。 （Crypto Briefing）
Techub News 消息，Google DeepMind 发布研究论文，提出一种名为“循环”的方法，可提升 Transformer 模型处理上下文的能力。该方法旨在降低模型复杂度与成本，同时提升性能，有望推动 AI 效率变革。 （Crypto Briefing）
Techub News 消息，设计平台 Canva 发布其首个图像生成模型 Canva Craft，由内部研究团队开发，旨在与 Google、OpenAI、字节跳动和 Meta 的同类别模型竞争。该模型采用两阶段流程：首阶段解析用户提示并生成包含元素空间关系、相对比例、视觉层级及文本生成信息的规划；次阶段生成最高 2K 分辨率、支持 30 种不同画幅的图像。Canva 表示，此方法能生成对象细节准确、文本清晰可读的图像，且用户可进行精确编辑而不影响图像其他部分。 Canva Craft 基于平台设计库中的人为设计模板（如海报、社交媒体帖子、演示文稿、信息图、菜单和版式丰富的布局）进行训练，而非使用照片。生成图像可通过 Canva Magic（其图像到设计转换器）转换为分层设计。该模型已在 Canva 平台面向所有用户开放，用户可从 Dream Lab 标签页访问，亦可通过 Canva API 调用；公司还计划通过 Canva MCP 在 ChatGPT 和 Gemini 等第三方聊天机器人中支持图像生成。 Canva 表示正在开发两个成本优化版本 Craftfast 和 Craft-ultrafast，将于近期发布。公司去年营收达 40 亿美元，但已下调 2026 年增长预期，据外部分析师称其估值从 420 亿美元降至 350 亿美元。（TechCrunch）
Techub News 消息，巴黎语音 AI 公司 Gradium 开源了端侧文本转语音模型系列 Phonon。该系列包括 31M 和 40M 参数版本，其中 Phonon 31m 为纯英文模型，采用 Apache 2.0 许可，文件大小 64.5 MB，内置 37 种语音，可在手机、笔记本电脑、树莓派 5 及浏览器上本地运行，无需 GPU 或云端调用。 Phonon 使用因果 Transformer 主干网络，结合文本和说话人嵌入，通过 SentencePiece 分词器直接处理原始文本，无需音素转换。其流匹配头部将潜在向量与噪声单步转换为音频嵌入，再经 Kyutai Mimi 解码器变体输出 24 kHz PCM 音频。 据 Gradium 测试，Phonon 在英文 Elo 评分中领先于其他开源模型，在 500 句困难测试集上词错误率（WER）为 1.70%，优于 Kokoro 的 3.50%；在 CPU 上首段音频生成延迟约 7 毫秒。（MarkTechPost）
Techub News 消息，记忆原生模型 MemT 1.0 系列已开源发布，包括 36B 参数的 Nano 型号与 288B 参数的 Flash 型号。该系列模型在 Transformer 模块中增加并行记忆计算通路，将经验编码为内部动态状态并通过训练学习读写，首次实现了近 300B 参数规模的记忆原生工程验证。 在 SWE-bench Verified 等基准测试中，MemT-1.0-Nano 的关键断点平均成功率达 69.73%，三次全部成功的任务比例从无经验基线的 54.00% 提升至 62.80%。在迷宫探索等任务中，模型能借助上一轮经验优化后续行动。 MemT 1.0 采用 Gated DeltaNet-2 进行逐 Token 记忆更新，并基于 MoE 架构提出 Mixture-of-Storage 方案以扩展记忆容量。团队使用 340 亿 Token 的语料进行记忆训练，包括继续预训练与后训练阶段。（量子位）
Techub News 消息，相干科技发布其百比特规模超导量子芯片，单比特门平均保真度超过 99.9%，两比特门保真度突破 99.5%。该公司计划今年完成百比特规模整机的交付，并同步搭建千比特规模的量子算力云平台，用户可通过图形化界面或 API 调用量子算力。相干科技创始人兼 CEO 金贻荣表示，量子计算属于底层计算能力，未来将与经典超算、智算等多种算力融合，形成新的计算生态。（量子位）
Techub News 消息，AI 初创公司 StepFun 发布其旗舰模型 Step 5 Preview 的开源权重，FP8 和 BF16 版本的检查点已上线 Hugging Face 和 ModelScope。该模型为稀疏混合专家模型，总参数量达 6000 亿，每 token 激活 270 亿参数，支持长达 100 万 token 的上下文，专为长周期智能体任务设计，适用于代码生成、文档分析和金融工作流。 运行该模型需要数据中心级 GPU，例如 FP8 版本需要 4 张 B300 或 8 张 H200 GPU。在 StepFun 自行评估的基准测试中，其在 DeepSWE v1.1 上得分为 67.7，在 FrontierFinance 金融基准上得分为 66.4%，性能接近 GLM-5.3 和 Kimi K3，但落后于 GPT-6 Astra 和 Claude Opus 5。（MarkTechPost）
Techub News 消息，OpenAI 正加速开发其下一代旗舰模型，该模型采用与 Astra 相同的循环 Transformer 技术以提升数学与编码性能，但该技术使安全监控变得更加困难。微软曾在一公开页面意外泄露了该技术的运作细节。员工表示，无论旗舰模型是否准备就绪，OpenAI 都可能在年底前发布一至两款新模型。（The Decoder）
