Google DeepMind 新论文改进 transformer 上下文处理

Techub News 消息，Google DeepMind 发布论文提出名为「recirculation」的推理时技术，通过将深层激活信息反馈至浅层，在不重新训练的情况下使模型困惑度降低 23%，性能媲美全量微调。 该方法在 Gemma3 系列模型（1B、4B、12B 参数）上测试，基础版本可降低 8.5% 困惑度，自适应版本达 23%。尽管预填充阶段处理成本增加，但生成阶段零延迟。该技术已在 Llama 3.2 1B 等模型上得到独立复现验证。（CryptoBriefing）