Polymathic AI 与普林斯顿大学等发布 FlashMap，大模型推理速度提升 6.14 倍

Techub News 消息，Polymathic AI、普林斯顿大学、南加州大学信息科学研究所、纽约大学及 Flatiron Institute 的研究人员发布了 FlashMap。FlashMap 是一种用于推测解码的草稿模型，它用连续流映射替代了离散扩散草稿器，能在一次前向传播中生成包含 16 个令牌的完整区块，且区块内令牌保持一致。研究团队报告称，在 Qwen3-8B 模型上，FlashMap 在 GSM8K 基准测试中实现了最高 6.14 倍的无损加速。 FlashMap 草稿器是一个具有 6 个块的扩散 Transformer，嵌入维度为 2048，拥有 16 个注意力头。它从目标模型第 1、9、17、25 和 33 层读取隐藏状态。嵌入矩阵和语言模型头部从目标模型复制并保持冻结。训练分为两个阶段：流教师和流映射学生，总共使用了约 4600 个 H200 GPU 小时的计算资源。 该草稿器的权重（Qwen3-8B 为 5 亿参数，Qwen3-4B 为 4.75 亿参数）已在 Hugging Face 上发布，并提供了 vLLM 和 SGLang 插件。在测试中，FlashMap 在 Qwen3-8B 的所有任务上都是最快的草稿器，在 18 个设置中的 15 个上，其令牌接受长度超过了 DFlash。（MarkTechPost）