Prime Intellect 发布 Prime Mega MoE，MoE 训练前向速度提升 3.11 倍

Techub News 消息，AI 基础设施公司 Prime Intellect 发布了 Prime Mega MoE，这是一个基于 DeepSeek 开源 Mega MoE 内核的可训练扩展。该内核在 DeepSeek 仅支持前向传播的基础上，增加了快速、重叠的后向传播，使其可用于训练而不仅仅是推理。 在其 prime-rl 训练器中，Qwen3 MoE 模型的完整训练步骤速度提升高达 34%。与 TorchTitan 相比，提升幅度可达 55%。该内核支持 NVIDIA Hopper 和 Blackwell GPU，使用 BF16、MXFP8 和块状 FP8 数据类型。 Prime Intellect 表示，对于训练专家混合（MoE）模型的团队而言，这直接减少了所需的 GPU 小时数。Prime Mega MoE 是一个融合、重叠的 MoE 训练内核，旨在解决 MoE 训练中因通信瓶颈导致的 GPU 闲置问题。（MarkTechPost）