NVIDIA 优化 Ling 模型推理，吞吐提升 42.5%

Techub News 消息，NVIDIA 技术博客展示在 DGX Spark 上加速 MoE 推理的三项优化，测试模型为 Ling-3.0-flash。 该模型为蚂蚁集团旗下 inclusionAI 的 124B 参数 MoE，每 token 激活 5.1B。三项优化包括 Humming MoE kernel、FP8 LM head 与 MTP 投机解码。 在 GSM8K 1319 题测试中，解码吞吐从 37.81 升至 53.89 tokens/s，提升 42.5%，平均延迟下降 24.5%，准确率基本持平，分别为 96.89% 与 96.82%。（MarkTechPost）