加载中…
加载中…
Techub News 消息，NVIDIA 技术博客展示在 DGX Spark 上加速 MoE 推理的三项优化，测试模型为 Ling-3.0-flash。 该模型为蚂蚁集团旗下 inclusionAI 的 124B 参数 MoE，每 token 激活 5.1B。三项优化包括 Humming MoE kernel、FP8 LM head 与 MTP 投机解码。 在 GSM8K 1319 题测试中，解码吞吐从 37.81 升至 53.89 tokens/s，提升 42.5%，平均延迟下降 24.5%，准确率基本持平，分别为 96.89% 与 96.82%。（MarkTechPost）
如您认为本页面（或本平台）内容存在侵权或违规情形，请您在发现之日起尽快与我们联系，并提供：权利人姓名/名称及联系方式、被侵权作品名称及权属证明、具体侵权链接及情况说明。我们在核实后将及时处理相关内容。
联系方式：creator@techub.news
商务合作：contacting@techub.news
点击链接下载 Techub News App，获取最新讯息：
https://www.techub.news/download
（或扫描下方二维码下载）
本网站所提供的所有信息仅供参考之用。
本网站不保证信息的准确性、有效性、及时性和完整性。
任何依赖于本网站所提供信息的行为，均由用户自行承担风险。
Techub News 消息，NVIDIA 技术博客展示在 DGX Spark 上加速 MoE 推理的三项优化，测试模型为 Ling-3.0-flash。 该模型为蚂蚁集团旗下 inclusionAI 的 124B 参数 MoE，每 token 激活 5.1B。三项优化包括 Humming MoE kernel、FP8 LM head 与 MTP 投机解码。 在 GSM8K 1319 题测试中，解码吞吐从 37.81 升至 53.89 tokens/s，提升 42.5%，平均延迟下降 24.5%，准确率基本持平，分别为 96.89% 与 96.82%。（MarkTechPost）
如您认为本页面（或本平台）内容存在侵权或违规情形，请您在发现之日起尽快与我们联系，并提供：权利人姓名/名称及联系方式、被侵权作品名称及权属证明、具体侵权链接及情况说明。我们在核实后将及时处理相关内容。
联系方式：creator@techub.news
商务合作：contacting@techub.news
点击链接下载 Techub News App，获取最新讯息：
https://www.techub.news/download
（或扫描下方二维码下载）
本网站所提供的所有信息仅供参考之用。本网站不保证信息的准确性、有效性、及时性和完整性。任何依赖于本网站所提供信息的行为，均由用户自行承担风险。
