中国人工智能开发商DeepSeek发布了新的开源大语言模型（LLM）系列“V4”。该系列由高性能模型“V4-Pro”和轻量型模型“V4-Flash”组成，其核心是在显著降低内存使用量的同时提升性能竞争力。
V4于26日发布，两款模型均采用“混合专家”架构设计。这意味着它不是单个庞大的神经网络，而是由多个神经网络分工处理的方式。顶级模型V4-Pro拥有总计1.6万亿个参数，在实际生成回答时仅激活其中的490亿个。而V4-Flash则搭载了2840亿个参数，在推理过程中使用130亿个。这是一种在性能与成本之间取得不同平衡的架构。
混合注意力与内存效率改进
本次V4系列最引人注目的变化是“混合注意力”机制。注意力是一种用于识别用户输入句子中哪些信息重要的技术。DeepSeek表示，通过两种压缩方式减少了该过程中使用的“KV缓存”，使得推理时的内存使用量相比上一代模型降低了90%。这有利于在相同硬件上处理更长的上下文或降低运营成本。
训练架构与优化方式
旨在提高训练效率的设计也一并应用。V4配备了一项名为“mHC”的功能，允许部分数据不必经过所有中间层，而直接传输到更远的层级。这种方式有助于减少训练过程中的误差，从而改善输出质量。此外，还利用名为“Muon”的软件模块对隐藏层进行了优化。DeepSeek解释称，这提高了训练速度并减轻了基础设施负担。
训练规模也相当可观。DeepSeek使用约27万亿个Token规模的数据集对V4进行了初始训练，随后经历了两阶段的后继训练流程。第一阶段对各模型构成的个别神经网络分别进行优化；第二阶段则调整这些神经网络，使其能够更有机地协作。
性能评估与发布意义
性能方面，主力模型V4-Pro在约24个基准测试中接受了评估。DeepSeek将这一结果与Claude Opus 4.6等主要先进模型进行了比较，并表示V4-Pro至少在3个基准测试中领先于竞争模型。在某些测试中，它记录了高于特定竞争模型的分数，但并未持续压倒所有模型。
此次发布表明，开源LLM的竞争再度加剧。在高性能模型开发趋于封闭化的背景下，DeepSeek同时高举“效率”与“开放性”的旗帜，正在增强其存在感。V4-Pro和V4-Flash目前以预览形式在Hugging Face上提供。
TP AI注意事项 本文使用基于TokenPost.ai的语言模型进行摘要。正文中的主要内容可能被遗漏或与事实不符。