字节 Seed 团队发现 DeepSeek-V4 模型存在周期性相位敏感性

Techub News 消息，字节跳动 Seed 团队研究发现，DeepSeek-V4 系列模型在处理长上下文时，其检索准确率会随着信息在输入中的位置呈现周期性波动，波动周期与模型采用的 KV Cache 压缩步长一致。研究人员在 128K 长上下文测试中发现，同一条信息仅因位置不同，DeepSeek-V4-Flash-Base 模型的检索准确率最大差距可达 40.2 个百分点。 团队将这种现象命名为「相位敏感性」，并指出其根源在于模型为节省内存而采用的分块 KV Cache 压缩技术。该技术导致模型内部的不同注意力组件对压缩窗口内的不同位置产生了偏好，形成「相位专门化」。后训练和架构迭代能显著缩小这种差距，但周期性差异依然存在。（量子位）