Zyphra 推出 ZHA 分层注意力机制，实现真正次二次方注意力

Techub News 消息，Zyphra 发布 Zyphra Hierarchical Attention（ZHA），这是一种基于树状索引器的稀疏注意力方法，旨在解决现有稀疏注意力中索引器仍需扫描全部上下文的问题。ZHA 可将该方法蒸馏到已预训练的冻结模型中，使用约 40 亿 token 进行训练。在 Qwen3.6-35B-A3B 模型上，其在推理、代理编码和 256K 检索基准测试中的表现接近密集注意力。 ZHA 将键划分为连续块并逐层压缩为摘要键，解码时通过 top-p 路由自适应地选取相关 token。在多项基准测试中，ZHA 的深度树结构在 LongBench v2 上达到 63.4% 的准确率，优于密集注意力的 58.0%，同时仅使用约 1.1% 的键。（MarkTechPost）