清华大学开源 KV 缓存工程服务器 AKV，LLM 智能体成本降低 27.7%

Techub News 消息，清华大学与香港中文大学的研究人员开源了 AKV，一个用于大语言模型智能体 KV 缓存工程的推理服务系统。该系统允许智能体丢弃并重新定位其 KV 缓存条目，而非总结旧历史。在 3 个模型和 4 个智能体基准测试中，平均成本下降 27.7%，平均任务得分提升 1.7 分。 该代码基于 Apache-2.0 许可证，构建在 SGLang 之上，并在 NVIDIA GPU 上运行。研究论文中使用了 8 块 A800-80GB GPU。其性能在 GPT-OSS-120B 模型于 SWE-bench Verified 基准测试中表现最佳，单任务成本从 20.0 美分降至 9.7 美分。（MarkTechPost）