UC Berkeley 开源向量索引 LEANN，60M 语料索引从 201 GB 降至 6 GB

Techub News 消息，UC Berkeley Sky Computing Lab 发布开源向量索引 LEANN，其核心创新在于几乎不存储向量嵌入，而是在查询时实时计算。该索引将一个包含 6000 万段落的维基百科语料索引大小从 201 GB 压缩至 6 GB。研究论文在 MLSys 2026 会议上获得最佳论文奖。 LEANN 基于 FAISS 构建，通过保留精简的图结构并丢弃完整向量来实现低存储。在 NQ 基准测试中，使用 Qwen3-4B 模型在 RTX 4090 上，LEANN 与 HNSW 均能达到 25.5% 的下游准确率，但 LEANN 仅占用 4 GB 存储空间，而 HNSW 需要 188 GB。其代价是检索时间增加，在 NQ 任务上检索耗时 2.48 秒，而 HNSW 仅需 0.05 秒。 该索引旨在让语义搜索和 RAG 技术能在个人笔记本电脑上运行。GitHub 仓库显示，40 万条聊天消息的索引从 1.8 GB 缩小至 64 MB，3.8 万条浏览器记录索引从 130 MB 缩小至 6.4 MB。（MarkTechPost）