InfiniFlow 创始人张颖峰：在长上下文大模型的场景下，RAG 面临着数据库和数据两大挑战

Techub News 现场报道，在由香港人工智能创新协会（HKAIIA）、UtilityNet 联合主办，Cyberport 协办，Techub News 承办的「边缘智能 2024 - AI 开发者峰会」上，InfiniFlow 创始人张颖峰表示，在长上下文大模型的场景下，相较于普通的 LLM，检索增强生成（RAG）的成本更低，可处理的上下文长度更长，且更具多样性。但 RAG 「大海捞针」的能力相对来说更差，不能提供精确的调用，且需要各种数据类型和查询。InfiniFlow 就旨在解决这两个问题。

此外，张颖峰表示，大模型本身是一个 CPU。在长上下文的场景下，大模型相当于内存，而数据库就相当于配套的硬盘，只要企业需要大模型，数据库就一定少不了。