Redis推出语义缓存服务LangCache，可降低LLM API成本高达90%

Techub News 消息，Redis推出全新托管语义缓存服务LangCache，目前已在Redis Cloud开放公开预览。该服务通过语义匹配而非文本匹配识别相似提示，命中缓存时可跳过LLM调用，从而大幅降低API成本并提升响应速度。官方称最高可节省90%的API成本，缓存命中响应速度提升最高达15倍。 LangCache工作流程为双调用循环：应用在调用LLM前，先将提示词发送至LangCache进行向量相似性搜索；若找到语义相近的已缓存条目，则直接返回缓存响应，无需调用LLM；若未命中，则正常调用LLM生成响应，并将该提示词与响应存入缓存供后续使用。服务内置嵌入模型生成，也支持用户自带模型。 该服务可通过REST API访问，并提供Python和JavaScript SDK。缓存行为可通过相似性阈值、TTL和淘汰策略等进行配置，命中率和节省成本可在Redis Cloud控制台监控。客户Mangoes.ai报告其患者护理应用已实现70%的缓存命中率。（MarkTechPost）