Techub News 消息,Redis推出全新托管语义缓存服务LangCache,目前已在Redis Cloud开放公开预览。该服务通过语义匹配而非文本匹配识别相似提示,命中缓存时可跳过LLM调用,从而大幅降低API成本并提升响应速度。官方称最高可节省90%的API成本,缓存命中响应速度提升最高达15倍。 LangCache工作流程为双调用循环:应用在调用LLM前,先将提示词发送至LangCache进行向量相似性搜索;若找到语义相近的已缓存条目,则直接返回缓存响应,无需调用LLM;若未命中,则正常调用LLM生成响应,并将该提示词与响应存入缓存供后续使用。服务内置嵌入模型生成,也支持用户自带模型。 该服务可通过REST API访问,并提供Python和JavaScript SDK。缓存行为可通过相似性阈值、TTL和淘汰策略等进行配置,命中率和节省成本可在Redis Cloud控制台监控。客户Mangoes.ai报告其患者护理应用已实现70%的缓存命中率。(MarkTechPost)