扫码下载
搜索“Redis”共有2条相关结果
Techub News 消息,Redis推出全新托管语义缓存服务LangCache,目前已在Redis Cloud开放公开预览。该服务通过语义匹配而非文本匹配识别相似提示,命中缓存时可跳过LLM调用,从而大幅降低API成本并提升响应速度。官方称最高可节省90%的API成本,缓存命中响应速度提升最高达15倍。 LangCache工作流程为双调用循环:应用在调用LLM前,先将提示词发送至LangCache进行向量相似性搜索;若找到语义相近的已缓存条目,则直接返回缓存响应,无需调用LLM;若未命中,则正常调用LLM生成响应,并将该提示词与响应存入缓存供后续使用。服务内置嵌入模型生成,也支持用户自带模型。 该服务可通过REST API访问,并提供Python和JavaScript SDK。缓存行为可通过相似性阈值、TTL和淘汰策略等进行配置,命中率和节省成本可在Redis Cloud控制台监控。客户Mangoes.ai报告其患者护理应用已实现70%的缓存命中率。(MarkTechPost)
Techub News 消息,据 cryptobriefing.com 报道,Redis 推出 Iris,这是一个专为 AI 智能体设计的上下文与记忆平台,旨在解决智能体在数据检索和状态管理方面的基础设施挑战。 Iris 平台整合三大核心能力:Context Retriever 负责实时获取结构化和非结构化数据,Agent Memory 提供短期和长期记忆持久化以支持多会话状态保持,Data Integration 则确保底层数据实时更新。同时,Redis 推出 Flex SSD 版本以降低成本,支持企业维护更大的上下文窗口。
当前搜索结果已加载完毕