加载中…
加载中…
Techub News 消息，Liquid AI 宣布推出实时推理引擎 RIPL，用于在实时请求路径中为其 Liquid Foundation Models（LFMs）提供低延迟服务。该引擎可在端到端生成完整响应的时间低于 50 毫秒，并声称即使在峰值负载下持续接收流量，延迟也能保持稳定。RIPL 旨在让开发者无需在生成式模型和延迟预算之间做出取舍。 RIPL 可服务于参数规模从 2.3 亿到 26 亿的 LFM2.5 模型，支持在 NVIDIA H100、H200、B200 和 RTX PRO 6000 GPU 上进行企业级部署。根据 Liquid AI 的测试，其 p95 延迟比在 vLLM 上运行的 Qwen3.5 低 5.6 至 28.4 倍。Liquid AI 表示，Shopify 正在延迟敏感的电商工作负载中部署 LFMs，在生产流量中实现了低于 20 毫秒的推理延迟。（MarkTechPost）
如您认为本页面（或本平台）内容存在侵权或违规情形，请您在发现之日起尽快与我们联系，并提供：权利人姓名/名称及联系方式、被侵权作品名称及权属证明、具体侵权链接及情况说明。我们在核实后将及时处理相关内容。
联系方式：creator@techub.news
商务合作：contacting@techub.news
点击链接下载 Techub News App，获取最新讯息：
https://www.techub.news/download
（或扫描下方二维码下载）
本网站所提供的所有信息仅供参考之用。
本网站不保证信息的准确性、有效性、及时性和完整性。
任何依赖于本网站所提供信息的行为，均由用户自行承担风险。
Techub News 消息，Liquid AI 宣布推出实时推理引擎 RIPL，用于在实时请求路径中为其 Liquid Foundation Models（LFMs）提供低延迟服务。该引擎可在端到端生成完整响应的时间低于 50 毫秒，并声称即使在峰值负载下持续接收流量，延迟也能保持稳定。RIPL 旨在让开发者无需在生成式模型和延迟预算之间做出取舍。 RIPL 可服务于参数规模从 2.3 亿到 26 亿的 LFM2.5 模型，支持在 NVIDIA H100、H200、B200 和 RTX PRO 6000 GPU 上进行企业级部署。根据 Liquid AI 的测试，其 p95 延迟比在 vLLM 上运行的 Qwen3.5 低 5.6 至 28.4 倍。Liquid AI 表示，Shopify 正在延迟敏感的电商工作负载中部署 LFMs，在生产流量中实现了低于 20 毫秒的推理延迟。（MarkTechPost）
如您认为本页面（或本平台）内容存在侵权或违规情形，请您在发现之日起尽快与我们联系，并提供：权利人姓名/名称及联系方式、被侵权作品名称及权属证明、具体侵权链接及情况说明。我们在核实后将及时处理相关内容。
联系方式：creator@techub.news
商务合作：contacting@techub.news
点击链接下载 Techub News App，获取最新讯息：
https://www.techub.news/download
（或扫描下方二维码下载）
本网站所提供的所有信息仅供参考之用。本网站不保证信息的准确性、有效性、及时性和完整性。任何依赖于本网站所提供信息的行为，均由用户自行承担风险。
