Techub News 消息,Linkerd 背后的公司 Buoyant 发布了开源项目 Kinference,这是一个用于在 Kubernetes 上构建推理平台的控制平面。Kinference 位于 vLLM 工作集群前端,负责路由决策,可应用路由策略、令牌速率限制、KV 缓存感知负载均衡和租户指标。该项目采用 Apache 2.0 许可,当前版本为 v0.1.0-alpha.7。 Buoyant 公布的基准测试显示,在共享前缀工作负载下,使用 Kinference 后,首令牌时间中位数从 6.88 秒降至 0.31 秒,降幅约 95%。在无共享前缀的提示词上则无显著差异。峰值吞吐量在共享前缀场景下提升约 7.4 倍。(MarkTechPost)
本网站所提供的所有信息仅供参考之用。
本网站不保证信息的准确性、有效性、及时性和完整性。
任何依赖于本网站所提供信息的行为,均由用户自行承担风险。
Techub News 消息,Linkerd 背后的公司 Buoyant 发布了开源项目 Kinference,这是一个用于在 Kubernetes 上构建推理平台的控制平面。Kinference 位于 vLLM 工作集群前端,负责路由决策,可应用路由策略、令牌速率限制、KV 缓存感知负载均衡和租户指标。该项目采用 Apache 2.0 许可,当前版本为 v0.1.0-alpha.7。 Buoyant 公布的基准测试显示,在共享前缀工作负载下,使用 Kinference 后,首令牌时间中位数从 6.88 秒降至 0.31 秒,降幅约 95%。在无共享前缀的提示词上则无显著差异。峰值吞吐量在共享前缀场景下提升约 7.4 倍。(MarkTechPost)
如您认为本页面(或本平台)内容存在侵权或违规情形,请您在发现之日起尽快与我们联系,并提供:权利人姓名/名称及联系方式、被侵权作品名称及权属证明、具体侵权链接及情况说明。我们在核实后将及时处理相关内容。
联系方式:creator@techub.news
商务合作:contacting@techub.news
点击链接下载 Techub News App,获取最新讯息:
https://www.techub.news/download
(或扫描下方二维码下载)

如您认为本页面(或本平台)内容存在侵权或违规情形,请您在发现之日起尽快与我们联系,并提供:权利人姓名/名称及联系方式、被侵权作品名称及权属证明、具体侵权链接及情况说明。我们在核实后将及时处理相关内容。
联系方式:creator@techub.news
商务合作:contacting@techub.news
点击链接下载 Techub News App,获取最新讯息:
https://www.techub.news/download
(或扫描下方二维码下载)

本网站所提供的所有信息仅供参考之用。本网站不保证信息的准确性、有效性、及时性和完整性。任何依赖于本网站所提供信息的行为,均由用户自行承担风险。