Google Cloud 发布 llm-d 1.0 分布式推理栈，支持 TPU 与 GPU 集群

Techub News 消息，Google Cloud 发布了其分布式推理栈 llm-d 的首个稳定版本 1.0。这个开源、Kubernetes 原生的服务层可将 vLLM 或 SGLang 模型服务器整合为协调的推理池，旨在优化自托管 AI 智能体和强化学习工作负载的性能。新版本引入了缓存感知路由、分层 KV 缓存卸载、预填充/解码解耦等特性，据 Google 报告，在 Ironwood TPU 编码工作负载上，中位数首字节时间降低了超过 85%，吞吐量提升了 2.4 倍。llm-d 项目由 Red Hat、IBM、Google Cloud、CoreWeave 和 NVIDIA 于 2025 年创立，目前是 CNCF 沙箱项目，拥有来自超过 25 个组织的 500 多名贡献者。（MarkTechPost）