llm-d 1.0 推出异构集群推理路由

人工智能

Google 团队发布了 llm-d 1.0，这是其分布式推理技术栈的首个稳定版本。这个开源的 Kubernetes 原生层，能够将 vLLM 或 SGLang 模型服务器整合为一个协同工作的资源池。团队在 PyTorch Conference North America 上发布了这一版本。它面向自行托管的 Agent 和 RL 工作负载，在这些场景下，轮询负载均衡往往难以奏效。

推理服务栈：Google 报告了一项已公开的基准测试，测试运行在跨区域、拥有 17,000 个节点的 GKE 部署上。

运行环境：基于 Kubernetes，支持 NVIDIA、AMD 或 Intel GPU，以及 Google TPU，底层使用 vLLM 或 SGLang。

性能：厂商报告的性能提升来自缓存感知路由、分层 KV cache 卸载，以及 prefill/decode 分离。

最佳表现：在 Ironwood TPU 的编程工作负载中，首 token 延迟（TTFT）中位数降低超过 85%，吞吐量提升至 2.4 倍。

不足之处：RL 时间片调度只能将加速器工作时间占比提升到 70% 以上，仍有约 30% 的空闲时间。

llm-d 由 Red Hat、IBM、Google Cloud、CoreWeave 和 NVIDIA 于 2025 年共同创立。Red Hat、IBM 和 Google 是主要维护方。项目拥有来自 25 家以上组织的 500 多名贡献者。它于 2026 年 3 月 12 日被 CNCF Sandbox 接纳，采用 Apache 2.0 许可证。

前缀感知路由、KV cache 卸载、prefill/decode 分离、大规模专家并行和批量推理此前就已推出。1.0 版本的重点，是让这些能力能够在生产环境中可靠运行，也就是 IBM 所说的 day 2 operations，即系统上线后的持续运维。

llm-d 1.0 有哪些新功能？

多租户服务质量：能够感知优先级和公平性的流量控制，避免突发流量的 Agent 挤占资源，导致延迟敏感请求得不到处理。

稳定的基础：提供 v1 API 和经过加固的请求处理路径，并已在多个云平台和多种加速器上完成验证。

零停机升级：路由器通过热备实现高可用，同时提供 DisaggregatedSet，协调 prefill 和 decode 资源池的滚动更新。

Agent 感知服务：提供会话感知路由、轮次优先级调度，以及原生的 Responses API 状态支持。

异步推理：llm-d-async-processor 从 Google Cloud Pub/Sub 或 Redis 拉取任务，利用闲置容量执行。

扩展 TPU 支持：TorchTPU 能够在上游 vLLM 和 SGLang 中原生运行 PyTorch 模型。

llm-d 如何路由请求？

llm-d 路由器基于 Kubernetes Gateway API Inference Extension 构建。它会跟踪各个缓存前缀分别位于哪些副本上，再综合负载和预测延迟，选择一个副本。Agent 只需调用一个端点，每一步请求都会被送到已经保存其上下文的位置。

当加速器内存耗尽时，KV cache 会先转移到主机内存，再转移到 SSD 或 Managed Lustre。实现这一过程所使用的组件包括 vLLM 的 OffloadingConnector、Mooncake，或 SGLang 的 HiCache。prefill 和 decode 分别运行在独立的资源池中，因为 prefill 属于计算密集型任务，而 decode 主要受内存带宽限制。

llm-d 1.0 的基准测试说明了什么？

以下所有数据均由 Google 和 llm-d 的采用方自行报告。

Ironwood TPU（TPU 7x）：前缀感知路由结合主机内存卸载，将 TTFT 中位数降低了超过 85%。与普通 Kubernetes Service 相比，吞吐量提升至 2.4 倍。

Gemini 平台：前缀缓存命中率从 35% 翻倍至 70%。编程 Agent 的 TTFT 降低超过 35%。在突发聊天流量下，P95 TTFT 降低超过 50%。

17,000 节点 GKE 基准测试：跨 3 个集群扩展时，吞吐量提升至 2.9 倍，成功率达到 99.9%，额外开销低于 1%。

A3 Mega、70B 模型：对于 50k-token 的 prompt，结合 Lustre 和 CPU RAM 卸载，TTFT 改善约 40%。端到端延迟降低 30%，GPU 小时消耗减少近 60%。

RL 时间片调度：加速器工作时间占比从约 40% 提升至 70% 以上。

采用方也报告了类似的表现。Snap 报告称，前缀缓存命中率最高可达 75% 至 80%。Zenteiq 报告称，每 1,000 颗 TPU v6e 芯片的每日 token 吞吐量，从 14.7 亿提升至 59.7 亿，增幅超过 4 倍。IBM 的一项演示同时为 3,000 个编程 Agent 提供服务，成本仅为 API 定价的五分之一到十分之一。

llm-d 与 NVIDIA Dynamo、AIBrix 相比如何？

特性	llm-d 1.0	NVIDIA Dynamo	AIBrix
最新版本	1.0（2026 年 10 月 20 日）	v1.5.1（2026 年 10 月 6 日）	v0.7.0（2026 年 6 月 16 日）
许可证	Apache 2.0	Apache 2.0	Apache 2.0
治理方式	CNCF Sandbox	NVIDIA 主导（ai-dynamo 组织）	隶属 vLLM 项目组织，起源于 ByteDance
引擎	vLLM、SGLang	SGLang、TensorRT-LLM、vLLM	vLLM、SGLang、TensorRT-LLM
加速器	NVIDIA、AMD、Intel GPU，以及 Google TPU	NVIDIA GPU（Blackwell、Hopper、Ada、Ampere）	混合 GPU（异构推理服务）
缓存感知路由	支持，可感知前缀和负载	支持，可感知 KV cache	支持，使用网关路由
KV cache 层级	HBM、CPU、SSD、Managed Lustre	GPU、CPU、SSD、远程存储（KVBM）	分布式 KV cache
P/D 分离	支持，使用 DisaggregatedSet	支持	支持
代表性结果	17,000 个节点下实现 2.9 倍吞吐量（自行报告）	Qwen3-Coder 480B 的 TTFT 加快 2 倍（Baseten）	未披露

它们并非完全对立的竞争产品。CoreWeave 同时运行 llm-d 和 Dynamo，NVIDIA 也向 llm-d 贡献 Dynamo 组件。

如何部署 llm-d 1.0？

在 Google Cloud 上，GKE Inference Gateway 以托管服务的形式运行 llm-d 路由器。它还支持跨集群、跨区域运行，并提供全局故障转移。KEDA 和 HPA 根据队列深度及预测延迟扩缩资源池。Kueue 负责执行每个模型的配额限制。经过验证的 Helm chart 可以将 TPU 和 GPU 资源池部署在同一个端点后面。

Google 团队建议分阶段推进。首先，在现有 vLLM 部署前加入前缀感知路由；随后，再加入流量控制、分层 KV cache 卸载和 prefill/decode 分离。已公开的运行结果可以在 Prism 上进行比较。

llm-d 1.0 是首个稳定版本，提供 v1 API。

新增功能包括：流量控制、路由器高可用、DisaggregatedSet，以及 Agent 感知路由。

Gemini 的前缀缓存命中率从 35% 翻倍至 70%。

一项拥有 17,000 个节点的 GKE 基准测试，将吞吐量扩展至 2.9 倍。

欢迎查看 Google Cloud 公告、IBM Research 文章、GitHub 仓库和 GKE 文档。所有功劳归于该项目的研究人员。也欢迎在 Twitter 上关注我们，别忘了加入拥有超过 15 万成员的机器学习 SubReddit，并订阅我们的 Newsletter。等等！你用 Telegram 吗？现在也可以在 Telegram 上加入我们了。

Asif Razzaq 是 Marktechpost AI Media Inc. 的 CEO。作为一名富有远见的创业者和工程师，Asif 致力于利用人工智能的潜力造福社会。他最近的一项事业是推出人工智能媒体平台 Marktechpost。该平台深入报道机器学习和深度学习新闻，内容既具备技术严谨性，又能让广泛的读者群体轻松理解，因此脱颖而出。平台每月浏览量超过 200 万，体现了它在读者中的受欢迎程度。