SageMaker 托管 NVIDIA Dynamo 分布式推理
Amazon SageMaker HyperPod Inference 已支持 NVIDIA Dynamo,提供多节点推理、分离式服务、感知 KV 缓存的路由和自动故障恢复。团队可使用托管编排部署需要跨节点运行的大模型。
AI 深度解读
大模型上线时,显存放不下和长提示词拖慢生成,是两个不同的问题。AWS ML Blog 用 GLM-5.3 的部署示例和两组 Qwen 基准测试,说明 SageMaker HyperPod Inference 接入 NVIDIA Dynamo 后,怎么用跨节点部署解决显存问题,又怎么通过拆分提示词处理和生成来提高吞吐。
两组测试各自回答了一个问题。在指定的延迟和生成速度门槛下,拆分部署的最高单位 GPU 吞吐达到合并部署的 2.05 倍。另一组测试里,跨节点保留了单节点 99.1% 的吞吐。配置可以照着读,数字要连同负载和测试条件一起看。
跨节点和拆分推理分别解决什么问题
GLM-5.3 的 FP8 权重已经超过单台 ml.p5.48xlarge 的 640 GB GPU 显存,这还没算 KV cache 和运行时开销。跨节点部署把一个模型 worker 所需的 GPU 分布到多台机器上,通过张量并行或流水线并行运行。只要一台实例装不下,合并部署和拆分部署都可以跨节点。
拆分推理解决的是另一件事。Prefill 负责读完提示词并建立 KV cache,也就是模型后续生成时会反复用到的注意力中间状态。Decode 利用这些状态逐个生成 token。合并部署让同一个 worker 做两件事,长提示词的计算可能拖慢同时进行的生成。拆分部署让两个 worker 池各做一件事,也允许分别调副本数。代价是两池都要加载完整模型权重,prefill 产生的 KV cache 还要通过 Elastic Fabric Adapter(EFA)交给 decode。
两种拓扑都能用 Dynamo 的 KV-aware 路由。它会同时看哪个 worker 缓存了可复用的前缀,以及该 worker 当前有多忙。命中前缀可以少算一段提示词,缩短首 token 时间。把负载也考虑进去,才能避免一批共享前缀的请求挤到同一个 worker 上。
GLM-5.3 的部署配置怎么读
已经在用 Dynamo 的团队可以带自己的 DynamoGraphDeployment(DGD),继续用上游配方和清单,同时按 HyperPod 集群配置受支持的容器镜像、存储、网络和 Pod 放置。熟悉 HyperPod 的团队可以在 InferenceEndpointConfig(IEC)里写 spec.dynamoSpec,由 HyperPod Inference Operator 生成 DGD。引擎可选 vLLM、SGLang 和 TensorRT-LLM,默认用 vLLM。AWS Deep Learning Containers(DLCs)提供运行时,要切换到受支持的 Dynamo 版本,可以更新附加组件。
示例用 vLLM 跑在 ml.p5.48xlarge 上。合并部署时,spec.replicas: 1 表示一个模型 worker 副本,frontend.replicas: 2 表示两个接收请求的前端副本。nodesPerReplica: 2 和 tensorParallelism: 16 让一个 worker 跨两台实例、使用 16 张 GPU,dynamoSpec.frontend.routingMode: kv-aware 开启前缀感知路由。
要沿用这套前端配置,把 spec.dynamoSpec 下的 aggregation 换成下面的 disaggregation,就能分别给 prefill 和 decode 分配副本。
disaggregation:
prefill:
nodesPerReplica: 2
tensorParallelism: 16
replicas: 1
decode:
nodesPerReplica: 2
tensorParallelism: 16
replicas: 2
看 decode 下的 replicas: 2 时,要连同 nodesPerReplica: 2 一起读。两个 decode 副本占四台实例,加上 prefill 的两台,一共六台。
完整清单还要指定模型来源和端点配置,用 kubectl apply 提交。Grove 协调相关 Pod 和伸缩关系,KAI Scheduler 用组调度(gang scheduling)一起安排一个跨节点 worker 所需的 Pod。HyperPod 监控节点、GPU 和 EFA 的健康状态并替换故障节点,编排组件负责重建受影响的 worker。
等 glm53 端点就绪并配置好聊天补全,就可以用下列命令验证请求能否走通。
aws sagemaker-runtime invoke-endpoint \
--endpoint-name glm53 \
--content-type application/json \
--body '{"model":"zai-org/GLM-5.3","messages":[{"role":"user","content":"Hello"}],"max_tokens":128}' \
--cli-binary-format raw-in-base64-out \
out.json
--body 这一行采用 OpenAI 兼容的请求体格式,调用入口是 SageMaker Runtime API,响应写入 out.json。
2.05 倍吞吐和 99.1% 分别测到了什么
第一组用 AIPerf 测 Qwen3-235B-A22B-FP8,引擎是 TensorRT-LLM,硬件是两台 p5en.48xlarge,合计 16 张 H200。每个请求有 4,000 个输入 token 和 200 个输出 token。作者只保留同时达到两项目标的测点,要求 P90 首 token 延迟低于 1 秒,且每用户生成速度的中位数至少为 50 token/s。符合条件的测点里,拆分部署在并发 80 时达到每 GPU 每秒 207 个输出 token,合并部署在并发 32 时达到每 GPU 每秒 101 个输出 token。2.05 倍比的是两套配置各自在达标范围内的最高吞吐。
第二组仍用 AIPerf,模型是 Qwen3.5-397B-A17B-FP8,引擎换成 vLLM。作者把合并部署的并行配置固定为 TP4 × PP2,也就是 4 路张量并行乘 2 路流水线并行。两边都使用 8 张 H200,一边集中在单台 p5en.48xlarge,另一边在两台实例上各放 4 张。对于前缀复用率高、并发为 32 的 agent 负载,双节点达到每 GPU 每秒 126.4 个输出 token,保留了单节点吞吐的 99.1%。作者特意选了一个单台能装下的模型,才有条件固定模型和并行度,单独比较 GPU 分布在一台还是两台机器上的差异。
我的判断
第一组最有参考价值的是比较方法。面向用户的接口,首 token 等多久、后续输出有多快,会一起影响体验。先用这两项指标筛掉不达标的配置,再比较各自能撑住多大并发,比只看峰值吞吐更贴近实际选型。2.05 倍仍然对应 4,000 输入、200 输出这组负载。团队自己的请求长短、前缀命中率和并发分布变了,prefill 与 decode 的资源配比就得重测。原文也没给出成本对照,单靠每 GPU 吞吐还算不出每次请求省了多少钱。
第二组的 99.1% 有明确的适用条件,包括 H200、EFA 环境、TP4 × PP2 和高前缀复用的流量。它说明在这组条件下跨节点的吞吐损失很小。GLM-5.3 在原文里是部署示例,作者没有公布它的跨节点吞吐。模型能在单实例放下、合并部署也能达到延迟目标时,我会先测合并部署,保留一份容易解释的基线。至于先调拓扑和 worker 分配、再调引擎参数,原文没给调参顺序的对照数据,这条属于经验之谈。
能拿来做什么
- 给 Node 聊天接口准备压测样本时,保留真实的输入长度、输出长度和共享前缀比例。用 AIPerf 扫并发,记录 P90 首 token 延迟和每用户生成速度中位数,再从同时达标的配置里比较单位 GPU 吞吐。
- 给推理端点做容量规划时,把权重、KV cache 和运行时开销都算进去。先找匹配模型、引擎和 GPU 的 Dynamo 配方,受支持的配置可以用 AISimulate 预估并行度和两池规模,再在目标集群上验证。
- 跨节点压测前,确认通信走的是预期的 EFA 路径。采用拆分部署时,把两池之间的 KV cache 传输也纳入检查。每次只改一个配置项,方便定位吞吐或延迟变化来自哪里。