AWS 为跨集群推理提供统一入口
AWS 为 SageMaker HyperPod 增加全局推理网关,在集群内路由之上统一选择健康集群,减少客户端维护的端点。团队注册并发布集群后可获得单一入口,用于缓解集群负载不均和手动切换问题。
AI 深度解读
AWS 给 Amazon SageMaker HyperPod 加了一层 Global Inference Gateway。应用只需要访问一个端点,网关根据容量、排队、地域距离和错误率选集群,再由集群内的网关选中处理请求的 Pod。
如果你的 Node 服务正在维护多个推理地址,这项功能最直接的价值是把选集群和故障切换交给网关。接入前要看清两件事:默认权重会怎么影响流量去向,以及流式响应开始后,网关还能不能替你重试。
20 个端点怎么收敛到 1 个?
AWS 举了一个例子:团队在 2 个 Region 的 5 个集群里提供 4 个模型,客户端最初要跟踪 20 个端点。引入每集群的 Inference Gateway 后,地址减到 5 个,但客户端仍要选集群,遇到故障还得工程师手动改配置。现在,全局网关负责选集群,集群内的 Inference Gateway 继续负责选 Pod,客户端只需要维护 1 个端点。
接入分两步。先在现有网关配置里启用全局路由块,发布需要接入的集群。控制器会在客户自己的 AWS 账户里创建 Network Load Balancer 和 VPC endpoint service。再把集群列表传给 CreateGlobalInferenceGateway,拿到统一端点。只登记同一个 Region 的集群,路由范围就可以限制在该 Region。
有空闲 GPU 的集群一定会接到请求吗?
全局网关会对健康集群逐个打分。可用 KV cache 和 GPU 显存的默认权重是 0.20,队列深度是 0.25,集群与网关所在 Region 的距离是 0.40,近期错误率是 0.15。KV cache 保存生成过程中可复用的中间结果,缓存余量和显存一起反映集群还能承接多少推理负载。
默认配置给地域距离分配了最高权重,所以远端集群即使有空闲 GPU,也要和其他指标一起算分。权重可以调整,总和必须为 1.0。AWS 建议更重视故障韧性的团队提高错误率的权重。原文没有交代各项指标如何换算成分数,因此仅凭权重推不出某次请求会落在哪个集群。
故障切换能接住流式请求吗?
集群故障时,流量转到评分次优的集群,原集群恢复后再逐步回流。单次请求失败时,网关会换一个集群重试 1 次,前提是流式响应还没开始。没有健康集群时返回 503。如果请求的模型在网关配置里的所有调度器中都缺失,则返回 404。
客户端发送 OpenAI 兼容请求,用 SigV4 签名,由 IAM 授权。网关只通过 AWS PrivateLink 把流量送到集群。AWS 表示,网关不会记录或存储提示词和生成内容。提供同一模型的各个集群还应统一身份令牌检查配置,要么全部开启,要么全部关闭,否则同一个请求可能在一个集群通过,切换后却被另一个集群拒绝。
我的判断
端点收敛和故障切换是这次最明确的收益。跟在 Node 服务里维护集群地址、健康状态和切换规则相比,托管网关把这些职责收到了基础设施层。但 20→5→1 是 AWS 的架构示例,原文没有提供延迟、吞吐量或 GPU 利用率的实测对照。默认权重是否适合你的请求分布,也得用自己的负载验证。
成本上还有一处容易漏算。已经发布却未加入任何网关的集群收不到流量,负载均衡器仍在运行并计费。原文没有给出全局网关的单独价格,只提到服务覆盖美洲、欧洲和亚太的 13 个 AWS Region。
能拿来做什么
- 如果 Node 服务还在维护多集群地址,可以先用同一个 Region 的集群验证统一端点,走通 OpenAI 兼容请求、SigV4 签名和 IAM 授权。
- 用实际模型流量观察首字延迟、排队和错误率,再决定是否调整默认权重。接入时顺手核对各集群的模型登记和身份令牌检查配置。
- 在前端聊天界面分别处理
404、503和流式输出中断。流已经开始时,可以保留已收到的内容,并提供手动重试入口。