AWS 为多区域推理集群提供统一入口
SageMaker HyperPod 推出 Global Inference Gateway,通过一个托管端点向同区域或跨区域集群分发推理请求,并自动故障转移。请求通过 AWS PrivateLink 接入,使用 SigV4 和 IAM 认证。
AI 深度解读
Amazon SageMaker HyperPod 的新网关,解决的是一个很具体的问题:某个集群已经排队,另一个集群的 GPU 却还闲着,客户端还得自己决定请求往哪发。Global Inference Gateway 把多个集群收进一个入口,由托管服务选择集群,再交给集群内的网关选择模型 Pod。
它的价值是统一调度已有容量,并接管跨集群故障切换。但「一个入口」不代表延迟、费用和模型部署问题都自动解决。对自建模型推理服务的团队,这篇值得看;只调用第三方模型 API 的开发者,可以重点理解它的架构边界。
一个入口,为什么还要两层路由
原有 Inference Gateway 负责单个 HyperPod 集群内部的调度。它读取键值缓存(KV cache)利用率、队列深度等实时信号,决定请求应该交给哪个 Pod。它知道集群里面谁更空,却无法把请求转给另一个集群。
作者举的例子是:团队在两个 AWS Region 的五个集群上部署四个模型。没有网关时,客户端需要管理 20 个端点;使用集群级网关后,减少到五个,但仍要自己挑集群。
Global Inference Gateway 再往上加一层,将客户端入口收敛为一个。请求先到网关所在 Region 的端点,完成认证和集群选择,再经 AWS 骨干网及 AWS PrivateLink 抵达目标集群,最后由原有 Inference Gateway 选择模型 Pod。
全局网关选集群,集群网关选 Pod,两层各自处理不同范围的负载。
这种拆分保留了集群内部已有的调度逻辑,也把跨集群选择从客户端移到了服务端。集群故障时,客户端无需修改地址。
但「Global」描述的是路由范围,入口仍然是一个区域端点。原文没有说明入口所在 Region 整体不可用时的切换方案,不能据此认定它已经覆盖所有区域级故障。
调度看四个信号,但权重需要自己取舍
网关对每个健康集群评分,把请求交给分数最高的集群。四个信号分别是 KV cache 剩余空间、队列深度、Region 接近程度,以及近期错误率,对应 KVHeadroom、QueueDepth、RegionProximity、ErrorRate。
这比单纯判断服务是否存活更贴近推理负载:服务能响应,不代表它还有足够缓存或较短队列。
每个权重范围是 0.0 到 1.0,设为 0 就关闭该信号。只要自定义,就必须同时提供四项,且总和为 1.0。下面这段配置将近期错误的权重提高到 0.7:
{"Weights": {"KVHeadroom": 0.1, "QueueDepth": 0.1, "RegionProximity": 0.1, "ErrorRate": 0.7}}
重点看 ErrorRate:它提高错误信号在评分中的影响,并不等于请求有 70% 的概率避开某个集群。配置通过 CreateGlobalInferenceGateway 的 Routing 参数传入,之后可以用 UpdateGlobalInferenceGateway 修改。
作者说默认策略更偏向网关所在 Region 附近的集群,同时兼顾容量和错误。不过,给出的原文没有包含默认权重表,也没有展开评分公式、指标更新周期和故障检测时间,无法据此判断具体流量分布。
跨 Region 溢出还有一个实际前提:目标集群必须部署对应模型,并留有余量。多个集群共享同一模型流量时,modelName 要一致;模型还必须出现在 InferenceGatewayConfig 的 scheduler 映射中,否则请求会返回 404。
托管减少了运维,但配置责任还在团队
接入分两步。先在每个集群的 InferenceGatewayConfig 中启用 spec.globalRouting,将集群发布出来;再调用 CreateGlobalInferenceGateway,指定参与路由的集群。没有先发布,创建调用就会失败。
发布时,控制器会在用户账户中创建 Network Load Balancer、VPC endpoint service,并把监听器证书上传到 TLS bucket。AWS 托管路由服务和私有连接,但账户里依然存在需要计费的资源。一个已发布、却没加入任何网关的集群不会收到流量,负载均衡器仍会收费。
调用侧也要适配。网关接受 OpenAI-compatible 请求,但每次请求都必须通过 AWS Signature Version 4(SigV4)签名和 IAM 授权。普通调用与流式调用需要分别授予权限:
{
"Version": "2012-10-17",
"Statement": [{
"Effect": "Allow",
"Action": [
"sagemaker:InvokeGlobalInferenceGateway",
"sagemaker:InvokeGlobalInferenceGatewayWithResponseStream"
],
"Resource": "arn:aws:sagemaker:<region>:<account-id>:global-inference-gateway/<gateway-id>"
}]
}
要看清 Action 中的两个权限:只配置普通调用权限,不足以授权流式调用。需要覆盖账户内全部网关时,资源可写为 global-inference-gateway/*。
对 Node 服务来说,迁移不能只考虑替换 URL,还要接入签名和调用身份。如果集群验证 JWT,需通过 --customer-identity-token 或 X-Amzn-SageMaker-Customer-Identity-Token 请求头传递,不带 Bearer 前缀。按原文说明,未签名 token 返回 403,重复 token 返回 400;它没有进一步解释「重复」的判定细节。承接同一模型的集群应全部开启 JWT 检查,或全部关闭,避免请求结果取决于落在哪个集群。
运维接口也有边界。新增集群调用 AddInferenceGateway,移除调用 RemoveInferenceGateway,两者都在网关所在 Region 执行。移除会停止分配新请求、等待在途请求完成,再删除私有端点,网关至少保留一个集群。
DeleteGlobalInferenceGateway 会停止全局入口,集群自身入口仍继续服务。彻底撤销发布还要设置 globalRouting.enabled: false,并清理执行角色和相关权限。操作多个集群时,每条 kubectl 命令都应带 --context;使用 --resolve-conflicts OVERWRITE 更新配置时,要从完整现有配置开始,避免重置负载均衡或 TLS 设置。
我的判断
我认可它把跨集群路由下沉为平台能力。相比每个客户端维护地址和故障切换逻辑,统一入口更容易保证策略一致;相比自行拼装负载均衡、DNS 和跨 Region 网络,它还接入了推理负载信号。
但文章没有提供吞吐、尾延迟、GPU 利用率或总成本的前后对照。Bagelcode 的 beta 测试证明了较窄的一点:单入口可以跨两个 AWS Region 路由,并在一个集群无法继续服务模型时保持服务。不能由此推导出普遍的性能或成本收益。
跨 Region 转发可能增加网络耗时,原文也未给出价格和完整费用测算。默认私有连接、网关不记录或存储 prompts 与 completions,是明确的产品说明;它们并不代替业务侧的数据流向要求。需要限制地域时,作者建议只把同一 Region 的集群加入网关。
原文列出可用范围为 13 个 AWS Regions:美国东部的 N. Virginia、Ohio,西部的 N. California、Oregon,以及 São Paulo、Frankfurt、Ireland、London、Stockholm、Tokyo、Mumbai、Singapore、Sydney。对国内团队,部署地域是否匹配现有业务,要先于功能便利性考虑。
能拿来做什么
- 如果目前只有一个 HyperPod 集群,继续使用现有 Inference Gateway;增加第二个集群时,再评估统一入口和自动故障切换的收益。
- 如果准备从 Node 服务接入,先验证 SigV4、IAM 普通调用与流式权限,以及 JWT 传递方式,再切换业务请求。
- 如果目标是高峰溢出,先核对各集群的
modelName、scheduler 映射和剩余容量,再调整四项权重,并观察实际延迟和错误表现。 - 如果准备上线,先演练新增、移除和故障切换,确认在途请求处理符合业务要求,同时清点已发布但未使用的负载均衡资源。