SageMaker 支持跨区域推理请求路由
SageMaker AI 的跨区域推理路由,为已有的多区域、多账户端点和推理组件提供统一调用路径。路由优先使用本区域,在本地无法可靠服务时将新请求转向其他目标。
AI 深度解读
SageMaker AI 新增的跨 Region 推理路由,解决的是一个具体问题:本地 GPU 不够、请求开始失败时,怎样把流量切到其他 Region,并在恢复后平稳切回来。应用改为调用 inference router,目的地选择和部分重试交给 AWS。
它能减少自建故障转移逻辑,但前提是其他 Region 已经部署好模型、具备接流量的能力。对维护 AI 接口的前端和全栈团队,更值得看清的是它的判断依据、重试边界,以及流式输出缺席带来的限制。
它接管请求分发,但备用容量还得自己准备
原来的 SageMaker AI endpoint 属于一个 Region、一个 AWS account。本地扩容拿不到所需实例时,即使其他 Region 有同一模型和空闲容量,应用也得自己发现故障、切换目的地、处理权限,再决定何时回切。
新增的 inference router 是一个区域级资源。它下面的 routing target 代表一个逻辑模型,例如 fraud-model;每个 target 注册多个 destination,通过完整 ARN 标识具体 endpoint 或 inference component。一个 router 可以服务多个模型,各自独立故障转移。
实时 target 可以混合注册 endpoint 和 inference component,跨 Region、跨 account 都可以;异步 target 只能注册异步 endpoint。
路由器提供的是已有容量之间的调度,不会替你创建备用容量。
模型部署、容器镜像、实例池和自动扩缩容仍由团队维护,原有 InvokeEndpoint 也继续可用。InferenceId 和 CustomAttributes 会透传。想优先使用另一个 Region,需要在那里创建 router。
跨 account 也没有绕过权限检查。endpoint 所属账号需要资源策略授权,并可用 sagemaker:SourceInferenceRouterArn 限定某个 router;调用方同时需要 router 和各 destination 的调用权限。读取状态还要有 sagemaker:DescribeEndpoint,涉及 inference component 时需要 sagemaker:DescribeInferenceComponent。原文强调,漏掉状态读取授权,目的地可能显示为 unknown。
它按失败情况切流,不会主动追逐低延迟
router 优先使用自己所在 Region 的健康目的地,有多个时均匀分发。健康评分来自目的地所在 Region 最近的请求:5xx、限流、超时会扣分,平台健康检查失败等错误影响最大;无效输入不扣分,因为换个 Region 通常还是会失败。
模型延迟不参与评分。一个 endpoint 即使响应很慢,只要持续成功,仍会保留流量。实例启动失败、实际实例数低于扩容目标等信号可以加快反应,但必须先出现请求失败。
目的地分为 healthy、overloaded、degraded 三种状态,分别对应正常服务、迁走部分流量、迁走大部分流量。degraded 仍保留少量请求,用来探测恢复。
持续出错后,大约一分钟开始迁移,低流量目的地可能更慢。远端流量按健康程度分配,不能自设权重或回退顺序;恢复后用数分钟逐步回切,已经执行中的请求不受打断。远端健康信息过期,也不会单凭监控缺失触发跨区迁移。
实时重试尤其需要看清:只有确定模型没有执行时,router 才换一个目的地重试一次,例如限流、503、模型未就绪、跨区额度拒绝或访问被拒绝。超时、500 和模型错误都不重试。异步请求则按本地优先的顺序,对每个合资格目的地尝试一次,直到被接收。
原文报告了测试模型在本地过载、跨账号权限失去与恢复期间的路由变化,也验证了删除本地 inference component 后流量转移、恢复后回切。但没有给出吞吐对照、尾延迟或故障恢复时间分布,不能据此推算自己业务的可用性收益。
接入不复杂,真正要算的是接收端余量
示例把 Qwen3-4B 通过 vLLM 容器部署到 US East (Ohio) 和 US West (Oregon),然后注册两个 inference component:
sm = boto3.client("sagemaker", region_name="us-east-2")
rt = boto3.client("sagemaker-inference-router-runtime", region_name="us-east-2")
sm.create_inference_router(
InferenceRouterName="my-router",
RoutingTargets=[{
"Name": "my-model",
"Destinations": [
{"ResourceArn": "arn:aws:sagemaker:us-east-2:111122223333:inference-component/ic-us-east-2"},
{"ResourceArn": "arn:aws:sagemaker:us-west-2:111122223333:inference-component/ic-us-west-2"},
],
}],
)
要看 region_name="us-east-2":它决定 router 优先使用 Ohio。发送流量前,先用 DescribeInferenceRouter 确认每个 destination 的 RoutingStatus 都是 Routable。
业务调用改成下面这样,payload 保持原先的形式:
resp = rt.invoke_inference_router(
InferenceRouterName="my-router",
RoutingTargetName="my-model",
ContentType="application/json",
Body=json.dumps({"messages": [{"role": "user", "content": "Who are you?"}]}),
)
print("Served by:", resp["InvokedRoutedResourceArn"])
print("Reason: ", resp["RoutingReason"])
最后两行应进入应用日志:前者记录实际执行位置,后者说明路由原因,包括 local-preferred、capacity-available、failover、only-healthy。异步调用使用 InvokeInferenceRouterAsync,提交 Amazon S3 输入位置,返回 InferenceId、输出和失败位置,但响应不含实际执行目的地,需要查 CloudWatch。
接收端默认不限制跨区流量。若备用 Region 已经服务自己的用户,溢出请求可能把它一起压垮。可以在 CreateEndpointConfig 中设置 CrossRegionTrafficConfig:MaxInvocationsPerSecondPerInstance 填压测得到的单实例吞吐,MaxCrossRegionPercentPerEndpoint 填允许跨区使用的比例。
原文的例子是单实例每秒 50 次调用、20% 跨区比例、4 个实例,跨区上限就是每秒 40 次;扩容增加 2 个实例后,上限变成每秒 60 次。同一 endpoint 下所有 inference component 共用额度。本地请求不受这个额度限制,但这也不是完整的性能隔离保证。
产品边界同样直接:不支持 response streaming,实时请求须在大约一分钟内完成,payload 上限 6 MB;每个 router 最多 20 个 target,每个 target 最多 10 个 destination。PrivateLink 支持 IPv4,不支持 IPv6/dual-stack。
我的判断
这个方案适合已经使用 SageMaker AI、已经部署多 Region 模型,又不想持续维护路由逻辑的团队。它把安全重试、渐进回切、跨账号权限和执行位置记录放在一起,比单纯捕获异常后换 URL 完整。
但它不是最低延迟调度器,也不是整个入口的容灾方案。router 自身属于一个 Region;该 Region 受损,调用仍可能失败。原文建议在两个 Region 建 router,由客户端切换。零副本的备用 inference component 也不能当成随时可用的容量,少量探测请求会一直失败,直到副本启动。
相较自建网关,它减少运维代码,却让出了权重、回退顺序和健康阈值的控制权。跨供应商选择仍需要自己的 gateway。对于依赖 token 流式展示的聊天产品,不支持 streaming 是明显的适用性限制。
费用方面,路由本身没有额外收费,endpoint、inference component 和 CloudWatch 指标及查询照常计费。原文称该能力发布时已在多数商业 Region 正式可用,排除 me-south-1 和 me-central-1,但没有给出日历日期。它对可靠性收益的描述仍应视为产品机制加示例验证,不能替代团队自己的故障演练。
能拿来做什么
- 如果 Node 服务正在直接调用多个 SageMaker endpoint,可以先选一个非流式模型接入 router,把实际目的地和路由原因写入请求日志,再验证过载、权限失效和恢复过程。
- 给备用 Region 做真实 payload 压测,配置跨区额度和扩容余量,并确认至少一个副本常驻,或验证自动扩容能及时提供容量。
- 收紧业务层的自动重试。尤其是大约一分钟后返回的 service-unavailable,模型可能已经执行,不应直接再调用一次。
- 按数据允许处理的地域注册 destination;美国和欧洲数据可分设 router,同时为 router 所在 Region 失效准备第二入口。