SageMaker 盘点 13 项推理部署更新
AWS 回顾了 SageMaker AI 在 2026 年推出的另外 13 项推理功能,涵盖配置建议、单 GPU 多模型部署、超出单实例容量的模型服务、跨区域路由和上线后调优。
AI 深度解读
模型上线以后,流量、提示词长度和 LoRA 适配器都可能变,首发时选好的 GPU 配置也会过期。AWS ML Blog 这次复盘 SageMaker Inference 的 2026 年更新,沿着一个假设的客服团队,把重新压测、提高 GPU 利用率、部署大模型、跨区分流和上线后调优串了起来。
前端和全栈工程师最容易拿走的是压测方法。把首字延迟目标变成一个可以重复验证的并发上限,再用线上负载复测,比让 AI 编程助手直接推荐一个实例规格更有依据。
先测出 500 毫秒内能扛多少并发
案例里的团队春季用一个 SageMaker AI 端点部署了 70B 参数模型,实例配置来自 4 月的压测。到了秋季,他们加了 4 个 LoRA(Low-Rank Adaptation)适配器,每条产品线一个,还要求峰值时的首 token 延迟(TTFT)满足 500 毫秒目标。适配器常驻显存会挤压并发空间,再拿 4 月的结果做容量规划,已经回答不了这两个新问题。
推理推荐在 2026 年 4 月以 API 形式推出。7 月加入 SageMaker AI Studio,在 Jobs → Inference optimization 里可选 Interact、Generate、Summarize 或 Custom,再按延迟、吞吐或成本设目标。服务通过 NVIDIA AIPerf 在真实 GPU 上跑候选配置,可用推测解码优化吞吐,或用 GPU 内核调优降低延迟。结果可按 TTFT、token 间延迟、吞吐和成本比较,选好后可直接部署。8 月接入 SageMaker Python SDK v3,从 3.17.0 起可在 Notebook 或 CI 里测线上端点、并行比较 LMI 和 vLLM,也能复用已完成的任务,把部署放到后续阶段。
9 月的两项更新可以连起来用。先把 4 个适配器带进推荐任务,输入可以是 Model Package ARN 或 S3 URI,外部训练的 Hugging Face PEFT 适配器也可走后者。推荐的部署用 Inference Components 分别承载基座模型和各个适配器,便于单独更新。再用 CreateAIWorkloadConfig 和 CreateAIBenchmarkJob 把 search_recipe 设为 max-concurrency-under-sla。AIPerf 根据探测结果缩小并发范围,可同时检查 TTFT、每个输出 token 耗时、端到端延迟和错误率。feasible_max 是通过测试的最高并发,无通过项时返回最低失败并发 infeasible_min。concurrency_min、concurrency_max、search_max_iterations 和 search_initial_points 用来限定搜索范围与开销。
10 月发布的 aws-ai-ml skill 则把这些操作带进 Kiro 等支持 MCP 的编程助手,也能在 SageMaker AI Studio 的 JupyterLab 空间使用。原文称配置约需 10 分钟。助手可以生成实例建议、压测线上端点、比较各项指标的变化百分比,输出 SageMaker Python SDK v3 代码,由工程师审查并用自己的凭证运行。
小模型可以拼一张卡,大模型可以跨多台机器
10 月,SageMaker AI 控制台加入 Inference Components 管理。团队可在同一端点里分别调整模型的 CPU、内存、加速器和副本数,给组件单独配置自动扩缩容,最低缩到 0 个副本。控制台和 SDK、AWS CLI 调用同一套 API。配合 NVIDIA Multi-Instance GPU(MIG),一张物理 GPU 视型号最多可分成 7 个分区,各自拥有独立的 GPU 算力和显存。案例中的 embedding 模型、重排模型和工单分类器就能各占一个分区。宿主机的 CPU、内存、网络和存储仍然共享,实例也继续按整机小时计费,节省来自一台机器能放下更多模型。
权重超过单台实例显存时,11 月托管到 HyperPod Inference 的 NVIDIA Dynamo 可以把同一模型副本分片放到多台节点上。它也可以把处理提示词的 prefill 和逐 token 生成的 decode 放进不同 GPU 池,减少长提示词对其他请求生成阶段的影响。前篇已介绍 Inference Operator v3.2 的阶段拆分,以及托管分层 KV cache 的缓存感知路由。这次 Dynamo 负责分片、阶段拆分和路由,HyperPod 负责 GPU 容量、EFA 网络和故障节点替换。Inference Operator 会一并安装和升级 Dynamo、服务镜像及 Grove、KAI 调度器。
已有 Dynamo 部署可沿用大部分 DynamoGraphDeployment(DGD)清单,已有 HyperPod 端点可在 InferenceEndpointConfig 加 dynamoSpec。托管 Dynamo 支持 vLLM、SGLang 和 TensorRT-LLM,客户端调用 OpenAI 兼容端点。
路由要看缓存和队列,也要管请求能去哪
11 月推出的端点 KV-cache-aware routing 让容器上报缓存创建和淘汰事件,把请求送给持有最长匹配前缀的可用实例。KV cache 保存了模型处理过的上下文状态,前缀命中时就能少算一段。此前的 prefix-aware routing 根据请求历史推测缓存在哪,容器无需改造。新方式能跟踪实际缓存,首版则要求 AWS 验证过的容器。它支持单模型端点和带 LoRA 的 Inference Components,也支持 InvokeEndpoint、InvokeEndpointWithResponseStream 和 OpenAI 兼容的 Completions、Chat Completions 请求。
9 月发布的 HyperPod Inference Gateway 在集群内选 pod。它会综合 KV cache 占用率、排队深度和运行中请求数、前缀命中率、LoRA 适配器是否已驻留,并且允许按负载调权重。原文给了轮询对照。在混合代际 GPU 上,P99 TTFT 最多下降 97%,突发流量下最多下降 98%。这两个数字是给定场景下的最高降幅。
托管端点的 Cross-Region Inference Routing 则把已部署的同模型端点注册到一个路由目标,支持跨区域、跨账号的实时和异步请求。本地优先,本地接不住才回退,通过 AWS PrivateLink 私下连通。端点所有者可以限制回退端点接收的跨区流量,应用也可以限定请求允许进入哪些区域。备用端点和模型副本仍要提前部署。
告警全绿时,首 token 延迟也可能变差
假设团队上线两个月后给客服助手加了检索,平均提示词长度接近翻倍。请求仍能成功,原有告警全绿,TTFT 却比上线时更高。11 月推出的持续性能监控默认开启,可按端点退出。它只看延迟、GPU 利用率和服务配置,达到置信阈值后通过控制台和邮件通知。它会报告延迟漂移、部署之初就存在的配置缺口,以及持续闲置的 GPU。团队可从发现项进入 Studio 针对近期流量重新压测,确认后再应用变更。
同月推出的原地滚动更新只在开头申请一小批新实例。流量迁走后,腾出来的实例继续更新并接手下一批流量。原文以 20 台实例、批大小为 2 举例,更新只需额外申请 2 台,原流程累计要申请 20 台。这项改动会自动用于滚动模型更新。
我的判断
最有参考价值的是把压测和发布后的负载变化接起来。一次压测能回答某组流量和配置能跑到哪里,加入检索或多条产品线之后,就该重新验证。对只维护少量端点的团队,固定几档并发、在 CI 里保存每次压测结果,同样能发现退化。自动搜索的便利在于少做重复试探,尤其是要同时换实例、框架或适配器组合时。原文没有给搜索与线性扫描的完整对照,也没说案例里 500 毫秒目标按哪个百分位验收。
证据也要分开看。Gateway 给了与轮询相比的结果,但没有展开基线负载、硬件组合和常见降幅。已按队列深度分配请求的团队,还需用自己的流量做对照。客服团队、三模型共卡和 20 台滚动更新都是文章里的示例,原文没有提供实际账单、发布耗时或端到端生产结果。它们可以用来推演方案,收益还得看模型能否共置、备用区域有没有余量,以及业务对延迟和数据驻留的要求。
能拿来做什么
- 给流式 AI 页面定首 token 目标时,先明确用 P50 还是 P99 验收,再把并发、提示词长度和 LoRA 组合固定成可复跑的压测输入。
- 在 Notebook 或 CI 里保留实时端点的压测结果。更换实例、服务框架或检索配置后,用同一批代表性请求复测 TTFT、token 间延迟、吞吐和错误率。
- 让 AI 编程助手生成 SageMaker 压测代码时,审查它选的模型、负载和并发边界,再用自己的凭证运行,把实测指标留作部署依据。
- Node 服务接入跨区路由目标时,在请求层落实允许服务的区域,并验证本地容量不足时的回退行为与备用端点的流量上限。