基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
工具产品2026-11-20 05:28

SageMaker 增加推理性能与成本巡检

AWS ML Blog#AWS#模型推理#成本优化
Editor brief · 编辑速览

SageMaker AI 默认监控生成式 AI 推理端点的延迟、GPU 利用率和服务配置,并通过 AWS Health 提供优化发现。开发者可进入 SageMaker Studio 对替代方案进行基准测试,再决定是否变更。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

推理服务上线时调得合适,不代表一个月后仍然合适。检索上下文变长、流量变化、vLLM 更新,都可能让延迟和账单慢慢偏离预期,而服务依然正常运行,原来的告警也没有响。

AWS 这次给 Amazon SageMaker AI 加上的,是持续发现这些变化的能力:找出延迟漂移、闲置 GPU 和漏掉的优化,再引导团队做独立基准测试。它值得关注的地方,是把「发现问题」到「拿数据决定是否修改配置」接了起来,同时保留人工确认。

服务没报错,为什么还需要重新调优

传统告警通常回答「有没有越线」,这项功能还会问「和自己过去相比,是不是变差了」。

它默认监控使用 vLLM serving container 和 GPU 实例的 SageMaker AI 推理端点,无须额外配置,但这个适用范围不能扩大成所有推理服务。监控关注三类发现:

  • 延迟漂移:端到端延迟或首 token 时间(time to first token,TTFT)的中位数,也就是 p50,相比前一周上升。
  • 容量闲置:已经付费的 GPU 长时间没有充分使用。
  • 配置缺口:容器缺少较新的性能改进或安全补丁,或者模型支持推测解码、GPU kernel tuning 等优化,端点却没有启用。

作者用聊天助手接入检索的场景解释第一类问题:每次请求携带更多检索内容,prompt 变长,用户开始更久地等待首个 token,但服务没有故障。系统比较端点自己的历史指标,因此团队不用事先设定固定阈值。

文中的通知示例显示,首 token 时间中位数环比增加约 200 ms。不过,原文没有公开「上升多少才触发」的具体规则,也没有解释如何处理流量结构变化。

这里发现的是值得调查的变化,还不是已经确认的故障原因。

通知通过 AWS Health 和邮件送达。同一端点同时最多一条通知,合并其适用的发现;账户一次收到的数量也有限制,但原文没有给出具体上限。通知还区分 AWS Region,需要切到端点所在 Region 查看。

优化有没有用,要拿当前流量测出来

发现某项优化没有启用,不代表打开它一定更快。

作者给出的代码补全场景中,模型和容器都支持推测解码(speculative decoding),但端点沿用默认配置。它通过预测后续 token 并验证来争取更快生成,实际收益仍取决于请求并发,以及输入、输出的长度。原文因此要求用近期流量特征比较启用前后的结果,并提醒高峰和低峰可能得出不同结论。

延迟漂移场景则会测试张量并行设置,以及不同实例类型或规格。比较指标包括响应时间、吞吐量和每百万 token 成本,而不只是挑延迟最低的选项。

闲置 GPU 也遵循同样逻辑。文中的例子是:一周内大部分时间,即使最忙的 GPU,利用率也只有 12% 或更低。系统建议在观测到的峰值流量下测试更便宜、更小的实例,但团队仍然可以保留原配置,因为未来增长需要余量。

这几个案例共同强调了一件事:历史流量能支持当前决策,却不能替团队决定未来需要多少容量。

原文没有给出优化后的延迟、吞吐量或节省金额,也没有完整的前后对照结果。这些是功能演示场景,不能当作已经验证过的收益承诺。

Agent 把测试准备好,生产变更仍要人决定

整套流程分成四步:observe、notify、recommend、decide,即观测、通知、推荐和决策。

默认开启的是监控。它读取端点级聚合延迟、容量指标和服务配置,不读取请求与响应内容,也不增加 GPU 成本。通知中的估算会明确标注,此时尚未运行基准测试。

从通知选择 Open in SageMaker AI,会进入 Amazon SageMaker Studio 的 JupyterLab space,展示将交给 agentic chat 的提示。端点与观测到的流量信息已经填好,减少手工整理配置的工作。

从通知进入 Studio 后展示的待执行提示

选择 Run 后,Agent 会概括发现、复述任务,并在行动前请求确认。

Agent 说明发现并在行动前请求确认

确认后,它生成 notebook,通过 SageMaker Python SDK 创建 inference recommendation job。模型来自当前端点,流量画像来自指标;任务还关联 AWS Health 事件,便于追溯。每一步拆成独立单元格,可以先检查、修改,再执行。

下面的截图展示了记录任务信息,并对三个候选实例类型启动推荐任务的 notebook。

Notebook 记录任务信息并测试三个候选实例类型

基准测试运行在独立计算资源上,不会直接改变线上端点,但会按标准 SageMaker AI 价格计费,也可以使用已有的 ML reservation。启动前还需要 SageMaker Studio domain、相应 IAM 权限、AWS Health 与 AWS User Notifications 访问权限,以及足够的实例服务配额。

监控不增加 GPU 成本,不等于后续测试免费。

拿到结果后,作者建议检查配置差异和三项指标,先应用到一个生产 variant,并保留旧配置供回滚。暂缓或忽略建议也是正常结果,通知仍留在 AWS Health 事件历史里。

通知渠道可以在 AWS User Notifications 中管理,也可以选择定期运行推荐,例如每月一次。退出监控则需要在模型容器的 Environment map 中设置 OPT_OUT_TRACKING,值可以自行指定;调用 CreateModel 时,可以放在 PrimaryContainer 或模型的其他容器上。端点中任一容器带有这个变量,就会停止该端点的监控遥测,包括引擎指标、GPU 指标和启动配置详情,也不再发送通知。

测试结束后,还要删除测试端点等资源、按需清理 Amazon S3 中的基准测试产物,并恢复测试配置,避免持续计费。

我的判断

这套设计最合理的地方,是没有把「检测到变化」直接连接到「自动改生产」。尤其是模型推理,同一个优化在不同输入长度、并发和流量峰值下,收益可能完全不同。让 Agent 准备可检查的 notebook,再用独立资源比较,比单凭配置建议做决定更稳妥。

它相对固定阈值告警的价值,是能发现尚未越过红线的缓慢退化;相对手工压测的价值,是减少从通知、配置收集到创建测试任务的操作成本。原文没有提供节省了多少运维时间的对照数据,所以效率提升目前只能作为流程上的合理判断。

局限也很清楚。只看 p50,不能替代对长尾请求的关注;按周比较,也不能单独承担突发故障监控。近期流量画像是否覆盖业务的重要场景、基准测试如何构造输入,原文都没有讲透。不读取请求正文有明确的隐私边界,但也不能据此推断测试一定充分代表真实业务。

对于已经使用 SageMaker AI、vLLM 和 GPU 端点的团队,这是一项有实际入口的运维改进。对于调用第三方模型 API 的前端或 Node 应用,它不是能够直接开启的通用优化开关。

能拿来做什么

  • 如果你维护符合条件的 SageMaker AI 端点,可以把 AWS Health 通知接入日常巡检;收到发现后先检查业务变化,再决定是否付费跑基准测试。
  • 如果聊天应用刚接入检索或明显加长上下文,可以同时关注 TTFT 和端到端延迟,并用代表性高峰流量比较配置,避免只看平均响应表现。
  • 如果要为代码补全模型启用 speculative decoding,可以把不同并发、输入长度和输出长度纳入比较;缺少实测收益时,保留当前配置也是合理选择。
  • 如果低利用率提示你缩小 GPU 规格,可以把测试成本、未来容量余量和回滚准备一起纳入决策,先在一个生产 variant 上应用已验证的方案。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 AWS ML Blog,原文版权归原作者所有。

阅读原文
上一篇
防智能体滥用,应把关额度发放环节
下一篇
OpenAI内部智能体偏离任务筹划邮件外传

资讯速览

AWS ML Blog · 2026-11-20 05:28

AI 评分 8.0 / 10

相关标签

#AWS#模型推理#成本优化

继续阅读

  • Meta 让模型自编记忆提示并蒸馏入权重
  • 防智能体滥用,应把关额度发放环节
  • OpenAI内部智能体偏离任务筹划邮件外传
  • 桌面Agent如何划分工具权限与审批
  • Celery 超时重投导致大模型任务重复执行