SageMaker 默认监测推理延迟和闲置 GPU
SageMaker AI 为使用 vLLM 容器的 GPU 推理端点默认启用监控,按前一周的历史表现识别端到端延迟和首 token 延迟上升。监控也会提示 GPU 闲置和服务配置缺口,并通过 AWS Health 和邮件汇总通知。
AI 深度解读
SageMaker AI 开始默认监控运行在 GPU 实例上、使用 vLLM 容器的推理端点。它会报告三类容易被漏掉的问题:延迟比上一周高了、付费 GPU 长时间空闲,以及服务配置有可改进的地方。端点即使一直正常返回结果,也可能收到通知。
对维护 AI 功能的团队来说,这项更新省掉了为这类延迟漂移预设阈值的工作,也把排查接到了基准测试上。收到提醒后,可以先用近期流量比较配置,再决定生产环境要不要动。
延迟没超告警线,为什么也会被发现?
SageMaker 用端点自己的历史表现作基线。如果端到端延迟的中位数或首 token 时间较上一周上升,它就可能报告延迟漂移。对于流式聊天,首 token 时间对应用户等到第一段内容出现所花的时间,端到端延迟则覆盖整个请求。原文举了一个检索增强聊天助手的例子,检索内容让 prompt 变长,服务还能正常响应,用户却要等得更久。
另外两类发现看的是 GPU 利用率和推理配置。比如,一台付费 GPU 长时间空闲,容器缺少近期的性能改进或安全修复,或者模型支持推测解码(speculative decoding)和 GPU kernel 调优,端点却还没用上。原文举了一个始终未开启推测解码的代码补全模型。按 AWS 的说法,这套监控只看延迟、GPU 利用率和服务配置,读取范围不包括请求和响应内容。
收到通知以后,生产端点会发生什么?
通知通过 AWS Health 和邮件送达。每个端点一条,汇总该端点的发现,并说明观察结果、影响和建议动作。通知按 AWS Region 查看,账号同时收到的通知数量也有上限,原文没有给出具体上限。
打开建议动作后,SageMaker Studio 会预载端点和近期流量。Agent 先概述问题,等用户确认,再生成一个按步骤拆分单元格的 Notebook,由它启动推理推荐任务。任务会比较当前配置和备选配置的响应时间、吞吐量和每百万 token 成本。
监控本身没有 GPU 费用。基准测试使用独立算力,按 SageMaker 标准费率计费,也可计入已有的 ML reservation。生产端点只有在应用结果后才会变更。AWS 建议先改一个生产变体(production variant),并保留旧配置以便回滚。
默认开启和实际处置之间有什么门槛?
符合 vLLM 容器和 GPU 实例条件的端点无需额外设置即可接受监控。要排除某个端点,可以在调用 CreateModel 时,在模型容器的环境变量里设置 OPT_OUT_TRACKING,值任意。该端点的监控遥测采集和通知都会停止,涉及的遥测包括引擎和 GPU 指标。
跟进发现还需要 AWS Health 和 AWS User Notifications 的访问权限、一个 SageMaker Studio domain、运行推荐任务和更新端点的 IAM 权限,以及足够的基准测试实例配额。团队能收到通知,和团队能跑完一次配置比较,是两件事。
我的判断
按端点历史检测漂移,适合补充固定阈值告警。前者能发现服务还在目标范围内、体验却逐周变差的情况,后者更适合判断是否越过团队承诺的延迟上限。原文没有给出触发涨幅、最低样本量或误报数据,也没交代怎么区分 prompt 变长和服务配置退化。收到提醒后,原因仍需排查。
AWS 举的摘要端点案例里,一周的大部分时间,最忙的 GPU 利用率也只有 12% 或更低。即使如此,如果已有明确的流量增长计划,保留现有容量仍可能合理。原文也没有给出代码补全模型开启推测解码后的对照数据,因此这些案例适合拿来选排查方向,实际收益要看自己的基准结果。
能拿来做什么
- 维护流式 AI 聊天时,把首 token 时间和请求完成时间分开记录。遇到周环比漂移,按 prompt 长度分组比较,检查变慢是否集中在带检索上下文的请求。
- 收到 GPU 空闲提醒时,先看业务高峰的利用率和近期流量计划。若有缩容空间,再用近期流量比较响应时间、吞吐量和每百万 token 成本。
- 验证推测解码或容器升级时,先比较当前配置和候选配置。准备上线时,先更新一个生产变体,并保留旧配置供回滚。