Lambda 托管实例新增 GPU 推理支持
据材料,AWS 为 Lambda Managed Instances 上的 Event Functions 增加 GPU 支持,可选择多种 EC2 G 系列实例运行推理。部署支持最高 32 GB 的 OCI 镜像,并提供 CUDA、PyTorch、vLLM 和 SGLang 预构建基础镜像。
AI 深度解读
AWS 在 2026 年 11 月 18 日宣布,Lambda Managed Instances 上的 Event Functions 可以使用 GPU。团队可以把推理服务打包成容器镜像,交给 Lambda 在带 NVIDIA GPU 的 EC2 实例上运行,省去自建和管理 GPU 集群的工作。
对已经用 Lambda 处理后台任务的团队,这多了一种接入自有模型的方式。最该先看的有两项:模型和运行环境能否装进 32 GB 的镜像,以及业务的延迟要求允许你把最低容量设到多少。
GPU 推理接进了 Lambda 的事件执行方式
这次支持的是由 Lambda Managed Instances 承载的 Event Functions。底层还是 EC2,Lambda 会按选定的实例类型和并发配置准备运行容量。比如,后台 AI 任务收到事件后,可以直接在 GPU 函数里跑推理,团队少维护一套专用集群。
部署产物是最大 32 GB 的 OCI 容器镜像。AWS 为 CUDA、PyTorch、vLLM 和 SGLang 提供预构建基础镜像,可以从所需的运行环境起步,再加入自己的模型服务代码和依赖。模型权重如果也打进镜像,就得和这些内容一起算进 32 GB 的上限。
选实例时,先分清镜像大小、显存和并发
可选机型包括 EC2 G4dn、G5、G6、G6f、Gr6、Gr6f 和 G6e。原文称,单台 G6e 最多配 8 块 NVIDIA L40S,GPU 显存最高 192 GB。做模型选型时,还要看单卡显存以及推理框架怎样分配权重。单台机器的显存数字无法直接回答模型能否装进一张卡。
CPU 和内存可配置,超时最长 90 分钟。原文还列了最高 32 GB 的「临时内存」和 48 并发,但没说清前者具体对应哪项资源,也没交代后者的适用范围。这两个数字需要核实后再用于容量规划。镜像的 32 GB 上限是原文明确给出的另一项限制。
缩到零和保持热容量,是两种容量选择
你可以为指定实例类型预留固定并发,也可以设置最小和最大容量,让平台在范围内自动扩缩。原文称支持缩容到零和按秒计费。费用以 EC2 On-Demand 实例价格为基础,另加 9.75% 的 Lambda Managed Instances 管理费,以及每百万次请求 0.20 美元的请求费。
对间歇触发的任务,能缩到零有助于减少空闲时的实例开销。对用户正在等结果的请求,还得算上实例启动、容器初始化和模型加载可能带来的等待。原文没有给这些阶段的耗时,也没有细讲不同容量配置下的计费行为。
我的判断
这篇资讯最有价值的结论,是已有 Lambda 事件链路可以多接一类 GPU 任务。预构建镜像减少了准备运行环境的工作,托管容量也省掉了管理专用集群的工作。这些是能力和运维方式的变化。原文没有给出冷启动、吞吐、延迟或成本的实测,也没有与第三方模型托管或自建 GPU 服务做对照,关于收益的判断仍停留在场景推演。
如果推理任务本来就是间歇触发、能容忍排队的后台工作,沿用 Lambda 的事件链路有吸引力。持续高负载的在线服务则适合把常驻 GPU 服务一起纳入比较,用同一模型和请求量测尾延迟、吞吐与总费用,再决定部署方式。
能拿来做什么
- 从已有的 Node.js 后台 AI 任务里挑一个允许等待的场景,保留原来的事件入口,用 GPU Event Function 验证推理环节。
- 用对应的预构建镜像打包一次,记录最终 OCI 镜像大小。若模型权重随镜像交付,把权重和依赖一起算进 32 GB 的预算。
- 用同一批请求分别测缩容到零后的首个任务耗时,以及实例已就绪时的延迟与吞吐,再结合按秒计费和两项附加费用估算成本。