基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
工具产品2026-11-19 11:52

Lambda 托管实例新增 GPU 推理支持

dev.to · AI#AWS#推理部署#GPU
Editor brief · 编辑速览

据材料,AWS 为 Lambda Managed Instances 上的 Event Functions 增加 GPU 支持,可选择多种 EC2 G 系列实例运行推理。部署支持最高 32 GB 的 OCI 镜像,并提供 CUDA、PyTorch、vLLM 和 SGLang 预构建基础镜像。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

AWS 在 2026 年 11 月 18 日宣布,Lambda Managed Instances 上的 Event Functions 可以使用 GPU。团队可以把推理服务打包成容器镜像,交给 Lambda 在带 NVIDIA GPU 的 EC2 实例上运行,省去自建和管理 GPU 集群的工作。

对已经用 Lambda 处理后台任务的团队,这多了一种接入自有模型的方式。最该先看的有两项:模型和运行环境能否装进 32 GB 的镜像,以及业务的延迟要求允许你把最低容量设到多少。

GPU 推理接进了 Lambda 的事件执行方式

这次支持的是由 Lambda Managed Instances 承载的 Event Functions。底层还是 EC2,Lambda 会按选定的实例类型和并发配置准备运行容量。比如,后台 AI 任务收到事件后,可以直接在 GPU 函数里跑推理,团队少维护一套专用集群。

部署产物是最大 32 GB 的 OCI 容器镜像。AWS 为 CUDA、PyTorch、vLLM 和 SGLang 提供预构建基础镜像,可以从所需的运行环境起步,再加入自己的模型服务代码和依赖。模型权重如果也打进镜像,就得和这些内容一起算进 32 GB 的上限。

选实例时,先分清镜像大小、显存和并发

可选机型包括 EC2 G4dn、G5、G6、G6f、Gr6、Gr6f 和 G6e。原文称,单台 G6e 最多配 8 块 NVIDIA L40S,GPU 显存最高 192 GB。做模型选型时,还要看单卡显存以及推理框架怎样分配权重。单台机器的显存数字无法直接回答模型能否装进一张卡。

CPU 和内存可配置,超时最长 90 分钟。原文还列了最高 32 GB 的「临时内存」和 48 并发,但没说清前者具体对应哪项资源,也没交代后者的适用范围。这两个数字需要核实后再用于容量规划。镜像的 32 GB 上限是原文明确给出的另一项限制。

缩到零和保持热容量,是两种容量选择

你可以为指定实例类型预留固定并发,也可以设置最小和最大容量,让平台在范围内自动扩缩。原文称支持缩容到零和按秒计费。费用以 EC2 On-Demand 实例价格为基础,另加 9.75% 的 Lambda Managed Instances 管理费,以及每百万次请求 0.20 美元的请求费。

对间歇触发的任务,能缩到零有助于减少空闲时的实例开销。对用户正在等结果的请求,还得算上实例启动、容器初始化和模型加载可能带来的等待。原文没有给这些阶段的耗时,也没有细讲不同容量配置下的计费行为。

我的判断

这篇资讯最有价值的结论,是已有 Lambda 事件链路可以多接一类 GPU 任务。预构建镜像减少了准备运行环境的工作,托管容量也省掉了管理专用集群的工作。这些是能力和运维方式的变化。原文没有给出冷启动、吞吐、延迟或成本的实测,也没有与第三方模型托管或自建 GPU 服务做对照,关于收益的判断仍停留在场景推演。

如果推理任务本来就是间歇触发、能容忍排队的后台工作,沿用 Lambda 的事件链路有吸引力。持续高负载的在线服务则适合把常驻 GPU 服务一起纳入比较,用同一模型和请求量测尾延迟、吞吐与总费用,再决定部署方式。

能拿来做什么

  • 从已有的 Node.js 后台 AI 任务里挑一个允许等待的场景,保留原来的事件入口,用 GPU Event Function 验证推理环节。
  • 用对应的预构建镜像打包一次,记录最终 OCI 镜像大小。若模型权重随镜像交付,把权重和依赖一起算进 32 GB 的预算。
  • 用同一批请求分别测缩容到零后的首个任务耗时,以及实例已就绪时的延迟与吞吐,再结合按秒计费和两项附加费用估算成本。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
Agent 异步支付如何避免重复扣款
下一篇
禁止读取 .env 为何仍可能泄密

资讯速览

dev.to · AI · 2026-11-19 11:52

AI 评分 8.0 / 10

相关标签

#AWS#推理部署#GPU

继续阅读

  • 用剪贴板把 AI 草稿接入原生甘特图
  • Agent 异步支付如何避免重复扣款
  • 禁止读取 .env 为何仍可能泄密
  • 谷歌推出面向编程代理的 Gemini 4 Neon
  • 编程助手成本怎么比:按用量和额外计费算