SageMaker上线模型质量与成本对比榜
JumpStart 在 SageMaker Studio 内提供超过 70 个基础模型的质量、速度和成本对比。文章还介绍基准测试方式,以及从候选模型筛选到部署的流程。
AI 深度解读
Amazon SageMaker JumpStart 有数百个可快速部署的开放权重模型。AWS 在 SageMaker Studio 里加了一张模型榜单,把统一测得的质量分数、推理速度和预估成本摆在一起。它最适合帮你缩小候选范围,最后仍要用自己的业务样本定模型。
对要给产品接入聊天助手、或者要跑批量文档处理的团队,最实用的变化是可以在部署前看清取舍。同一个模型换一种部署配置,首响、吞吐和成本都可能变。选模型时,最好把准备上线的配置一起选进去。
这张榜单把哪些数据放到了同一个口径下
JumpStart 的模型选项很多。以前翻不同团队发布的模型卡,两个分数看着只差几分,背后可能用了不同的提示词、生成设置和硬件。AWS 的做法是自己跑评测。榜单首发覆盖 70+ 个模型,提供方包括 Meta、Google、Qwen、IBM 和 Arcee,首批评测集中在大语言模型(LLM)。
质量分来自三项公开基准,分别是 BIG-Bench Hard、GPQA Diamond 和 MMLU-Pro。基准可以理解成一套题目和评分规则,用相同的评测框架跑,横向对比分数才有意义。三项都是分数越高越好,榜单把它们分开列出。实际比较时,应该在同一项基准里看模型差距。不同基准的题目和难度各有一套,直接把分数放在一起比较容易误判。
这里还有一个影响可比性的细节。推理模型与非推理模型使用不同的生成参数,推理模型的 GPQA Diamond 分数取 10 轮评测的平均值。AWS 也把跨这两类模型的比较视为近似比较。遇到只差一点的分数,可以先按并列处理,原文没有给出足以判断细微差距的波动范围。
速度和成本用的是另一套测法。AWS 把模型按 JumpStart 的部署配置启动成推理端点,再发送标准化测试负载。这样你看到的快慢有明确的对应配置。预估成本则按该配置默认实例类型的按需小时价计算,只涵盖 SageMaker 实例。数据传输、存储、推理组件,以及 Reserved Instances 和 AWS Savings Plans 等折扣都在这个数字之外。做预算时,AWS 建议用 AWS Pricing Calculator 另算。
为什么要先选负载,再看速度和价格
在 SageMaker Studio 的 Models 页面,Leaderboard 和 Categories、All models 并列,打开就能看榜单。它共用搜索栏和筛选器,也有独立 URL,可以收藏或发给团队。真正开始选时,先用许可证、提供方、输入和输出模态缩小范围。业务要求允许商用,或者必须接收某种类型的输入,这些条件可以在看分前就处理掉。
接下来有两个菜单。View benchmarks for your use case 让你选最贴近业务的负载类型,默认是 Max Context。Optimized for 决定看这个负载下的哪一套部署配置,默认是 Balanced。客户要在聊天界面等回复,可以先看 Latency optimized。文档留到夜里批量处理,可以先看 Throughput optimized 或 Cost optimized。切换这两项,表里的性能和成本会更新,三项公开基准的质量分保持原样。
表格每列用蓝色深浅标出表现,颜色越深,代表该模型在这一列的结果越好。可以按关注的指标排序,用齿轮隐藏暂时用不到的列。横向滚动时模型名会固定,表格边缘的渐隐提示后面还有列。选中模型后可以进入详情页部署,支持无服务器定制的模型还会提供 Customize。开始部署前,要有 SageMaker Studio 的访问权限和 JumpStart 模型的部署权限。
部署时记得对上榜时的配置。如果你换了用途或优化目标,原先那行的时延、吞吐和成本就不能直接拿来估算,实际输出质量也可能变。界面上的质量分保持原样,说的是榜单展示的公开基准成绩。你自己的提示词跑得怎么样,还要到准备上线的端点上确认。
帮助台助手该怎么从榜单里挑
AWS 举了一个内部帮助台的例子。员工提问后希望尽快拿到准确答案,回复还得遵守固定格式。团队同时要求模型可商用、成本好估。按许可证筛选,选一个接近聊天的用途,再切到 Latency optimized,候选就能按这个场景来比。
例子里,Model A 的知识分最高,成本也最高,首次响应最慢。Model B 的知识分接近,处理多步推理也够用,还能跑在更小、更便宜的实例上。对这个帮助台,原文建议先部署 Model B,用真实工单里的问题测一遍。Model C 可以作为成本更低的备选,前提是它也能满足质量要求。
Model A、Model B 和 Model C 是说明选型过程用的示例。原文没有给出这三个候选的具体分数、延迟或费用,也没有给出真实工单上的对照结果。可以借用它的决策顺序,至于该为更快的首响放弃多少公开基准分,需要用自己的数据来定。
我的判断
我认可 AWS 把部署性能和模型质量分开列。光看模型卡,很容易在选完模型之后才发现,榜单上的数字对应的是另一套部署条件。JumpStart 这张表更适合已经打算在 SageMaker 上部署的团队,因为测试用的配置就是平台上可以选择的配置。如果团队最终用的是其他推理环境,质量分仍能用来初筛,速度和成本则要按自己的环境重测。
把三个分数都摊开,比给一份综合排名更方便做取舍。公共题库能测一般能力,帮助台真正关心的还有回答是否符合内部资料、能不能遵守固定格式。AWS 建议把前两三个候选都拿去跑自己的数据和提示词,这属于选型经验。原文没有提供对照数据,能证明照这个榜单选出的模型在某类业务里一定更好。
覆盖面也会影响候选名单。JumpStart 有数百个开放权重模型,榜单首发只有 70+ 个进入评测范围,没分数可能只是还没测到。AWS 正在探索支持私有模型中心,以及物体检测、文本嵌入、图像理解等任务的榜单。原文把这些列为探索方向,没给上线时间。
能拿来做什么
- 给前端产品加聊天助手时,先按商用许可和输入输出模态筛选,再用
Latency optimized找出两三个候选。用同一批真实问题测试首次响应时间、答案准确性和回复格式。 - 用 Node 跑夜间文档处理时,先对比
Throughput optimized和Cost optimized。挑出候选后,用同一批文档验证整批能否在规定窗口内跑完,再按实际部署配置核算费用。 - 在团队的模型选型记录里,把用途、优化目标和实例配置跟模型名一起记下来。准备上线或更换配置时,用同样的提示词和样本复测,方便解释时延、质量和费用为什么变了。