基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
9.0
重磅
AI SCORE
编程提效2026-11-19 05:48

Airbnb 按单任务成本选择编程模型

AWS ML Blog#编程智能体#模型评估#成本管理
Editor brief · 编辑速览

Airbnb 用真实工程任务评估编程智能体,并结合 Amazon Bedrock 的观测数据选择模型。文章还解释了评测与生产开销为何会有偏差,以及如何监控延迟、管理配额和归集支出。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

Airbnb 给编程 Agent 选模型时,会先算做完一项任务要花多少钱,再看上线后工程师实际怎么用。原文最有意思的是,两套数据给出了不同答案。模型 A 在内部评测里得分更高、单任务成本相近,上线几周后,用户平均每周支出却涨到了原来的数倍。

如果你正在给团队选 AI 编程工具的默认模型,这篇最值得拆开的就是这笔账。同样是「更贵」,可能是一次调用读了更多上下文,也可能是工程师发起了更多调用。原因不同,改默认模型、调提示词和压输出上限的效果也不同。

为什么要算完一项任务的总账

Airbnb 每周有数千名工程师和工程相关人员使用 AirChat。AirDev 上的本地开发流程和 AirChat Remote 的云端任务都经 LLM 网关调用 Amazon Bedrock。约五周内有 8 个新模型发布,到 10 月中旬,约三分之二的编程 Agent 请求已经流向这批模型。发布时的跑分很难回答这些模型在 Airbnb 的代码库里会怎么改代码、怎么验证。

一次 Agent 任务可能包含多轮请求,每轮都要重新读取已有上下文。Airbnb 用评测当日的公开标价给四类 token 分别计费,再把任务内所有调用加起来。四类分别是未缓存输入 InputTokenCount、缓存读取 CacheReadInputTokenCount、缓存写入 CacheWriteInputTokenCount 和输出 OutputTokenCount。缓存读取单价通常更低,但多轮反复读取仍能累积成大头。统计平均成本时,低分尝试也算在内。

他们按模型、推理强度和 Agent 客户端同时记录分数与平均成本,再据此设置默认组合和网关允许的最高推理强度。一个实测模型从 low 调到 high,分数只多了 0.8,单任务成本达到原来的 2.5 倍。多出来的分数值不值这笔钱,要看那点提升落在哪类任务上。

一晚评完新模型,难的是提前写好题和评分规则

Airbnb 用真实代码变更、评审意见和工单没写明的决策来出题。每题固定仓库起点、任务提示和评分器。原文里的机器学习题要求判断两个候选模型是否值得替换现网模型,评分器每次都用冻结数据重算答案,所有检查通过才给 1 分。长任务则安排模拟评审多轮追问,再由模型按 8 个加权维度打分,每项 0 到 3 分。如果评审反复救场、自主性只得 0 或 0.5,总分最高只有 25 分,满分 100。

下面这段 Harbor 配置把同一模型的三档推理强度放进同一次评测。

job_name: model-a-effort-sweep
n_attempts: 1                # one attempt per task at each effort
datasets:
  - path: tasks/ml           # each task brings its own grader
agents:
  - name: model-a-low
    model_name: vendor/model-a
    kwargs: {reasoning_effort: low}
  - name: model-a-medium
    model_name: vendor/model-a
    kwargs: {reasoning_effort: medium}
  - name: model-a-high
    model_name: vendor/model-a
    kwargs: {reasoning_effort: high}

n_attempts: 1 表示示例中每道题在每档强度只跑一次。原文没有交代正式评测如何衡量重复运行的波动。Airbnb 用 7 套题把数百项任务分到多个云工作区,几小时内就拿到首批结果,到第二天早上才有全套分数和成本,可据此做上线决定。

评测成本接近,为什么上线后花了几倍的钱

模型 A 用同一个评分器测,得分比旧模型高 3 分多,单任务成本相近。上线后按公开标价回算,A 的单请求成本约为旧模型的 3 倍,人均请求数也约为 3 倍。输出 token 只占每次请求成本的十分之一,大头是反复读取的缓存上下文。作者把这种变化与更长的自主会话联系起来。后来,同一套题上得分更高的新模型只需 A 约六分之一的单任务成本。切换后,原先那批重度用户的首个完整周,主力模型请求量相近,支出约降到原来的七分之一。

延迟也得拆开看。CloudWatch 的 AWS/Bedrock 命名空间提供 InvocationLatency、TimeToFirstToken 和 OutputTokenCount。其中首 token 时间只在 ConverseStream 和 InvokeModelWithResponseStream 上发布。下面的公式用总耗时减去首 token 等待时间,再估算每秒输出 token 数。

OTPS = OutputTokenCount / (InvocationLatency - TimeToFirstToken) * 1000

分母里的时间以毫秒计,所以要乘 1000。原文举的例子里,总延迟涨了 40%,首 token 时间和 OTPS 持平,输出 token 却多了 50%。当时改的是系统提示词,要求回答更详细。提示词改动也该在监控图上留下部署时间。

账单看着有余量,请求为什么还会被限流

bedrock-runtime 在接收请求时先预留未缓存输入、缓存写入和 max_tokens 对应的额度,结束后再结算。缓存读取会计费,但不占每分钟 token 配额。输出在多数模型上按 1:1 扣减,部分模型倍数更高。原文举例,每分钟配额 100 万 token、每分钟 300 个请求,账单口径看着只用了约 30%,按 5:1 的输出扣减率算,已完成请求实际消耗约 77%。

示例中每次请求有 600 个未缓存输入 token,max_tokens 为 4,096,入场先预留 4,696。实际输出的 p99 约为 800。把上限降到 1,024 后,预留变成 1,624,少约 65%。输入和实际输出相同,最终配额消耗也相同。上线后可以用 stopReason 观察截断,用 InvocationThrottles 看限流,并用 EstimatedTPMQuotaUsage 提前设告警。

Airbnb 还为每个主力模型准备至少一个评测表现相当的替代模型,切流前确认容量和配额。费用归属则靠网关聚合记录。AWS 侧可以用 IAM 标签区分团队、用推理配置文件区分应用,或用 Converse 的 requestMetadata 给功能打标。最后一种标签只进调用日志,需要按 token 数回算成本。

我的判断

我赞成把质量和成本放在同一张表上。单看模型公开跑分,很难发现高推理档加价不少、在自己任务上却只提升一点的情况。只看单请求价格,则容易漏掉 Agent 多轮调用和长上下文的开销。用自家仓库和真实评审意见出题,还能看出一个补丁要经过多少人工纠正才能合入。

「隔夜选模型」有明确前提。Airbnb 已经写好了题库、评分器和并行环境,原文没有给出建设与维护的投入,也没有公布不同题型的波动范围。相比之下,小团队先用固定提交和人工盲评做一轮,启动成本更低,代价是规模和复评速度。模型 A 的上线和切换是有数字的观察,但作者没提供随机对照,也没给生产任务的完成率。请求量相近和支出降到七分之一,可以说明那批用户的用量账发生了什么,交付量是否相近仍然未知。

能拿来做什么

  • 从已合并的前端或 Node PR 里挑几道会反复遇到的题,固定修改前的提交和原始需求,用现有测试验收,再把当时的评审意见写成评分项。
  • 给默认模型和每档 reasoning_effort 同时记分数、完整任务成本和是否需要人工接手。遇到比低档更贵、得分还更低的档位,可以直接从配置里停用。
  • 换模型后同时看单请求成本和人均每周请求数。发现延迟上升时,再对照首 token 时间、输出长度和 OTPS,检查变化是否与模型或提示词上线时间吻合。
  • 如果 Bedrock 在配额看似宽裕时仍限流,先按实测输出 p99 检查 max_tokens 是否留得过大。调整后一起看限流和 stopReason,重试使用退避与随机抖动,并设置次数上限。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 AWS ML Blog,原文版权归原作者所有。

阅读原文
上一篇
Exa 用自定义算子加速文档向量化
下一篇
给 Slack 智能体划定权限边界

资讯速览

AWS ML Blog · 2026-11-19 05:48

AI 评分 9.0 / 10

相关标签

#编程智能体#模型评估#成本管理

继续阅读

  • 谷歌发布面向复杂编程任务的 Gemini 4 Neon
  • Exa 用自定义算子加速文档向量化
  • 给 Slack 智能体划定权限边界
  • Qwen4-Max API 开放,输入输出降价约三成
  • GPT‑6.2 两款模型的成本与编程实测