Airbnb 按单任务成本选择编程模型
Airbnb 用真实工程任务评估编程智能体,并结合 Amazon Bedrock 的观测数据选择模型。文章还解释了评测与生产开销为何会有偏差,以及如何监控延迟、管理配额和归集支出。
AI 深度解读
Airbnb 给编程 Agent 选模型时,会先算做完一项任务要花多少钱,再看上线后工程师实际怎么用。原文最有意思的是,两套数据给出了不同答案。模型 A 在内部评测里得分更高、单任务成本相近,上线几周后,用户平均每周支出却涨到了原来的数倍。
如果你正在给团队选 AI 编程工具的默认模型,这篇最值得拆开的就是这笔账。同样是「更贵」,可能是一次调用读了更多上下文,也可能是工程师发起了更多调用。原因不同,改默认模型、调提示词和压输出上限的效果也不同。
为什么要算完一项任务的总账
Airbnb 每周有数千名工程师和工程相关人员使用 AirChat。AirDev 上的本地开发流程和 AirChat Remote 的云端任务都经 LLM 网关调用 Amazon Bedrock。约五周内有 8 个新模型发布,到 10 月中旬,约三分之二的编程 Agent 请求已经流向这批模型。发布时的跑分很难回答这些模型在 Airbnb 的代码库里会怎么改代码、怎么验证。
一次 Agent 任务可能包含多轮请求,每轮都要重新读取已有上下文。Airbnb 用评测当日的公开标价给四类 token 分别计费,再把任务内所有调用加起来。四类分别是未缓存输入 InputTokenCount、缓存读取 CacheReadInputTokenCount、缓存写入 CacheWriteInputTokenCount 和输出 OutputTokenCount。缓存读取单价通常更低,但多轮反复读取仍能累积成大头。统计平均成本时,低分尝试也算在内。
他们按模型、推理强度和 Agent 客户端同时记录分数与平均成本,再据此设置默认组合和网关允许的最高推理强度。一个实测模型从 low 调到 high,分数只多了 0.8,单任务成本达到原来的 2.5 倍。多出来的分数值不值这笔钱,要看那点提升落在哪类任务上。
一晚评完新模型,难的是提前写好题和评分规则
Airbnb 用真实代码变更、评审意见和工单没写明的决策来出题。每题固定仓库起点、任务提示和评分器。原文里的机器学习题要求判断两个候选模型是否值得替换现网模型,评分器每次都用冻结数据重算答案,所有检查通过才给 1 分。长任务则安排模拟评审多轮追问,再由模型按 8 个加权维度打分,每项 0 到 3 分。如果评审反复救场、自主性只得 0 或 0.5,总分最高只有 25 分,满分 100。
下面这段 Harbor 配置把同一模型的三档推理强度放进同一次评测。
job_name: model-a-effort-sweep
n_attempts: 1 # one attempt per task at each effort
datasets:
- path: tasks/ml # each task brings its own grader
agents:
- name: model-a-low
model_name: vendor/model-a
kwargs: {reasoning_effort: low}
- name: model-a-medium
model_name: vendor/model-a
kwargs: {reasoning_effort: medium}
- name: model-a-high
model_name: vendor/model-a
kwargs: {reasoning_effort: high}
n_attempts: 1 表示示例中每道题在每档强度只跑一次。原文没有交代正式评测如何衡量重复运行的波动。Airbnb 用 7 套题把数百项任务分到多个云工作区,几小时内就拿到首批结果,到第二天早上才有全套分数和成本,可据此做上线决定。
评测成本接近,为什么上线后花了几倍的钱
模型 A 用同一个评分器测,得分比旧模型高 3 分多,单任务成本相近。上线后按公开标价回算,A 的单请求成本约为旧模型的 3 倍,人均请求数也约为 3 倍。输出 token 只占每次请求成本的十分之一,大头是反复读取的缓存上下文。作者把这种变化与更长的自主会话联系起来。后来,同一套题上得分更高的新模型只需 A 约六分之一的单任务成本。切换后,原先那批重度用户的首个完整周,主力模型请求量相近,支出约降到原来的七分之一。
延迟也得拆开看。CloudWatch 的 AWS/Bedrock 命名空间提供 InvocationLatency、TimeToFirstToken 和 OutputTokenCount。其中首 token 时间只在 ConverseStream 和 InvokeModelWithResponseStream 上发布。下面的公式用总耗时减去首 token 等待时间,再估算每秒输出 token 数。
OTPS = OutputTokenCount / (InvocationLatency - TimeToFirstToken) * 1000
分母里的时间以毫秒计,所以要乘 1000。原文举的例子里,总延迟涨了 40%,首 token 时间和 OTPS 持平,输出 token 却多了 50%。当时改的是系统提示词,要求回答更详细。提示词改动也该在监控图上留下部署时间。
账单看着有余量,请求为什么还会被限流
bedrock-runtime 在接收请求时先预留未缓存输入、缓存写入和 max_tokens 对应的额度,结束后再结算。缓存读取会计费,但不占每分钟 token 配额。输出在多数模型上按 1:1 扣减,部分模型倍数更高。原文举例,每分钟配额 100 万 token、每分钟 300 个请求,账单口径看着只用了约 30%,按 5:1 的输出扣减率算,已完成请求实际消耗约 77%。
示例中每次请求有 600 个未缓存输入 token,max_tokens 为 4,096,入场先预留 4,696。实际输出的 p99 约为 800。把上限降到 1,024 后,预留变成 1,624,少约 65%。输入和实际输出相同,最终配额消耗也相同。上线后可以用 stopReason 观察截断,用 InvocationThrottles 看限流,并用 EstimatedTPMQuotaUsage 提前设告警。
Airbnb 还为每个主力模型准备至少一个评测表现相当的替代模型,切流前确认容量和配额。费用归属则靠网关聚合记录。AWS 侧可以用 IAM 标签区分团队、用推理配置文件区分应用,或用 Converse 的 requestMetadata 给功能打标。最后一种标签只进调用日志,需要按 token 数回算成本。
我的判断
我赞成把质量和成本放在同一张表上。单看模型公开跑分,很难发现高推理档加价不少、在自己任务上却只提升一点的情况。只看单请求价格,则容易漏掉 Agent 多轮调用和长上下文的开销。用自家仓库和真实评审意见出题,还能看出一个补丁要经过多少人工纠正才能合入。
「隔夜选模型」有明确前提。Airbnb 已经写好了题库、评分器和并行环境,原文没有给出建设与维护的投入,也没有公布不同题型的波动范围。相比之下,小团队先用固定提交和人工盲评做一轮,启动成本更低,代价是规模和复评速度。模型 A 的上线和切换是有数字的观察,但作者没提供随机对照,也没给生产任务的完成率。请求量相近和支出降到七分之一,可以说明那批用户的用量账发生了什么,交付量是否相近仍然未知。
能拿来做什么
- 从已合并的前端或 Node PR 里挑几道会反复遇到的题,固定修改前的提交和原始需求,用现有测试验收,再把当时的评审意见写成评分项。
- 给默认模型和每档
reasoning_effort同时记分数、完整任务成本和是否需要人工接手。遇到比低档更贵、得分还更低的档位,可以直接从配置里停用。 - 换模型后同时看单请求成本和人均每周请求数。发现延迟上升时,再对照首 token 时间、输出长度和 OTPS,检查变化是否与模型或提示词上线时间吻合。
- 如果 Bedrock 在配额看似宽裕时仍限流,先按实测输出 p99 检查
max_tokens是否留得过大。调整后一起看限流和stopReason,重试使用退避与随机抖动,并设置次数上限。