按任务分配模型,用结果成本衡量收益
文章主张按任务类别分层路由,将能够稳定完成的任务交给更便宜的模型,仅为复杂任务保留前沿推理模型。成本评估应围绕完成结果,并结合缓存和微调优化高频任务。
AI 深度解读
把所有 AI 请求都交给最强模型,账单容易失控;为了省钱全部换成小模型,又可能把成本转嫁给修代码的人。作者给出的解法是:按任务分配模型,把昂贵的推理能力留给复杂工作,再用实际交付结果判断钱花得值不值。
这篇值得程序员读的地方,在于它把模型选型从「哪个更强」推进到了「这项工作需要多强」。不过,文中的降本幅度缺少实测数据支撑,适合当作架构思路,不能直接当成收益承诺。
最强模型为什么会成为最贵的默认值
作者描述了一条常见路径:过去两年,一些工程团队为了统一接入、提示词、评测和供应商,直接把前沿模型设成默认。演示时效果很好,半年后再看成本,自动补全、提交信息、日志格式化、PR 摘要和复杂重构,全在使用同一档昂贵推理能力。
问题先出在任务要求不匹配。作者给出的行内自动补全延迟预算约为 200ms,而推理模型经常无法满足。开发者等待补全时,需要的是及时出现的候选代码,长时间思考未必增加使用价值。
调用频率还会放大价差。自动补全每天可能触发数百次,单次 100x 的成本差异,累积后就可能决定整张账单。这些请求还会与复杂任务争用速率限制等资源。
反过来,全部使用便宜模型也不成立。复杂重构若产生隐蔽错误,后续排查和修复可能吞掉节省的 API 费用。作者指出的盲区是:API 账单清晰可见,开发者充当纠错层的时间却没有被计入同一张报表。
模型应该按任务选择,成本应该连同返工一起计算。
三层路由怎么划,才有实际意义
作者建议采用分层模型路由(tiered model routing):先识别任务类别,再按策略分发请求。可以把它理解为不同规格的计算资源,各自承担合适的工作。
Tier 1 是高频、低延迟、边界清楚的任务层。行内补全、提交信息、PR 标题、日志格式化、结构化提取、样板代码,以及分类和路由判断,都属于候选任务。这里优先考虑小模型,关键要求是短上下文、低成本和稳定输出。
Tier 2 承担日常工作:根据函数及其契约生成单元测试,更新文档和标准 PR 摘要,解释模块,以及结合代码库上下文做常规缺陷分诊。这些任务需要理解,但未必需要最强的推理能力。
作者认为,很多团队可能有 80% 的负载适合这一层。他的理由是:演示常把多项工作塞给一个模型,看起来要求很高;拆开以后,每一步可能只是普通任务。这个比例没有给出样本或测量方法,应当视为经验判断。
Tier 3 留给跨文件、约束复杂的架构重构,多文件智能体任务规划,证据纠缠的故障根因分析,以及新的 schema、API 契约设计和安全审查。原文还特别提到 planner-critic 模式中的 planner,也就是负责制定行动计划的部分。
路由器本身不必复杂。原文列出三种做法:显式配置「autocomplete → tier-1-model」,用廉价分类器判断类别,或利用智能体框架按节点指定模型的能力。真正需要落实的是任务分类、路由策略和负责人。
不过,这套划分不能只看任务名称。「生成测试」可能只涉及纯函数,也可能涉及复杂状态和并发;「PR 摘要」也可能需要理解跨模块行为。团队仍然需要用自己的样本验证边界,原文没有提供现成的分类规则或升级机制。
怎么证明省下来的钱没有变成返工
Token 数和 API 支出仍然有用,但只能解释资源消耗,无法独立回答投入产出比(ROI)。作者提出了四项更接近交付结果的指标。
第一项是每个已合并 PR 的 AI 成本。它把费用与交付关联起来:在合并量保持稳定时,单位成本下降,才有理由进一步判断路由是否有效。
第二项是每个已解决任务的成本,并按任务类别拆开统计。这样才能看出补全、测试生成、故障分析分别适合哪一层,而不是让总体均值遮住差异。
第三项是任务解决成功率,观察输出是否被实际采用,还是遭到拒绝和重写。作者用 40% 重写率说明:单次调用便宜,不代表完成任务便宜。这个数字是说明问题的例子,并非公开实验结果。
第四项是返工与变更反复率,追踪生成内容在 30 天内被回滚、修补或重写的情况,让延后出现的质量成本进入视野。
在此基础上,再处理重复请求。原文建议各层考虑提示词和响应缓存,包括语义缓存与供应商侧缓存。重复的格式要求、样板填充和分类模式,都可能减少实际推理次数。不过,提示词缓存与直接复用响应的适用条件不同,原文没有展开缓存失效、命中率和正确性控制。
更进一步,是为高频、稳定、领域明确的任务微调小型开放权重模型。作者设想的落点是:Tier 1 逐步迁移到本地微调模型,Tier 2 使用中档 API,Tier 3 保留前沿模型。
但这会引入数据流水线、评测框架、部署和版本管理。作者也提出了三个前提:调用量是否足够,任务形态是否稳定,以及能否通过评测证明质量达到要求。
我的判断
我赞同把路由策略和结果成本当成平台能力。统一默认模型确实方便接入,但这种便利不该替代后续的工作负载分析。相比只谈 API 折扣,减少不必要的高档调用,更有机会改变长期成本结构。
不过,文章是一套架构主张,没有展示可复核的团队实验。80% 的负载适合中档模型、小模型微调后可匹敌中档 API,以及账单下降一个数量级且质量不变,都缺少具体模型、价格、数据集和对照结果。它们是待验证的判断。
每个已合并 PR 的成本也不是完整的生产力指标。PR 大小、任务难度和拆分习惯不同,都会改变分母;若没有纳入人工审核和修复时间,它仍然只能反映部分成本。原文没有说明完整的核算口径。
对于规模较小的团队,静态路由通常比一开始就建设动态分类、语义缓存和微调平台更容易评估。确定性的格式整理、模板填充,如果脚本已经能够可靠完成,也应先考虑脚本。作者结尾提到了这一替代选择,但没有给出与模型方案的对照数据。
先证明某类任务适合降档,再扩大覆盖范围,比承诺整体降本幅度更可靠。
能拿来做什么
- 盘点现有 AI 编程工具和 Node 服务中的调用,把补全、提交信息、PR 摘要、测试生成、复杂重构分别记录下来,同时统计调用量、延迟和实际采用情况。
- 从边界清楚的一类任务试行静态路由,例如提交信息或结构化提取,用同一批真实输入比较成本与可用率,再决定是否迁移。
- 给任务增加结果记录,把重试、人工重写和后续修复关联到原始调用;观察 30 天返工情况时,结合任务难度解释数据。
- 先核对重复请求及其上下文是否允许复用,再评估缓存;只有任务量、稳定性和评测能力都满足要求时,才考虑微调与本地部署。