低价模型写代码的成本与通过率实测
作者用相同提示词和固定任务集比较两款模型,以零温度、单次作答和留出测试集计算 pass@1。此次实验中,低价模型的每 token 价格约为对照模型的 1/20,编程得分低于其一半,成本估算采用实际输出 token 数。
AI 深度解读
作者拿一组固定的编程任务对比了低价模型和前沿模型。低价模型的每 token 价格约为对方的 1/20,编程得分却不到对方的一半。作者还公开了约 60 秒的跑测演示,让读者看到分数是怎么来的。
如果你在给 AI 编程工具选模型,这篇最值得借鉴的是它的测法。用同一批任务跑两遍,分别看一次通过率和花费。至于便宜模型到底省不省钱,还要看失败一次会给你增加多少返工。
同一道题,两边都只交一次答案
作者搭了一个小型评测脚本,把固定题集里的每道题用完全相同的提示词发给两个模型,temperature 都设为 0。每题只取第一次生成的答案,跑一套事先留出的测试用例。这个指标叫 pass@1,可以理解为模型一次提交就通过测试的比例。作者既不重试,也不从多个结果里挑一个最好看的。
这种测法适合回答一个具体问题:在同样的提示词下,哪个模型更常一次交出能通过测试的代码?留出的测试用例负责检验结果,避免靠人眼看代码像不像对的。评测结论也受测试覆盖范围约束,原文没有交代题目数量、难度分布或具体模型名,读者很难判断这组题和自己的工作有多像。
1/20 是单价,每通过一题要花多少是另一笔账
作者用供应商公布的每 token 费率乘以实际生成的 token 数来算费用。按这个口径,模型输出越长,计入的花费就越多。作者认为低价模型每花一美元能做对更多题,但原文没有列出两边的完整得分、输出 token 总量和总费用,也没说明是否另计输入 token。仅凭约 1/20 的单价和不到一半的得分,算不出每通过一题的成本。
作者报告,完整跑一轮要花几美元的 API 费用,实际耗时约 20 分钟,等待主要来自响应较慢的前沿模型。约 60 秒的演示让读者能看到跑测过程。要复跑验证,还需要题集、测试用例、模型标识和逐题结果,原文没有给出这些细节。
我的判断
我认同先把提示词、生成设置和评分口径固定下来。两边都只答一次,适合衡量直接采用首个结果的成功率。常见的另一种做法是把测试失败信息交还给模型,让它再修一轮。那测的是最终通过率,费用和等待也得把修复轮次算进去。原文没有给出这种流程的对照数据,关于低价模型更划算的说法,只能当作作者在这组任务上的经验。
能拿来做什么
- 从日常前端或 Node 工作里挑几道现成有测试的任务,例如修一个组件交互回归或补齐输入校验。给两个模型同样的提示词,用同一套测试记录首次通过率。
- 逐题记下输出 token、实际费用和耗时,再用总费用除以通过题数。供应商若对输入单独收费,也把这部分记进实际费用。
- 如果你的 AI 编程流程允许失败后再修一轮,就按这个流程加跑一组,记录最终通过率和累计花费,再决定低价模型适合接哪些任务。