八款编程 Agent 同模型实测成本与解题率
Turnloom 作者用同一 GPT-5.1 模型测试八款编程 Agent,在随机抽取的 19 道任务上统一记录调用成本与令牌消耗。六款工具完成 9 至 11 题,作者强调小样本不足以明确区分表现,且 Aider 的结果存在比较局限。
AI 深度解读
维护开源编码代理 Turnloom 的作者,把自家产品和另外七款工具放到同一组任务里比较:统一模型、统一计费口径,每道题只跑一次。结果没有证明 Turnloom 更强,也没有证明它更省钱。
更有用的是这次测试暴露的两个问题:压缩上下文未必能降低总成本,代理能否完成无人值守任务也需要单独验证。对正在挑选 AI 编程工具,或自己搭建代理的程序员,这些比排行榜名次更值得看。
八款代理,为什么只能得出「打平」
作者从 Terminal-Bench 2.1 中,通过带固定种子的随机抽样选出 19 道任务,让八款代理各尝试一次。参测工具包括 OpenCode、Goose、Codex CLI、OpenHands SDK、mini-SWE-agent、Terminus 2、Aider 和 Turnloom,均使用默认配置,模型统一为 OpenAI gpt-5.1。
为了避免各家统计口径不同,作者在代理与 API 之间放了一个小型代理服务,记录每次调用。Token 数量采用提供商返回的数据,真实 API key 不会暴露给参测代理。
六款代理完成了 9 至 11 道任务。作者将它们视为打平,因为样本太少:完成 10/19 道任务时,成功率的 95% 区间从 32% 延伸到 73%。
在这组测试里,多完成一两道题,不足以证明某款代理更强。
Aider 还需要单独看待。测试运行器只给它一条消息,也不给它执行命令的途径,因此这一行结果不能公平代表 Aider 的实际能力。统一测试条件,不等于条件适合每一种工具。
输入更少,为什么账单还是不低
Turnloom 会把旧的工具输出移出当前提示词,保存到模型可以回读的归档中。这样既减少重复发送的内容,也保留了查阅历史结果的途径。
这项设计确实减少了输入:在通过工具循环执行任务的代理中,只有 Terminus 2 的输入 Token 更少。
但输入省下来了,输出却多了。在本次计价中,输出 Token 的单价是输入的 8 倍;Turnloom 生成的输出 Token,约为两款最便宜代理的两倍。它每道任务平均花费 $0.160,其中 $0.126 来自输出。
上下文压缩是否划算,要看完整账单,不能只看输入 Token。
作者怀疑差异与 API 有关。排除 Aider 后,输出 Token 最少的代理使用的是 OpenAI Responses API。按作者的解释,它能在调用之间延续模型的推理状态,而 Turnloom 使用的 Chat Completions 不具备这种延续方式。
不过,这只是待验证的解释。作者尚未做 API 切换的对照实验,只是将其列入路线图。现有结果不能证明换用 Responses API 就一定能省钱。
跑分还找出了无人值守的问题
这轮测试为 Turnloom 找出了三个问题。其中一个很有代表性:无人值守运行结束时,代理告诉读者接下来应该输入哪些命令。
问题在于,当时根本没有人在读。
对于编码代理,「知道下一步怎么做」与「真正执行并完成任务」是两种能力。交互式对话里尚可接受的操作提示,放进自动运行流程,就可能成为未完成的工作。作者表示,这三个问题都已在 0.7.1 中修复,但原文没有展开另外两个问题,也没有给出修复后的复测结果。
原文还提供了安装、连接和只读了解项目结构的用法:
pip install turnloom
turnloom connect
turnloom run --read-only "Explain how this project is laid out"
需要留意最后一行的 --read-only:这个示例用于解释项目布局。Turnloom 采用 MIT 许可,支持 OpenAI-compatible 模型,也支持通过 Ollama 使用本地模型;本次跑分则只覆盖了 gpt-5.1。
我的判断
这次测试最有价值的地方,是作者公开了自家工具没有胜出的结果,并把每个任务的结果、每次模型调用的 Token 数量、脚本和测试限制都放到了基准页面上。这让结论有机会被复核。
但它仍然是代理作者本人开展的小样本测试:19 道题、每题一次、一个模型、各工具默认配置。它能帮助发现问题,尚不足以给普通团队排出采购或选型顺序。固定模型也只控制了一个变量,各代理与该模型的适配程度仍可能不同。
与只比较输入量的成本判断相比,拆开输入和输出费用更有参考价值。至于 Responses API 是否带来成本优势,目前属于有观察依据的假说,缺少对照数据。我会把它当作下一轮实验方向,而不是已经成立的优化结论。
能拿来做什么
- 选择日常 AI 编程工具时,可以沿用这套比较方法:固定模型和任务,记录完成情况与费用,同时检查运行器是否给了每款工具正常工作的条件。
- 自己开发编码代理时,应分别统计输入与输出 Token,再按实际单价计算费用。即使旧工具输出已经归档,也要确认总成本是否真的下降。
- 把代理接入无人值守流程前,应检查最终交付物是否完成,尤其要找出「把剩余命令交给用户」这类提前结束的行为。
- 想试用 Turnloom,可以先运行原文的
--read-only示例了解项目布局;若计划接入 Ollama 本地模型,需要另外验证效果,本次成绩不能直接沿用。