编程代理怎么选,榜单拆解成本与解题率
公开榜单中,OpenClaw 总成本最低,Pi 每解决一题的成本最低,OpenCode 平均任务解决率最高。换框架后有 27.1% 的任务结果发生变化,换模型则为 33.8%,最优框架也会随模型而变。
AI 深度解读
同一组模型权重、同一批任务,换 11 套编程 Agent 框架(harness),平均解题率能从 42.7% 拉到 52.5%。可就算框架和模型都没换,只重跑一次,也有 24.1% 的任务在通过和失败之间翻转。选工具时,框架要看,单次演示更要打个问号。
作者没有亲自跑实验,数据来自他在 2026 年 11 月 20 日查阅的 Harness Leaderboard v0.1.9 和榜单的方法页。除了排名,这份榜单还查出了几个会直接影响日常使用的默认行为,包括上下文窗口设错、回复被悄悄截短,以及历史压缩始终没有触发。
固定模型之后,榜单到底在比什么?
框架决定给模型什么系统提示词、开放哪些工具、用什么格式改代码、何时压缩历史、失败后怎么重试,以及是否派出子 Agent。同一模型接到的输入和能执行的操作,都会随框架改变。这就是榜单要测的部分。
11 套框架都锁定了版本,分别是 Claude Code 2.1.300、Codex 0.162.1、Pi 1.2.0、OpenCode 2.2.6、Hermes Agent v0.22.1、mini-swe-agent 2.4.6、Kimi Code 2.2.0、Qwen Code 0.25.2、OpenClaw 2026.11.1、DeepSeek Harness 0.2.2-rc.1 和 Grok Build 1.0.77。
GLM-5.3-Flash 和 DeepSeek-V4.1-Flash 的上下文窗口是 1,048,576 token,Flint 和 Ripple-65B-Preview 是 262,144 token。安排两档窗口是为了让长任务更容易在小窗口上碰到历史压缩。任务来自 Terminal-Bench 2.1(89 题取 87 题)和 DeepSWE v1.1(113 题取 111 题),前者侧重终端里的构建、调试和配置,后者测真实 Go、Python、TS/JS 和 Rust 仓库里的长程功能开发与修复。每套框架在每个模型和推理强度组合下把每题跑三次,榜单共计 39,204 次尝试。运行用到 HF Sandbox、HF Jobs 和 Harbor,过程轨迹公开。
沙箱内的计量代理统一每次调用的推理强度,并从框架外统计 token。题面、限时、联网权限和评分规则一致,每题没有额外的步数、token 或成本上限。评测方显式传入上下文窗口、最长回复和图像支持设置,框架保留自身的提示词和工具策略。供应商先通过权重、精度、已知答案和工具调用等一致性检查,费用统一按通过检查的最低供应商标价折算。
每题按通过次数占比计分,基准内先平均,再对两个基准等权平均,并给出 95% 置信区间。配对自助法(paired bootstrap)用来判断哪些框架与第一名并列。基础设施故障最多重跑两次,故障轮次排除。Agent 报错、超时,或通过隐藏测试、参考解法、上游补丁获取答案,都算失败。
最准、最便宜和最省解题成本,各有一个答案
全模型、全推理强度汇总后,OpenCode 以 52.5% 领跑,Kimi Code 低 0.9 个百分点,是唯一与它统计并列的框架。其余框架落后幅度从 Grok Build 的 2.2 个百分点到 OpenClaw 的 9.8 个百分点。若同时考虑通过率和单次成本,11 套里只有三套处在帕累托前沿,也就是找不到另一套在这两项上都比它划算。

OpenClaw 单次 $0.36,解题率 42.7%,适合用来理解最低试验成本这条边界。Pi 单次 $0.48,解题率 49.4%,每解出一题的成本最低,为 $1.02。OpenCode 单次 $0.52,解题率 52.5%,追求通过率时排第一。榜单上最贵和最便宜的单次成本相差约 1.8 倍。Grok Build 和 Claude Code 单次成本最高,两者都没进入前沿。
先看重跑波动,再看你选的模型
同一题一次通过、另一次失败,榜单就记一次结果翻转。同框架重跑的翻转率是 24.1%,换框架是 27.1%,换模型是 33.8%。换框架比重跑基线多 3.0 个百分点,拆开看,Terminal-Bench 2.1 多 4.0 个百分点,DeepSWE 多 2.0 个百分点。在这批任务上,换模型带来的结果变动更大,单轮演示也很容易受运行波动影响。
汇总排名还会盖住模型与框架的搭配差异。OpenCode 和 Kimi Code 在四个模型上都进入统计并列第一。Hermes Agent 在 GLM-5.3-Flash 和 Flint 上并列第一,到了 DeepSeek-V4.1-Flash 排第 11。Codex 在 DeepSeek-V4.1-Flash 和 Ripple-65B-Preview 上并列第一,在 GLM-5.3-Flash 上却以 47.4% 排第 11。单看 Ripple-65B-Preview,Kimi Code 的 56.4% 和 OpenClaw 的 34.4% 相差 22 个百分点。团队已经定了模型,就该先读对应那一列。
接第三方模型时,哪些默认值会拖后腿?
上下文窗口决定模型能看到多少历史,最大输出 token 决定它一轮能回多少。这两个限制配错,Agent 可能在长任务里提前失去历史,也可能来不及给出完整回复。
- OpenClaw 没收到最长回复配置时,实际最多请求 8,192 token,和文档所描述的行为有出入。接自定义 OpenAI-compatible 端点时,还需要打开相应设置,才会把之前的推理内容传回去。
- Codex 对未知模型假定窗口为 272,000 token。要提高这个值得用模型目录文件,单改窗口设置不够。它还会把命令输出截在 10,000 字节,长构建日志可能只留下部分内容。
- Claude Code 只在 Anthropic 服务器上按上下文剩余空间下调回复上限。DeepSeek Harness 用最长回复推算压缩触发点,Flint 的最长回复和上下文窗口一样大,自动压缩因此始终没触发。
- Grok Build 会把它打开的图片发给模型,即使模型已经设置为纯文本。
我的判断
我会用榜单筛候选,再用团队任务决定。它最有说服力的地方是把重跑波动也量了出来。常见的选型演示往往只挑一题跑一遍,能看出工具怎么操作仓库,却很难据此断定换框架能提高团队的通过率。
榜单的结论适用于这四个开放模型。Claude Code 和 Codex 的成绩也只反映它们驱动这些模型时的表现,无法据此判断搭配 Claude 或 GPT 的效果。框架还分布在不同日期运行,固定限时下,供应商快的一天可能容得下更多调用。费用按标价计,团队的缓存折扣和订阅会改变账单。两套基准也没有覆盖网络自动化、基础设施运维或你自己的代码库。
用「三次都过」衡量无人值守任务的稳定性,我认同这个取舍。原文没有拿实际无人值守工作做对照,也没有给出可以放心放手的阈值,这部分属于工程经验。
能拿来做什么
- 已经定了模型,就按该模型的成绩挑候选,用团队自己的 TypeScript 或 Node 修复任务做小评测。同一题跑三次,同时记通过率、每解出一题的成本和三次全过的题目占比。
- 接入自定义模型端点时,显式设置上下文窗口与最大输出 token,再找一条确实会积累长历史的任务,核对回复是否被截断、历史压缩是否触发。
- 如果 Agent 总是在构建失败后找错方向,先对照终端里的完整日志和它收到的工具输出。用 Codex 跑这类任务时,尤其要确认关键错误是否落在 10,000 字节的截断范围之外。