同一模型换个榜单,Codex 排名为何悬殊
文章比较两个公开评测:同样搭配 GLM-5.3-Flash,Codex CLI 分别位列第 4 和第 10。两者的任务集、尝试次数、成本指标及并列规则不同,排名需要结合评测设计解读。
AI 深度解读
同一个 GLM-5.3-Flash,套上 Codex CLI,在一张榜单里排第 4,换一张却排到倒数第 2。作者对齐两边的任务和配置后发现:排名没有互相打脸,它们测的压根不是同一种工作。
这对用 AI 改代码的程序员很有参考价值。终端任务做得好,未必擅长在真实仓库里修 Bug、加功能;而榜单上的「Codex」,还包括版本、上下文配置和协议适配器。选工具前,得先弄清分数对应什么。
第 4 和第 10,差在考了什么
作者比较的是两套公开评测。
Runta 的 FrontierHarness Eval v1.1 在 Baseten 上运行,覆盖 22 种 harness 配置、5 个开放模型、62 道任务,每道尝试 4 次,共 27,280 次运行。Harness 可以理解为模型外面的执行框架,负责提供工具、组织上下文和推动任务完成。
另一套是 Joel Niklaus 的 Hugging Face Harness Leaderboard,覆盖 11 种框架、4 个开放模型,每道尝试 3 次,其中两个模型分别测试 low、high reasoning effort。它会把无法与领先者显著区分的框架归入同一并列组。
Codex 搭配 GLM-5.3-Flash,在 Runta 上通过率为 59.3%,排 4/22,每次成功成本第二低;在另一张榜上,两档推理强度都排 10/11,只领先 OpenClaw。
拆开后,问题就清楚了。下面是作者整理的 Hugging Face v0.1.8 数据,日期为 Nov 17:
GLM-5.3-Flash, Hugging Face board v0.1.8 (Nov 17)
Terminal-Bench 2.1 DeepSWE v1.1
codex low 60.2% (8th) 26.7% (10th)
codex high 67.4% (5th) 35.1% (10th)
top low 64.7% 55.9%
top high 71.3% 63.4%
重点看 DeepSWE 两列:Codex 落后领先者约 28 至 29 个百分点。它测试的是在真实 Go、Python、TypeScript、Rust 仓库里完成较长的功能开发和修复。
Runta 的 62 道题则全部来自 Terminal-Bench,其中 45 道来自 2.1,17 道来自版本 4,没有这类仓库任务。
终端任务的好成绩,不能直接当成真实仓库开发能力的证明。
也不能据此认定 Codex 普遍不行。换成 DeepSeek-V4.1-Flash,它在 DeepSWE 两档分别得到 61.3%、64.0%,排 6/11,并进入并列领先组。暴露弱点的是特定模型、框架和任务的组合。
榜单里的同名工具,可能跑着不同配置
两边连 Codex 的运行条件都不一样。
Runta 固定使用 Codex 0.164.0,声明模型上下文为 1,048,576 tokens,工具输出上限为 10,000 tokens。Hugging Face 使用 0.162.1,其配置文档说明,榜上这些试验采用了未识别模型时的回退设置:上下文为 272,000 tokens,工具输出限制为 10,000 bytes,没有内置补丁工具,提示词要求模型通过 shell 运行 apply_patch。
tokens 和 bytes 不是同一单位,两个上限不能按数字相等理解。
协议也多了一层。Codex 只使用 OpenAI Responses 格式,Runta 通过 LiteLLM proxy 转接,Hugging Face 通过 responses.js bridge 转接。因此,一行「Codex」成绩背后,还站着适配器和它传递的配置。
这些差异是否造成了仓库任务约 28 个百分点的落差?作者明确说,没有证据,只能猜测。
不过,适配配置会影响成绩,原文给了另一个实例:OpenClaw 升级并开始接收各模型的上下文窗口、回复上限和图像输入信息后,DeepSeek 分数在一次发布中提高了 16 至 21 个百分点。这个例子能提醒人检查运行链路,但不能拿来解释 Codex 的具体掉分原因。
哪些结论值得拿去选工具
两套评测得出一致结论时,作者更信任这些结果。
例如 Pi,这个只有四种工具的小框架,在两张榜上都是 GLM-5.3-Flash 每次成功成本最低的选择。Runta 为 $0.223,Hugging Face 的 low、high 分别为 $0.132、$0.184。提供商和定价不同,美元数值不能横向比较,成本排序却一致。
它的通过率在 Runta 排 8/22,在另一边进入并列领先组。换成 DeepSeek-V4.1-Flash,两边又都显示它便宜但通过率落后:Runta 排 15/22,另一边两档都处于第二组。
这比单张榜上的冠军更有参考价值,但仍不是稳定保证。
Runta 对 62 道任务重采样 4,000 次,只有 Codex 搭配较大的 GLM-5.3,能以 99.6% 的比例保持最具性价比选择;其他四个赢家只在 25% 至 53% 的抽样中保住位置。原文还给出,通过率的 95% 区间大约为正负 10 个百分点。
它的性价比规则也有明确偏好:默认选择每次成功成本最低者,除非另一个方案通过率至少高 5 个百分点,且费用最多贵 30%。团队对失败重试和等待时间的容忍度不同,选出来的答案也会变。
我的判断
作者最有价值的提醒,是把「哪个框架最好」拆成了模型、任务、框架和适配器四个变量。对程序员而言,仓库修复成绩通常比一个混合总分更贴近日常需求。
但「选两张榜都认可的方案」仍是经验性筛选方法。原文没有给出对照数据,证明这种方法一定能提高你自己仓库的成功率;两套评测也可能共同漏掉某类任务。
「模型在自家框架里更强」同样不能当通则。Runta 数据里,Z.ai 的 ZCode 配 GLM-5.3 比其他框架平均高 4.6 个百分点,p = 0.03,是一个较明确的案例;KimiCode 配 Kimi-K3 却排 14/22,DeepSeek 自家四种配置也只排第 7 至 14。
评测的边界还包括基础设施。Runta 提供运行环境,复跑需要 Runta 登录和 Baseten key;模型统一由一家提供商服务,闭源模型与其他缓存条件不在结论覆盖范围内。Hugging Face 的 v0.1.8 则经历过多次管线修复和重跑,引用排名时必须带版本。
榜单适合缩小候选范围,最终选择仍要回到自己的代码库。
能拿来做什么
- 给 TypeScript 仓库挑 AI 编程工具时,先看 DeepSWE 这类仓库任务的分项成绩,再用实际的修复、功能开发任务试跑候选组合。
- 接入开放模型时,把 CLI 版本、上下文窗口、工具输出限制、补丁工具和协议适配器一起记下来。更换其中一项后,重新检查成功率和成本。
- 比较 Pi 与 Codex 时,同时看通过率和每次成功成本。原文支持把 Pi 列为 GLM-5.3-Flash 的低成本候选,却不支持把结论直接迁移到 DeepSeek-V4.1-Flash。
- 查询原文对应的榜单分项时,可以使用下面的命令;重点是
.efforts.high和两个 benchmark 字段,也可换成low,或将模型替换为deepseek-ai/DeepSeek-V4.1-Flash。接口返回的内容可能已随榜单更新。
curl -s https://joelniklaus-harness-leaderboard.hf.space/api/index | jq -r '
.leaderboard["zai-org/GLM-5.3-Flash"].stages.full.efforts.high.harnesses
| to_entries | sort_by(-.value.macro)[]
| [.key, .value.benchmarks["terminal-bench-2.1"].rate, .value.benchmarks["deep-swe"].rate, .value.cost_per_pass]
| @tsv'