基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
编程提效2026-11-21 03:00

同一模型换个榜单,Codex 排名为何悬殊

dev.to · AI#Codex#Agent#编程评测
Editor brief · 编辑速览

文章比较两个公开评测:同样搭配 GLM-5.3-Flash,Codex CLI 分别位列第 4 和第 10。两者的任务集、尝试次数、成本指标及并列规则不同,排名需要结合评测设计解读。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

同一个 GLM-5.3-Flash,套上 Codex CLI,在一张榜单里排第 4,换一张却排到倒数第 2。作者对齐两边的任务和配置后发现:排名没有互相打脸,它们测的压根不是同一种工作。

这对用 AI 改代码的程序员很有参考价值。终端任务做得好,未必擅长在真实仓库里修 Bug、加功能;而榜单上的「Codex」,还包括版本、上下文配置和协议适配器。选工具前,得先弄清分数对应什么。

第 4 和第 10,差在考了什么

作者比较的是两套公开评测。

Runta 的 FrontierHarness Eval v1.1 在 Baseten 上运行,覆盖 22 种 harness 配置、5 个开放模型、62 道任务,每道尝试 4 次,共 27,280 次运行。Harness 可以理解为模型外面的执行框架,负责提供工具、组织上下文和推动任务完成。

另一套是 Joel Niklaus 的 Hugging Face Harness Leaderboard,覆盖 11 种框架、4 个开放模型,每道尝试 3 次,其中两个模型分别测试 low、high reasoning effort。它会把无法与领先者显著区分的框架归入同一并列组。

Codex 搭配 GLM-5.3-Flash,在 Runta 上通过率为 59.3%,排 4/22,每次成功成本第二低;在另一张榜上,两档推理强度都排 10/11,只领先 OpenClaw。

拆开后,问题就清楚了。下面是作者整理的 Hugging Face v0.1.8 数据,日期为 Nov 17:

GLM-5.3-Flash, Hugging Face board v0.1.8 (Nov 17)
                 Terminal-Bench 2.1   DeepSWE v1.1
codex   low         60.2%  (8th)      26.7%  (10th)
codex   high        67.4%  (5th)      35.1%  (10th)
top     low         64.7%             55.9%
top     high        71.3%             63.4%

重点看 DeepSWE 两列:Codex 落后领先者约 28 至 29 个百分点。它测试的是在真实 Go、Python、TypeScript、Rust 仓库里完成较长的功能开发和修复。

Runta 的 62 道题则全部来自 Terminal-Bench,其中 45 道来自 2.1,17 道来自版本 4,没有这类仓库任务。

终端任务的好成绩,不能直接当成真实仓库开发能力的证明。

也不能据此认定 Codex 普遍不行。换成 DeepSeek-V4.1-Flash,它在 DeepSWE 两档分别得到 61.3%、64.0%,排 6/11,并进入并列领先组。暴露弱点的是特定模型、框架和任务的组合。

榜单里的同名工具,可能跑着不同配置

两边连 Codex 的运行条件都不一样。

Runta 固定使用 Codex 0.164.0,声明模型上下文为 1,048,576 tokens,工具输出上限为 10,000 tokens。Hugging Face 使用 0.162.1,其配置文档说明,榜上这些试验采用了未识别模型时的回退设置:上下文为 272,000 tokens,工具输出限制为 10,000 bytes,没有内置补丁工具,提示词要求模型通过 shell 运行 apply_patch。

tokens 和 bytes 不是同一单位,两个上限不能按数字相等理解。

协议也多了一层。Codex 只使用 OpenAI Responses 格式,Runta 通过 LiteLLM proxy 转接,Hugging Face 通过 responses.js bridge 转接。因此,一行「Codex」成绩背后,还站着适配器和它传递的配置。

这些差异是否造成了仓库任务约 28 个百分点的落差?作者明确说,没有证据,只能猜测。

不过,适配配置会影响成绩,原文给了另一个实例:OpenClaw 升级并开始接收各模型的上下文窗口、回复上限和图像输入信息后,DeepSeek 分数在一次发布中提高了 16 至 21 个百分点。这个例子能提醒人检查运行链路,但不能拿来解释 Codex 的具体掉分原因。

哪些结论值得拿去选工具

两套评测得出一致结论时,作者更信任这些结果。

例如 Pi,这个只有四种工具的小框架,在两张榜上都是 GLM-5.3-Flash 每次成功成本最低的选择。Runta 为 $0.223,Hugging Face 的 low、high 分别为 $0.132、$0.184。提供商和定价不同,美元数值不能横向比较,成本排序却一致。

它的通过率在 Runta 排 8/22,在另一边进入并列领先组。换成 DeepSeek-V4.1-Flash,两边又都显示它便宜但通过率落后:Runta 排 15/22,另一边两档都处于第二组。

这比单张榜上的冠军更有参考价值,但仍不是稳定保证。

Runta 对 62 道任务重采样 4,000 次,只有 Codex 搭配较大的 GLM-5.3,能以 99.6% 的比例保持最具性价比选择;其他四个赢家只在 25% 至 53% 的抽样中保住位置。原文还给出,通过率的 95% 区间大约为正负 10 个百分点。

它的性价比规则也有明确偏好:默认选择每次成功成本最低者,除非另一个方案通过率至少高 5 个百分点,且费用最多贵 30%。团队对失败重试和等待时间的容忍度不同,选出来的答案也会变。

我的判断

作者最有价值的提醒,是把「哪个框架最好」拆成了模型、任务、框架和适配器四个变量。对程序员而言,仓库修复成绩通常比一个混合总分更贴近日常需求。

但「选两张榜都认可的方案」仍是经验性筛选方法。原文没有给出对照数据,证明这种方法一定能提高你自己仓库的成功率;两套评测也可能共同漏掉某类任务。

「模型在自家框架里更强」同样不能当通则。Runta 数据里,Z.ai 的 ZCode 配 GLM-5.3 比其他框架平均高 4.6 个百分点,p = 0.03,是一个较明确的案例;KimiCode 配 Kimi-K3 却排 14/22,DeepSeek 自家四种配置也只排第 7 至 14。

评测的边界还包括基础设施。Runta 提供运行环境,复跑需要 Runta 登录和 Baseten key;模型统一由一家提供商服务,闭源模型与其他缓存条件不在结论覆盖范围内。Hugging Face 的 v0.1.8 则经历过多次管线修复和重跑,引用排名时必须带版本。

榜单适合缩小候选范围,最终选择仍要回到自己的代码库。

能拿来做什么

  • 给 TypeScript 仓库挑 AI 编程工具时,先看 DeepSWE 这类仓库任务的分项成绩,再用实际的修复、功能开发任务试跑候选组合。
  • 接入开放模型时,把 CLI 版本、上下文窗口、工具输出限制、补丁工具和协议适配器一起记下来。更换其中一项后,重新检查成功率和成本。
  • 比较 Pi 与 Codex 时,同时看通过率和每次成功成本。原文支持把 Pi 列为 GLM-5.3-Flash 的低成本候选,却不支持把结论直接迁移到 DeepSeek-V4.1-Flash。
  • 查询原文对应的榜单分项时,可以使用下面的命令;重点是 .efforts.high 和两个 benchmark 字段,也可换成 low,或将模型替换为 deepseek-ai/DeepSeek-V4.1-Flash。接口返回的内容可能已随榜单更新。
curl -s https://joelniklaus-harness-leaderboard.hf.space/api/index | jq -r '
  .leaderboard["zai-org/GLM-5.3-Flash"].stages.full.efforts.high.harnesses
  | to_entries | sort_by(-.value.macro)[]
  | [.key, .value.benchmarks["terminal-bench-2.1"].rate, .value.benchmarks["deep-swe"].rate, .value.cost_per_pass]
  | @tsv'
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
LLM 功能上线前,先定义可执行的验收标准
下一篇
Agent 传文件只传引用,字节交给宿主搬运

资讯速览

dev.to · AI · 2026-11-21 03:00

AI 评分 8.0 / 10

相关标签

#Codex#Agent#编程评测

继续阅读

  • 用真实缺陷检验 Gemini 4 Neon 编程表现
  • LLM 功能上线前,先定义可执行的验收标准
  • Agent 传文件只传引用,字节交给宿主搬运
  • 微软开发工具更新:模型、审查与浏览器代理
  • Gemini 在 Mac 后台操作桌面应用