编程模型高分背后的基准可信度问题
文章称两套常被引用的编程基准在审计后暴露问题,质疑排行榜分数能否支撑模型采购决策。摘要回顾了 SWE-bench Verified 的筛选过程,但未展示后续审计的具体证据。
AI 深度解读
80.9% 的编程跑分,究竟能帮你选出多好的 Coding Agent?原文追踪了 SWE-bench Verified 和 SWE-Bench Pro 的两轮审计:有些正确修复被测试误判,有些题目和答案又可能早已进入训练数据。作者的结论是,公开榜单可以初筛,团队选型还得回到自己的代码。
这件事值得程序员花几分钟读,因为问题不只是「分数虚高」。测试既可能放水,也可能错杀;当模型只差两三个百分点时,排名未必能解释谁更适合你的项目。
80.9% 的背后,究竟是谁答错了
SWE-bench 由 Princeton 研究人员在 2023 年提出:从真实开源 Python 项目取出 bug,让模型根据 issue 修改代码,再运行项目测试评分。它比孤立的算法题更接近日常开发。
2024 年,OpenAI 请工程师审核 1,699 道题,每题由三人评审,最终留下 500 道,形成 SWE-bench Verified。此后一年半,它成了主要实验室反复引用的指标。
问题出在高分之后。六个月里,最好成绩从 74.9% 升至 80.9%,OpenAI 开始检查:剩下那些失败,是否都该算在模型头上?
他们选出 o3 在 64 次运行中仍无法稳定解决的 138 道题,每题至少由六位有经验的工程师复核。结果,59.4% 存在实质问题。其中,35.5% 的测试要求某种特定实现,功能正确也可能判错;18.8% 检查了题目根本没要求的行为。
对开发者来说,这很像需求只要求「返回正确结果」,验收却偷偷要求「必须照原作者的写法实现」。
通过测试和正确完成需求,并不总是同一件事。
但这里必须守住统计边界:59.4% 来自模型反复失败的难题子集,不能直接套到全部 500 道题上。原文也明确说,全集的问题比例更低,但没有给出具体数字。
模型可能会修 bug,也可能记得答案
另一个方向的问题,是数据污染(contamination):公开仓库可能进入训练数据,模型参加测试前就接触过题目或补丁。
据原文,OpenAI 让一个模型询问 GPT-5.2、Claude Opus 4.5 和 Gemini 3 Flash,三者都在部分任务上复现了原始修复或题目细节。Claude Opus 4.5 曾回忆出四行改动、文件、方法及逐字一致的行内注释;Gemini 3 Flash 仅凭任务 ID,就生成了描述、修复内容、新正则表达式和行号。
这些例子比「分数很高,所以一定背题」更有说服力。不过,它们仍不能直接告诉我们,整个榜单中有多少分来自记忆。
更早的研究已经发出过警报。2024 年针对原始 SWE-bench 的研究发现,32.67% 的成功修复,其答案就在 issue 或评论中;另有 31.08% 只是因为测试薄弱才通过。移除这些情况后,一个 Agent 的成绩从 12.47% 降至 3.97%。
2025 年,Microsoft 和 Purdue 的研究人员只提供 issue 描述,不开放代码,让模型定位出错文件。在 Verified 上,命中率最高达 76%;换到基准之外的仓库,最高只有 53%。
作者把这种差距解释为记忆的迹象。这个判断有依据,但仅凭定位准确率,还不足以排除描述中的路径线索等因素;原文没有展开实验控制细节。
按文中记录,OpenAI 在 2026 年 2 月 23 日停止报告 Verified 成绩,并呼吁其他实验室跟进。
换成更难、更少泄漏的题,为什么还是出了问题
Scale AI 于 2025 年 9 月发布 SWE-Bench Pro,包含来自 41 个仓库的 1,865 个任务。公开部分采用严格 copyleft 许可证代码,试图降低进入训练集的概率;另一部分来自初创公司的私有代码库。任务规模也更大,平均修改 107 行、涉及四个文件。
初始成绩确实拉开了差距:Verified 上超过 70% 的模型,在 Pro 上约为 23%;私有代码库中,最好的两个成绩只有 17.8% 和 14.9%。OpenAI 随后推荐迁移。
但八个月后,Pro 的 731 道公开题最高分从 23.3% 涨到 80.3%,新一轮审计又发现了题目问题。
自动筛查标记了 286 道题。由人类监督的 AI Agent 复核认定其中 200 道有问题,占公开集的 27.4%;另一轮每题五位工程师的评审认定 249 道有问题,占 34.1%。OpenAI 最终采用「约 30%」的表述。
其中一道目录格式题,描述明确要求前导一个空格,隐藏测试却要求两个。模型越严格照着需求做,反而越容易失败。
2026 年 7 月 8 日,OpenAI 撤回了推荐。按原文说法,这次推荐维持了不到五个月。
两次审计揭示了不同方向的误差:泄漏和薄弱测试会抬高分数,过严测试和错误描述会压低分数。它们同时存在,不能简单给榜单打个折,就当成真实能力。
我的判断
作者最有价值的提醒,是把「分数」重新放回它的测量条件里:题目来自哪里,测试验收什么,模型拿到了哪些工具,评测由谁运行。实验室自有运行框架(harness)与独立框架产出的成绩,不能默认直接比较。
但「私有仓库里的任务,模型就绝对没见过」说得太满。私有代码能降低直接泄漏风险,仍需确认代码是否曾公开、任务是否由公开案例改写,以及历史修复是否通过其他上下文暴露。
「20 道题,一个下午」也更像操作建议。原文没有给准备成本或重复实验数据;复原环境、检查依赖、人工审查,都可能超过半天。小样本适合发现与你工作相关的明显差异,不能自动给出稳定排名。
OpenAI 同样不是中立裁判。它参与模型竞争,也审计了其他公司的基准。公开方法、披露自家基准问题值得肯定,但原文没有附上可供这里逐项核验的审计材料,具体结论仍应按来源归属理解。
我赞成把公开榜单当粗筛工具。30% 与 75% 的差距可以提供信号,78% 与 80% 的先后则需要更多证据。与完全凭手感试用相比,自建任务集更容易复查;与大型公开基准相比,它更贴近团队,却覆盖更窄,也需要持续维护。
能拿来做什么
- 选 Coding Agent 前,从团队已完成的工作里挑 10 到 20 个真实任务,并回退到修复前的 commit。先用你们确实会遇到的问题评估候选工具。
- 比较模型时,固定可用工具、提示、运行环境和资源限制,记录使用的运行框架,减少配置差异对结果的干扰。
- 每个结果都读 diff,同时检查需求是否满足、有没有无关改动,以及测试是否遗漏关键行为。样本少时,人工评审是可以承担的成本。
- 更换模型时重跑这组任务;如果两个候选只差一两道题,就继续检查失败原因,必要时重复运行,不急着宣布胜负。