SWE-sweep 测试编程智能体自主找错和修复
Meta 研究人员设计的 SWE-sweep 只给智能体代码仓库,要求它自行定位并修复问题,再通过隐藏测试验证。评测覆盖 100 个仓库、22 种语言和 4,068 个已知缺陷,受测模型的最高修复率为 4.7%。
AI 深度解读
把 bug 报告从任务里拿掉,编程 Agent 还能修掉多少问题?Meta 研究人员推出的 SWE-sweep 把真实仓库交给 Agent,让它自己找问题、定位并提交修复。面对 100 个仓库中已知的 4,068 个 bug,表现最好的受测模型也只修复了 4.7%,结果由隐藏测试验证。
如果你在评估 AI 代码审查或仓库巡检,这个分数提醒你多问一句:平时测到的修复能力,有多少依赖人类已经把问题描述清楚?
拿掉 bug 报告,评测多考了什么?
有 bug 报告时,Agent 通常能从现象、复现步骤或报错信息入手。即使报告没指出哪行代码有问题,它也缩小了排查范围。SWE-sweep 只给 Agent 一个真实仓库,省掉了故障现象、位置和类型这些线索。Agent 得先从代码里发现异常,再判断它是否构成缺陷,最后给出补丁。
这套评测由 Meta 研究人员推出,其中两位曾参与创建 SWE-bench。它更贴近主动巡检这类任务。比如在收到工单后修一个页面异常,和在没人报错时扫一遍仓库,找出哪些行为可能出错,是两种不同的工作。
4.7% 衡量的是整个任务的完成率
SWE-sweep 覆盖 100 个真实仓库、22 种编程语言和 4,068 个已知 bug。最高的 4.7% 衡量的是从发现到修复、再到通过隐藏测试的完成比例。只指出可疑代码,或者提交了补丁但未通过验证,都无法拿到这部分分数。
论文和项目站点于 2026 年 10 月 1 日发布。按原文记录,GitHub 仓库当时有 246 颗星,尚无 Release,也未注明许可证。原文没有列出最高分对应的模型、运行预算和各语言的分项成绩,单凭这篇短文还无法比较不同模型或语言的表现。
我的判断
SWE-sweep 有用的地方,是把「自己找到一个值得修的问题」纳入了评分。带报告的评测仍适合衡量工单处理能力,也更容易把排查范围和验证条件固定下来。要评估一个会主动巡检仓库的 Agent,就得看它在没有具体问题提示时能做到哪一步。
原文把低分主要归因于发现困难,但没有给出同一模型、同一批 bug、相同预算下有无报告的对照,也没有给出「发现了多少,其中修好多少」的分项数据。发现是主要瓶颈,读这篇短文时应把它当作作者的判断。隐藏测试能验证已知缺陷是否修好,一次巡检会提多少误报、需要多少人工复核,还得另外测。
能拿来做什么
- 从前端或 Node 仓库挑几个已有回归用例的历史 bug,检出修复前的版本。给同一个 Agent 相同的时间预算,分别跑一轮有报告和无报告的任务,最后用事先留出的用例验收。
- 给团队的 Agent 评测分别记录「确认找到的缺陷数」「其中通过验证的修复数」和「误报数」。发现得少,就先查它看了哪些路径。发现得多却修不对,再看补丁和验证过程。
- 如果你在比较模型,先固定仓库版本、工具权限和运行预算,再更换模型。这样分数有变化时,至少能排除这几项设置的影响。