基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
编程提效2026-11-20 16:56

SWE-sweep 测试编程智能体自主找错和修复

dev.to · AI#编程智能体#基准评测#缺陷定位
Editor brief · 编辑速览

Meta 研究人员设计的 SWE-sweep 只给智能体代码仓库,要求它自行定位并修复问题,再通过隐藏测试验证。评测覆盖 100 个仓库、22 种语言和 4,068 个已知缺陷,受测模型的最高修复率为 4.7%。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

把 bug 报告从任务里拿掉,编程 Agent 还能修掉多少问题?Meta 研究人员推出的 SWE-sweep 把真实仓库交给 Agent,让它自己找问题、定位并提交修复。面对 100 个仓库中已知的 4,068 个 bug,表现最好的受测模型也只修复了 4.7%,结果由隐藏测试验证。

如果你在评估 AI 代码审查或仓库巡检,这个分数提醒你多问一句:平时测到的修复能力,有多少依赖人类已经把问题描述清楚?

拿掉 bug 报告,评测多考了什么?

有 bug 报告时,Agent 通常能从现象、复现步骤或报错信息入手。即使报告没指出哪行代码有问题,它也缩小了排查范围。SWE-sweep 只给 Agent 一个真实仓库,省掉了故障现象、位置和类型这些线索。Agent 得先从代码里发现异常,再判断它是否构成缺陷,最后给出补丁。

这套评测由 Meta 研究人员推出,其中两位曾参与创建 SWE-bench。它更贴近主动巡检这类任务。比如在收到工单后修一个页面异常,和在没人报错时扫一遍仓库,找出哪些行为可能出错,是两种不同的工作。

4.7% 衡量的是整个任务的完成率

SWE-sweep 覆盖 100 个真实仓库、22 种编程语言和 4,068 个已知 bug。最高的 4.7% 衡量的是从发现到修复、再到通过隐藏测试的完成比例。只指出可疑代码,或者提交了补丁但未通过验证,都无法拿到这部分分数。

论文和项目站点于 2026 年 10 月 1 日发布。按原文记录,GitHub 仓库当时有 246 颗星,尚无 Release,也未注明许可证。原文没有列出最高分对应的模型、运行预算和各语言的分项成绩,单凭这篇短文还无法比较不同模型或语言的表现。

我的判断

SWE-sweep 有用的地方,是把「自己找到一个值得修的问题」纳入了评分。带报告的评测仍适合衡量工单处理能力,也更容易把排查范围和验证条件固定下来。要评估一个会主动巡检仓库的 Agent,就得看它在没有具体问题提示时能做到哪一步。

原文把低分主要归因于发现困难,但没有给出同一模型、同一批 bug、相同预算下有无报告的对照,也没有给出「发现了多少,其中修好多少」的分项数据。发现是主要瓶颈,读这篇短文时应把它当作作者的判断。隐藏测试能验证已知缺陷是否修好,一次巡检会提多少误报、需要多少人工复核,还得另外测。

能拿来做什么

  • 从前端或 Node 仓库挑几个已有回归用例的历史 bug,检出修复前的版本。给同一个 Agent 相同的时间预算,分别跑一轮有报告和无报告的任务,最后用事先留出的用例验收。
  • 给团队的 Agent 评测分别记录「确认找到的缺陷数」「其中通过验证的修复数」和「误报数」。发现得少,就先查它看了哪些路径。发现得多却修不对,再看补丁和验证过程。
  • 如果你在比较模型,先固定仓库版本、工具权限和运行预算,再更换模型。这样分数有变化时,至少能排除这几项设置的影响。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
用 Python 搭建可追溯页码的本地 PDF 问答
下一篇
企业 AI 助手的五道权限检查

资讯速览

dev.to · AI · 2026-11-20 16:56

AI 评分 8.0 / 10

相关标签

#编程智能体#基准评测#缺陷定位

继续阅读

  • 文件锁冲突会让部分编程智能体停工
  • 用 Python 搭建可追溯页码的本地 PDF 问答
  • 企业 AI 助手的五道权限检查
  • Docker编程沙箱支持本地和云端迁移
  • OpenSRE 诊断 CI 失败并提交待审修复