基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
编程提效2026-11-17 21:00

Copilot 修复通过测试却未交付 PR

dev.to · AI#Copilot#交付流程#测试
Editor brief · 编辑速览

Copilot 修复了 Python schedule 在最后一个任务后仍执行休眠的问题,三个针对性测试全部通过。但它未创建分支、提交或 PR,作者最终从聊天界面取出补丁自行验证。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

Copilot 把一个 Python 调度器的 bug 修对了,独立测试全部通过,但用户要求的 pull request 始终没有出现。代码留在聊天工作区里,最后由作者手动复制出来验证。

这次实验值得看的,是「写出正确补丁」与「完成一次开发任务」之间的距离。作者用一个足够小、复现足够明确的问题,把代码能力、测试质量和交付可靠性拆开了:前一项做得好,后两项仍然需要逐件核实。

三行循环的问题,为什么原有测试看不见

实验对象是 dbader/schedule,一个小型 Python 任务调度库。作者描述的规模是一个 945 行的模块、一份测试文件,复现基于 Release 1.2.2。

Gambit-Checkmate 在 10 月 17 日提交的 Issue #670 指出:调用 Scheduler.run_all(delay_seconds=2) 时,最后一个任务执行完,程序还会再等 2 秒。即使只注册了一个任务,也要白等。

文档约定的是「任务之间」等待,代码却把等待放在每个任务之后:

for job in self.jobs[:]:
    self._run_job(job)
    time.sleep(delay_seconds)

要看的是最后一行:它没有判断后面是否还有任务,因此最后一次循环也会执行 time.sleep(delay_seconds)。

作者在运行 Copilot 前先复现了问题。注册一个任务,并模拟 sleep 后,事件顺序是 ['job0', 'sleep(2)'],正确结果应当只有 ['job0']。三个任务时,同样会多出末尾的等待。

更有意思的是,坏代码跑仓库原有测试,结果仍是 40 passed、41 skipped。作者检查发现,已有的 run_all 测试都使用默认延迟 0,没有验证非零延迟下的调用顺序。

测试全绿,只能说明已有断言成立,不能说明用户报告的行为已被覆盖。

因此,作者提前准备了独立测试,覆盖零个、一个和三个任务。测试在运行前固定并记录哈希,没有交给 Copilot。未修复代码会失败其中两项,证明它确实能识别这次缺陷,而不是写完补丁后才补出来的验收条件。

补丁正确,但这次没有考它独立找解法

作者在 fork 中镜像了 issue,把仓库和 issue 附到一个新的 Copilot agent mode 聊天,只给了一条要求:修复附带的问题,完成后创建 pull request。实验没有修改上游仓库,也没有在原 issue 下留言。

不过,issue 已经写出了修复方向:保留现有任务快照,在除第一个任务之外的每个任务执行前等待。因此,这次主要验证的是理解要求、正确实现和完成交付,不能拿来证明 Copilot 独立发现了解法。

Copilot 第一轮就写出了正确补丁:

for index, job in enumerate(self.jobs[:]):
    if index > 0:
        time.sleep(delay_seconds)
    self._run_job(job)

关键是 if index > 0:第一个任务直接运行,后续任务先等待,最后一个任务完成后自然不会再睡眠。self.jobs[:] 也被保留下来,继续遍历调用时取得的列表快照。

它还新增了 test_run_all_delays_between_jobs,模拟 sleep,验证三个任务之间的延迟。两份文件合计修改为 +20 −2。

这里有两处需要分开看。

第一,Copilot 的工作区没有安装 pytest,于是改用 Python 标准库测试运行器,得到 Ran 2 tests in 0.001s — OK。它也执行了完整测试集和类型检查,但页面一直显示加载占位,输出没有呈现。原文无法确认这两项结果。

第二,它新增的回归测试只覆盖三个任务。issue 明确提到零个、一个和三个任务,它展示的思考记录也考虑过检查零个、一个任务,却没有把这些情况写进测试。

最终补丁确实覆盖了全部情况,但这个结论来自作者的独立验证。不能把「它想到了」直接当成「它测试了」。

没有 commit 和 PR,正确代码仍然没有交付

真正耗掉作者一晚的是补丁之后的步骤。

第一轮最后一次工具调用结束后,Copilot 在 Thinking… 状态停留约 27 分钟。作者在该轮进行到 37 分钟时停止它,页面提示没有创建 pull request。

点击 Create pull request 也没有直接创建 PR,而是向聊天发送同名消息,开启第二轮。Copilot 表示会完成分支、提交两份文件、推送并调用创建 PR 的工具,随后又等待了 16 分钟,没有完成这些操作。

期间页面四次出现 We couldn't reconnect。重新连接后,最新记录还会短暂消失。作者稍后返回时,第二轮已卡到 17 分 26 秒;停止后再次要求提交、推送、开 PR,后续发送和重试仍失败,最后聊天连新消息也收不进去了。

fork 中的最终状态很明确:

  • pull request 为 Open (0)、Closed (0)。
  • 远端只有 master 和 release-1.2.2 两个分支。
  • 工作分支 fix/run-all-final-delay 没有推送,也没有 commit。

作者于是从聊天的 Changes 视图中复制完整 diff,应用到相同版本的干净仓库,再自行验证。独立测试结果是 3 passed in 0.15s;完整测试集从 40 passed 增至 41 passed,仍有 41 skipped,原有测试没有被修改。

增加的一项通过测试,就是 Copilot 新写的回归测试。

按作者事先设定的判定标准,代码缺陷可以判为 FIXED。但任务还要求创建 PR,这部分完成数是零。可确认的证据链是「从聊天恢复 diff,再本地验证」,没有可供检查的提交或 PR。

我的判断

作者最有价值的做法,是在运行前就准备能击中缺陷的独立测试。它同时证明了两件事:原代码确实有问题,恢复出来的补丁确实修好了问题。仅看原有测试全绿,或者仅看 Copilot 自述完成,都得不到同样可靠的结论。

这也暴露了评估 AI 编程工具时容易混在一起的指标:补丁正确性、测试充分性、交付完成度。此次补丁正确,新增测试的边界覆盖不完整,交付失败,三项可以同时成立。

但它只是一个 issue、一次尝试、一个晚上的记录。原文没有重复实验,没有其他工具的对照数据,也没有说明所用模型和具体产品版本。因此,不能据此推导 Copilot 普遍无法创建 PR,更不能判断卡住究竟是模型、工具调用、网络还是服务端问题。作者也明确表示不知道原因。

对于这类已知修复方向的小问题,人工直接改循环、补测试、提交,也是一条可行路径。原文没有测量两种方式的总耗时,无法证明哪一种整体更省时间。它提供的是一个具体提醒:采用 agent 后,仍要把等待、检查远端状态和故障恢复算进开发成本。

交付的判断依据,应当是已经出现的产物和可复查的结果。

能拿来做什么

  • 接手有明确复现条件的 bug 时,先写能让旧代码失败的测试。原文的零个、一个和三个任务,分别检查空集合、单个元素和多个元素,比只验证常规路径更有针对性。
  • 让 AI 修复问题时,把验收条件写到具体行为上,例如等待只能发生在任务之间。再检查新增测试是否覆盖这些条件,尤其别遗漏 issue 已经列出的边界情况。
  • 要求 agent 创建 PR 后,实际检查远端分支、commit 和 PR 是否存在。聊天里出现「准备提交」或「开始推送」,还不足以说明交付完成。
  • 如果工作区还能读取而交付流程已经失败,可以参考作者的恢复办法:保存完整 diff,在相同版本的干净副本中应用并重新测试,同时明确记录补丁来源,避免把本地恢复结果误记为已提交的成果。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
用多智能体将研究材料整理成论文
下一篇
用聚合指标和硬规则约束 AI 运维

资讯速览

dev.to · AI · 2026-11-17 21:00

AI 评分 8.0 / 10

相关标签

#Copilot#交付流程#测试

继续阅读

  • 用 Cloud Run 沙箱隔离智能体生成代码
  • 用多智能体将研究材料整理成论文
  • 用聚合指标和硬规则约束 AI 运维
  • 让 AI 沿一次真实请求讲懂代码库
  • 防止 AI 漏交任务的两条验收规则