哈佛研究发现编程智能体把瓶颈推向代码审查
据报道,哈佛研究人员发现,引入 AI 编程智能体后,开发流程的瓶颈转移到了代码审查。
AI 深度解读
在 718 家公司的样本里,引入 AI 编程 Agent 后,工程师新增的代码量约多了 30%,已经上线的 Jira 工单却没有可检出的增长。变化最明显的是 PR 审查,从提交到合并平均多花了 3.45 天,增幅为 49%。
这项研究对开发团队最有用的地方,是把写代码、审代码和上线交付放在同一条链路上量。用这三个环节一起看,才能判断 Agent 省下的时间留在了哪里,又有多少被排队和返工吃掉。
代码多写了 30%,上线工单增加了吗?
哈佛大学博士生 Fiona Chen 和 James Stratton 把 Jellyfish 的工程活动数据,与 Revelio Labs 收集的 LinkedIn 就业记录拼在一起。样本覆盖 2021 年 1 月至 2026 年 3 月,涉及 718 家公司、725,938 名员工。论文列出 6,830 万条 Jira 工单、2.009 亿次 commit、4,910 万个 PR 和 2,130 万条日历事件,其中日历数据只来自 213 家公司。
研究采用交错双重差分(staggered difference-in-differences)。每个月,作者把已经引入 Agent 的公司与当时还没引入的公司比较,看两组公司的指标各自变了多少。这个方法能否站住脚,取决于早用和晚用的公司原先是否就在走不同的路。作者认为采购、法务与安全审批、试点周期形成的时间差提供了比较机会。访谈里,一家公司约一天就批了工具,另一位受访者给出的平均审批时间是 6 至 12 个月。大公司采用得更早,作者在分析中控制了公司规模。
在这些已经使用 AI 编码助手的公司里,引入 Agent 后,人均每月新增代码比 5,017 行的基线多了 1,494 行,约增 30%。commit 多了 20%,PR 多了 23%。这些数字衡量的是从已有助手再引入 Agent 的增量。
交付则用已解决的 Jira 工单来量,关联代码部署到生产后才算完成。人均每月基线是 3.67 个工单,估计增加 0.12 个,标准误为 0.17。这个结果在统计上无法与零区分,95% 置信区间排除了超过基线约 12% 的增幅。团队有没有转而做更大的活?研究者用 GPT-4o 给 0.5% 的工单样本标注规模,再用文本嵌入模型把分类扩展到全部工单。按这套量法,平均工单规模和 PR 大小都没有增加。
审查多出来的 3.45 天花在哪?
PR 从提交到合并原来平均要 7.03 天,引入 Agent 后多了 3.45 天。收到正式修改请求的 PR 占比从 13% 的基线上升约 12 个百分点,单个 PR 的审查评论多了 35%。参与过代码审查的员工占比在约 29% 的基线上相对增加 14%,写代码的员工占比没有可检出的变化。这里的 3.45 天是经过时间,包含等待回复和修改,论文没有把它换算成审查者多花了多少工时。
作者给出两种解释。第一种是送审量一下子多了,有审批资格的人却有限。访谈中,一名初级工程师说,项目只有一位资深工程师能批准变更,每周只能审一次自己的代码。AI 生成的 commit 引发过故障后,团队又增加了资深工程师审批要求。第二种是草稿可能更容易被打回。作者用模型把修改请求和评论增加解释为草稿质量可能下降,但这些指标也会受审查标准变化影响。两种原因可能同时存在,扩充审批人手能缓解排队,反复出现的缺陷则需要回到生成和验证环节处理。
到 2026 年 3 月,近 80% 的样本公司用过 AI 审查工具,但 AI 只产出了 23.3% 的审查评论,只有 10.8% 的 PR 收到过至少一条 AI 评论。作者称,采用这类工具后瓶颈仍然存在。原文还提到一份 2026 年 9 月修订的 NBER 工作论文,覆盖逾 50 万名 GitHub 开发者。那份研究里,自主 Agent 对 commit 的累计增幅为 240%,到实际发布时缩至 30%。两个样本都显示,上游活动量的增幅到了交付端会打折。
法律 AI 为什么也要量到人工签核?
原文把这套量法带到两个法律 AI 公告里。Harvey 在 10 月 7 日发布与 LexisNexis 合作开发的驳回动议流程,称研究与起草通常耗费 40 至 50 多小时,工具能在几小时内给出研究材料和初稿。公告保留了律师审核,却没给出审核耗时或到可递交版本的总时间。Cooley 在 10 月 8 日宣布与 Google Cloud 开发法院文件遮盖 Agent,由律师在递交前决定遮盖哪些内容,公告没有公布错误率。原文引用美国《联邦民事诉讼规则》11(b),说明律师签核涉及对法律依据和事实支撑的核查。
批量初筛可以讨论抽样验证,单份待递交文书里的虚构引文或漏遮的敏感信息则需要直接核查。软件研究没有测过法律工作,能借用的是指标设计,例如初稿退回率、每件任务的审核时间,以及从输入到批准的总耗时。研究也展示了怎么从协作系统识别部分 Agent 使用痕迹,例如机器人账号和 commit 消息或 PR 描述里的 Co-authored-by。原文提醒,记录留存与诉讼保全可能需要覆盖这些元数据。
我的判断
我会把上线工单和审查时间放在同一张团队报表里。完成量的置信区间给了我们一个可用的判断:在这批公司里,约 30% 的代码增量没有带来同等幅度的工单增长。同时,Jira 工单量只覆盖交付的一部分,对可靠性、维护成本和用户价值还得另看证据。就业结果也有类似的边界。短期估计排除了总体就业下降超过 2.9%,工程岗位的估计更不精确,只排除了超过 13.8% 的降幅,且这套分析没有覆盖竞争对手可能受到的影响。
我对「草稿质量下降」会多留一个问号。论文当前版本日期为 2026 年 8 月 4 日,是求职工作论文,原文未见完成同行评审的迹象。样本来自同意提供数据的 Jellyfish 客户,公司有商业利益,底层数据也未公开,员工通过个人许可证使用工具的情况没有被记录。研究测到了送审量、修改请求和合并耗时的变化,却没有给出统一标准下对草稿缺陷的直接检测。至于增加 reviewer、收紧送审条件或改善生成效果哪种更灵,原文没有提供干预对照数据。团队可把它们当作待验证的做法。
能拿来做什么
- 给前端或 Node 项目的 Agent 试点定一套交付口径,同期记录 PR 数、提交到合并的耗时、被要求修改的比例,以及最终部署到生产的工单数。
- PR 合并变慢时,分别记录提交到首次人工响应、收到修改请求到再次提交的时间。前者能帮助发现审批队列积压,后者结合修改原因可以定位常见返工。
- 复盘 Agent 产出的 PR 时,记下 reviewer 实际改了什么。若问题集中在类型错误、测试失败或构建失败,就先把对应的现有检查放到送审前,再观察改动有没有减少来回修改。