基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
编程提效2026-11-18 21:16

八千多项测试全过,AI 写的代码仍在启动时崩溃

dev.to · AI#AI 编程#代码审查#测试验证
Editor brief · 编辑速览

作者在两个项目中用 AI 写代码并安排另一个 AI 审查,即使八千多项测试全过,仍遇到三次验证漏判。披露的案例中,审查代理只读了变更报告,作者随后要求用真实数据验证实际入口。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

作者在两个项目里用 AI 写代码,手里有 8,000 多个测试,却遇到三次测试全绿、功能照样出错的情况。问题都出在同一个环节:检查。第二个 AI 只读了摘要,交易规则只分开测过,能拦住坏证明的用例压根没执行。

这篇最值得带走的是绿灯之后的四个动作。它们能帮你弄清,刚才通过的检查到底覆盖了哪份代码、哪些输入,以及哪条真实使用路径。

第二个 AI 做评审,它到底看了什么?

AI Engineer 大会上,几场 AI 编程演讲的观看量合计约 600 万次。作者把它们归纳成四步:人做决定,AI 实现,安排检查,把发现的问题送回下一轮。他把这套流程用在两个项目里,一个交易台只向沙盒发订单,另一个安全实验室由 5 个 AI agent 构建零知识证明工具链。

某个周五,交易台一启动就崩了。缺陷已经存在了 18 天,专门测这段代码的用例一直是绿的。第二个 AI 确实做了评审,但它只看了第一个 AI 写的报告,没打开代码。作者提到,Matt Pocock 的评审流程会直接读实际提交。读摘要可以快速了解改动意图,签字前还得核对代码究竟做了什么。

每条规则都通过了,为什么一笔交易也过不去?

作者为交易台新增了 5 种交易,AI 给各条规则写了测试,数千个用例通过。等作者真的往沙盒下单,才发现整条路径有问题。他让 AI 用真实数据遍历入口,统计有多少候选能同时满足全部规则。34,622 次尝试,0 个通过。

单条规则的测试能说明它各自会放行什么。规则串起来之后,同一份输入得通过每一道检查。逐条测试里的合法样本可以各不相同,所以即使每条规则都有通过用例,整条链路仍可能把实测候选全部挡在外面。原文没交代是哪几条规则造成了这个结果。

写了拒绝用例,还要确认它真的跑过

安全实验室里的证明验证器应该拒绝错误证明,作者喂进去随机字节,却得到了「有效」。能抓住这个问题的 2 条用例已经写在测试文件里,但一次也没执行。原文没说明它们为什么没跑。

绿灯之后,作者现在做四项检查:给验证器明确该拒绝的输入,比如垃圾数据或只改了一位的数字,再去报告里找对应的执行记录;拿真实数据证明至少一个样本能通过整组规则;让评审者打开代码或实际提交;用真实组件按日常方式走一遍流程。交易台的沙盒练习模式找到了 3 个数千条测试漏掉的问题。四项检查里有两项直接来自演讲,作者说自己之前执行得不到位。

我的判断

这几个案例里,最容易推广的是核对检查证据。单元测试适合定位哪条规则出错,真实样本跑通一次可以确认多条规则确实能组合起来,沙盒演练还能覆盖启动和真实组件接线。三者各有用处。一个样本能跑通,只能证明这条路径至少有一个成功案例。

34,622 次尝试和 0 个通过是作者在一个项目里的实测结果。原文没有对照数据,四项检查能帮一般团队少漏多少缺陷,仍是经验之谈。评审环节本身也还有缺口:作者目前得手动把真实文件贴给评审者,且并非每轮都贴。评审报告已经带文件名和行号,没核对的内容会标为 unchecked,自动核对这些记录的脚本还没写。

能拿来做什么

  • 让 AI 评审前端或 Node 改动时,把实际 diff 和相关文件交给它,要求每条发现落到文件和行号,并标明哪些地方没检查。
  • 给表单校验或 Node 接口新增一组规则时,选一份脱敏的真实合法样本,从正常入口走完整条校验链,断言它能成功。
  • 给关键校验补一条明确该失败的用例,在测试报告里按用例名确认它执行过。合并前再用测试环境从启动走到这次改动涉及的操作。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
用 ijson 流式校验大 JSON 的踩坑记录
下一篇
用检查点和自评让 Agent 跑完多步任务

资讯速览

dev.to · AI · 2026-11-18 21:16

AI 评分 8.0 / 10

相关标签

#AI 编程#代码审查#测试验证

继续阅读

  • 开源项目用音频和弹幕筛选直播高光
  • 用 ijson 流式校验大 JSON 的踩坑记录
  • 用检查点和自评让 Agent 跑完多步任务
  • AskDB 将 SQL 生成与数据查询分开
  • Claude Code 按步骤路由,近半任务步骤可本地跑