CI 连红 6 天,19 个 PR 还是合进去了。更扎眼的是,期间新增的 36 个测试全部通过,老的 45 个失败却一直挂着。AI 写代码越来越快,负责验收的红灯反而没人看了。
这是 2026 年 11 月 21 日这份 AI 热点里,我最想先聊的反差。模型降价、语音待机、子代理缓存都关系到账单,但更直接的问题是,生成速度上来了,我们有没有能力确认它做对了。这篇沿着六条线,聊清 Agent 验收、执行边界、代码回归和模型成本,给天天交付业务的程序员留几种当天就能试的办法。
一、模型说「做完了」,怎么确认 Agent 真的办成了事?

先说结论,我会先补结果验收,再考虑给 Agent 加多少工具。
一篇 Agent 测试指南把两类东西分得很清楚。运行记录能告诉你调用了什么工具、传了哪些参数、步骤怎么走;最终状态才能证明退款到账、预订存在、文件真的被改好。只看到 issue_refund 返回成功,还不足以说明整个业务任务完成。Agent 测试指南|dev.to
这跟普通前端测试其实能接上。点击提交按钮后,按钮变成成功态是一层,服务端有没有正确记录是另一层。Agent 把中间步骤拉长了,验收不能跟着退回到看一句回复。
回复里的「已完成」,不能代替环境里的完成记录。
顺着上面聊,n8n 的外发校验案例给了一个更具体的分母。作者从历史运行中取出 182 次客服待发记录,其中 103 次被判定存在问题,代码检查拦住了 97 次,漏了 6 次。这是对已记录输出的回放,没有重新运行模型,也不能读成线上整体成功率。n8n 外发校验回放|dev.to
那 6 次漏放尤其有意思。它们都来自同一封订单状态邮件,在两个阶段各运行三次。邮件隐藏元素里带着 outage 等词,检查程序直接搜索客户文本,结果把用户看不见的内容当成了值班告警依据。
规则确实能拦错误,规则也会读错输入。
所以我不太赞成把验收全部交给另一个模型,也不赞成堆一排正则就宣布安全。订单号、权限、状态变化适合确定性检查;回复是否完整、解释是否合理,再交给有标准的模型评分或人工判断。
下面这段是在演示怎么同时检查必要调用关系和最终状态,run 与 state 都需要接入你自己的测试环境。
function verifyRefund(run, state, expected) {
const lookup = run.calls.findIndex(
call => call.name === 'lookup_order'
);
const refund = run.calls.findIndex(
call => call.name === 'issue_refund'
);
return {
orderChecked: lookup >= 0 && refund > lookup,
correctOrder:
run.calls[refund]?.args.order_id === expected.orderId,
refunded: state.refunds.some(
item =>
item.orderId === expected.orderId &&
item.amountCents === expected.amountCents
), // 查业务记录,别只查工具有没有返回成功
};
}
最容易翻车的是最后一个状态判断,订单号和金额对上仍可能存在重复退款,真实业务还要按自己的约束补验收。
对同一个任务重复运行也很有必要。测试指南区分了 pass@k 和 pass^k,前者关注 k 次里至少成功一次,后者关注 k 次全部成功。允许反复尝试的素材生成,与必须每次正确执行的退款,不能用同一种口径报成绩。
真要今天动手,我会选一个已经接好工具的任务,重复跑几轮,同时保留调用轨迹和最终状态;再插入一次工具超时或矛盾返回,看看失败到底发生在执行、恢复,还是验收程序本身。指南没规定统一次数和发布阈值,这两个数得由业务风险决定。
二、CLAUDE.md 写了还会犯错,哪些规则该交给程序?

这里有个坑,写进项目指令的要求,不一定能约束所有执行路径。
Claude Code Hooks 那篇文章里,作者维护了 70 个脚本。他反复提醒邮件不要用某些长横线,后来才发现,已有检查只覆盖文件编辑,邮件正文根本没经过那条路径。规则写了,检查也有,入口没接上。Claude Code Hooks 实践|dev.to
检查时机也得选对。PreToolUse 可以在执行前拒绝工具调用,Stop 可以在回合结束时要求继续处理;到了 PostToolUse,动作已经发生,拦错账号发帖就晚了。
我会把这类规则分成两种。语言风格、解释顺序可以靠项目指令持续提醒;账号、订单、金额、外发权限,则应该在执行前拿确定的数据核对。
退款参数绑定的案例刚好补上了另一半。模型把实际订单号 88231 写成了不存在的 ORD-88213,收到 404 后继续尝试变体。作者补提示词能降低错误频率,但后来改成由程序提供合法候选,让模型选择,再构造调用。退款工具参数绑定|dev.to
已经在业务系统里的标识符,没必要让模型再拼一次。
下面这段解决的是让模型选候选、由程序绑定真实参数,候选必须提前按当前用户的权限和订单状态筛过。
function bindRefund(selection, candidates) {
const { orderIndex, amountIndex, reason } = selection;
const reasons = ['damaged', 'not_delivered', 'other'];
if (!Number.isInteger(orderIndex)) {
throw new Error('Invalid order selection');
}
const order = candidates[orderIndex];
if (!order || !Number.isInteger(amountIndex)) {
throw new Error('Invalid refund selection');
}
const amountCents = order.refundableAmounts[amountIndex];
if (amountCents === undefined || !reasons.includes(reason)) {
throw new Error('Invalid refund arguments');
}
return {
order_id: order.id, // 标识符来自业务记录,不来自模型生成
amount_cents: amountCents,
reason,
};
}
最容易翻车的是候选构造这一环,索引合法只能证明选中了某个选项,不能证明它属于当前用户,更不能证明用户授权了退款。
回到这块,n8n 作者采取的策略更保守,退款、额度发放和取消操作统一进人工队列。它会拦住一些原本可能合理的动作,但对仍在摸索自动执行条件的团队,这个取舍我能接受。
项目指令仍然有用。另一篇文章建议要求 Claude 先看代码、日志或查询结果,再决定是否接受用户的新判断;改变判断时,说清新事实、推理漏洞或遗漏约束。减少 Claude 盲从的项目指令|dev.to
这很适合排查时用,效果目前主要是作者的经验反馈,不能当作稳定性保证。你要是也在做 AI 办公提效,尤其涉及邮件、工单和外发内容,我会先挑一条能客观判断的重复错误,把正常输入和故意违规的输入各走一次,确认检查既能拦,也能放行。
三、AI 代码和测试都通过了,为什么还会一起写错?

说实话,同一个 AI 写实现,再让它补测试,我会看,但不会因此放心。
性质测试那篇文章指出了一个很实际的问题,代码和测试可能共享同一套错误假设。比如约定接触端点的区间也要合并,实现却用了严格小于;如果生成测试时也没想到这个边界,测试可以全绿。性质测试与差分测试|dev.to
作者报告,区间合并示例通过自动生成输入找到了 [(0, 0), (0, 0)] 这个反例。不过能判定它是错误,前提仍然是业务已经约定接触端点需要合并。性质写错了,生成再多输入也只是反复执行错误标准。
我喜欢这套方法的地方,是它逼着人先回答「哪些行为必须保持成立」。归一化函数重复执行,结果是否不变;调整输入顺序,结果是否应该一致;优化后与旧实现相比,哪些输出必须相同。这些问题比让模型随手补五条示例更接近验收。
但旧实现也可能有 bug。差分测试发现不同之后,还得判断哪边符合约定。
另一篇让 Agent 持续修改生产看板的复盘,提供了让这种测试容易落地的代码结构。作者把决策逻辑放进纯函数,存储层负责文件读写,当前时间由调用方传入,核心模块不碰 fs、fetch 和系统时钟。隔离生产代码副作用|dev.to
这对业务前端很直接。优惠是否生效、任务是否超时、按钮是否可用,如果混在请求、缓存和组件生命周期里,想测一个边界就得搭半套环境。把决策函数抽出来,才能用固定数据和时间检查结果。
测试容易写,改动范围也容易说清。
大概率你也遇到过另一种麻烦,共享函数测过了,页面还是坏了。影响分析那篇建议在改代码前,让 AI 从指定函数或字段出发,逐层追到调用方、页面、API 和测试,并给出文件与行号。改代码前梳理回归范围|dev.to
这个办法我会用,但清单只能当待核对的地图。文章没给漏检率,动态引用、配置驱动入口能不能追全也没交代。静态引用可以用 IDE 对照,用户流程还得实际走。
今天就能做的版本,是挑一个准备修改的金额格式化或超时判断函数,先列受影响页面,再补一条边界性质或旧实现对照;改完跑测试,把清单上的关键页面打开。别等代码写了一半,才发现它连着三个业务入口。
四、便宜模型跑分接近旗舰,能直接换掉默认模型吗?

要我选,我会先拿真实任务复测,尤其不会把榜单差半分直接翻译成能力差不多。
关于 GPT-6.2 Sol 的文章,转述了 Cognition 的 FrontierCode 2.0 评测,称 Sol 与 Astra 相差约半分,单个完成任务的成本约为后者五分之一。文中列出的输入、输出单价则是 Astra 每百万 token 8 和 40 美元,Sol 为 2 和 10 美元。GPT-6.2 模型成本比较|dev.to
两个比例别混。相同 token 用量下,表中单价相差四倍;完成任务成本约差五倍,还会受到调用轮数、输出长度和缓存命中的影响。文章没展开评测用量,也没说明两档模型分别失败在哪些题上。
模型便宜多少,要算到验收通过之后。
Gemini 的调价文章也在提醒同一件事。按文中报价,Carbon 的每百万输入、输出 token 价格将在 12 月 1 日从 2、10 美元涨到 4、20 美元,Neon 保持 3、15 美元。假设每月 1000 万输入、200 万输出且完全不命中缓存,Carbon 从 40 美元变成 80 美元,Neon 是 60 美元。Gemini Neon 与 Carbon 价格比较|dev.to
这笔算术成立的边界很清楚,同一用量、同一计费口径、不算缓存。模型换过去后如果多重试两轮,或者默认推理消耗变了,实际账单就会偏离表格。以上价格和发布时间都来自所列文章的转述,我会把它们当作复测和核对采购预算的线索。
微软 Ignite 汇总里还有一个很容易被拿来宣传的数字。258 名评估者参与前端应用评价,MAI Code 2 的输出有 64% 的时候比 GPT-6 Sol 更受偏好。这是特定样本下的主观选择,不能替代代码正确率或维护性;文中部分低价比较还使用了五折促销价格。微软 Ignite 开发工具汇总|dev.to
前端当然关心界面观感,但一个看着顺眼的页面,如果表单状态错了、错误处理没接,还是得返工。
我会从仓库最近的真实任务里抽一小批,覆盖页面修改、类型修复、跨文件 bug 和测试修复,固定权限与验收条件跑两个候选。当天先记录通过率、费用和人工返工时间;难题再升级强模型,看看升级到底多救回了哪些任务。任务量不够时,先拿到初步结果,也别急着给整个团队换默认值。
五、Claude Code 越跑越贵,问题在上下文还是子代理?

模型单价只是其中一层,工作流怎么用模型,可能更影响账单。
长会话实测里,作者在主会话达到 200K tokens 时增加提醒,但上线后的第一个完整日,单次上下文仍达到 689K。当天子代理占总用量的 56%,其中 96% 跑在 Opus 上,而提醒并不覆盖子代理。Claude Code 上下文上限实测|dev.to
后来作者调整了自动压缩窗口、子代理默认模型,又关掉三个闲置插件,接下来三天观测到的单次上下文峰值为 171K。
这个变化值得参考,但我不会据此算出一个通用省钱比例。配置同时改了几项,观察窗口只有三天,任务负载也未必相同。能确定的是,提醒没有阻止那次峰值;调整后,作者日志里的峰值降下来了。
缓存案例又补了一个容易忽略的成本。作者发现,工具列表或系统提示变化会打断可复用的前缀;在通用代理之后启动的自定义代理,首次请求可能完全读不到缓存,并写入约 59K tokens。Claude Code 子代理缓存日志|dev.to
作者改成同类型代理分批启动,先起一个,等它开始回答,再放行其余。四轮实验里,被延迟启动的代理首次请求缓存读取命中为 7/7,但没测试同类型超过三个代理同时启动,也没测订阅额度实际节省多少。
别为了缓存,把一个短任务排成漫长队列。
回到这块,我会把每次调用的上下文、缓存读取、缓存写入、模型和等待时间放在同一份记录里。否则你看到 token 少了,却不知道任务是不是慢了,看到代理并行了,也不知道是不是各自付了一遍启动成本。
语音场景也是同样的账。GPT-Live-1.1 报道称,WebRTC 待机费可以从活跃时每分钟 0.05 美元降到 0.02 美元,旧版 GPT-Live-1 也能使用待机能力。但 60% 的降幅只覆盖实际进入待机的时段,没跨过静默超时线就没有这部分节省,后端委派推理还要另算。GPT-Live-1.1 待机模式|MarkTechPost
所以今天我会先用已有日志算一次单次上下文的 p90、峰值和子代理占比,再只改一项默认设置,用相近任务对照。做语音 Agent 的团队则先拿真实通话的静默时长估账,别把整通电话都按待机价算。
六、Agent 工具越装越多,怎么避免 CI 和日志先出问题?

前面聊了模型怎么测、成本怎么算,还有一层容易被忽略,负责约束 Agent 的工具链本身也得能信。
开头那次 CI 连红,主要故障来自仓库导入时丢了可执行权限,以及两个符号链接被压成普通文件。修复还替换了不适合当前仓库的模板断言;之后 16 次运行有 15 次通过。CI 连红六天的修复记录|dev.to
其中 40 处报错都是权限问题。Git 实际记录有 34 个文件从 100644 改成 100755,两个符号链接恢复为 120000。这些不属于模型推理能力,却足以让所有回归检查失去参照。
我更在意的是作者已经定位了问题,修复仍然拖了几天。持续相同的失败,会把红灯变成背景。文章没有证明这期间真的混进了新故障,但团队已经很难通过一个红色状态判断这次 PR 是否更糟。
日志也有类似反差。一个 macOS Agent 监控工具为了排障,把完整进程命令行写入事故快照,结果连启动参数里的 Bearer token 一起落盘,其他本地账户还能读取。Agent 崩溃快照凭据泄露|dev.to
记录得更完整,未必更安全。
作者用写入前脱敏、目录 0700、文件 0600 修补,还处理了历史对象的权限。这里一个细节很容易漏,创建时指定 mode,不代表已有文件和目录会自动改权限。
再看技能安装,SourceWeft 教程把源仓库 commit 和逐文件 SHA-256 绑定,下载文件与扫描记录不一致就中止安装。这能解决版本是否一致的问题,不能证明扫描过的脚本无害。Agent 技能安装完整性校验|dev.to
我的取舍是,别把这三件事拆成互不相干的运维杂项。Hooks、skills、日志和 CI 都在影响 Agent 能读什么、能执行什么,以及出事后还能查到什么。
当天能做完的一轮检查,可以从最近迁入的脚本仓库开始,核对执行权限和符号链接,解释当前每一项 CI 失败;再抽一份事故日志看有没有命令行凭据,抽一个已安装技能看能否追到具体提交。若发现真实令牌已落盘,还要处理凭据本身,不能只给新日志加一条脱敏规则。
总结
今天这些材料里,比较扎实的是带着运行记录的个案。n8n 回放暴露了 6 次漏放,CI 作者查到了权限与符号链接故障,长会话作者记录了调整前后的上下文峰值。它们能解释各自的问题,不能直接变成所有团队的收益承诺。
我的判断是,AI 编程接下来更值得投入的地方,是把验收和执行边界接进工作流。模型负责理解需求、提出候选、生成实现;业务系统掌握身份、权限和真实状态;测试负责主动找反例。这样模型升级时,团队才有东西可以比较。
至于 Sol 能否替代 Astra、缓存启动策略能省多少、语音新版在真实口音下表现怎样,目前这些文章还不足以替你的业务回答。价格和榜单能缩小候选范围,最终还是要落到真实任务、统一验收和完整账单。
对天天写业务的前端来说,我会先让一个现有流程变得可检查,再给它加速。生成十个补丁很容易,知道其中哪几个能放心合并,才是交付能力。
参考
- 用工具轨迹和最终状态测试智能体|dev.to
- n8n 外发校验回放拦住 97 次错误操作|dev.to
- 用 Claude Code Hooks 拦住反复踩的坑|dev.to
- 让退款 Agent 从业务数据绑定订单号|dev.to
- 用项目指令减少 Claude 盲从|dev.to
- 用性质测试和差分测试找出 AI 代码漏洞|dev.to
- 让 AI 改生产代码前,先隔离副作用|dev.to
- 让 AI 在改代码前梳理回归范围|dev.to
- GPT-6.2 Sol 编程跑分接近 Astra|dev.to
- Gemini 4 Neon 与 Carbon 将在 12 月价格反转|dev.to
- 微软开发工具更新,模型、审查与浏览器代理|dev.to
- 调低 Claude Code 默认上下文上限的实测|dev.to
- Claude Code 混用子代理类型可能推高缓存成本|dev.to
- GPT-Live-1.1 上线,语音待机费用下调|MarkTechPost
- CI 连红六天,19 个 PR 仍被合并|dev.to
- 编程代理的崩溃快照可能泄露访问令牌|dev.to
- 安装 Agent 技能前,先核对扫描版本|dev.to
- 前端进阶之旅