基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
  • 21 日Claude Code Hooks 与 Agent 测试实战,CI 连红6天仍合入19个PR
  • 20 日GPT-6.1 Sol单价降至五分之一,AI编程如何算成本
  • 19 日Gemini 4 Neon 对比 Carbon,编程跑分、速度与 API 价格
  • 18 日GPT-6.2 Sol 与 Astra 对比 编程评测和 API 价格
  • 17 日Qwen4-Max 2.4万亿参数与Claude Code代码验收
  • 16 日Qwen4-Max 成本降约62%,编程Agent该换模型吗
  • 15 日LongCat-2.5开放权重,1.6万亿参数模型怎么选
  • 14 日Claude Code并行编程与Memorilla 16个记忆token
  • 13 日Gemini 4 Hydrogen快2.5倍,AI编程该换模型吗
  • 12 日Claude Code 测试全绿仍出错,Codex Security 如何验收修复
  • 11 日Gemini 4 Carbon百万上下文与Qwen Code 1.0预览版
  • 10 日Claude Fable 5.2降价20%,为何评测单任务成本涨31%
  • 9 日RTX 3050跑出489.8 tok/s,AI编程跑分可信吗
  • 8 日Sonnet 4.6对比Opus 4.5,AI编程选型与验收
  • 7 日Claude Code清理技术债,600美元token账单中改码约44美元
  • 6 日AI编程日报 Kimi K3.1 Pro开放权重与代码审查降本68%
  • 5 日AI日报 GPT-6 Astra评估争议与Ripple-65B部署成本
  • 4 日Antigravity远程Agent与Claude Code缓存成本解析
  • 3 日LongCat-2.5发布,1.6万亿参数之外的AI编程验收难题
  • 2 日Claude Code 4326个测试为何仍漏掉部署问题
  • 1 日GPT-6.1 Terra与Codex的Agent成本、评测和安全
2026年11月21日 星期六人工智能 · 定期要闻VOL.2026.11.21

AI日报

AIHOT · FEINTERVIEW.POETRIES.TOP

Claude Code Hooks 与 Agent 测试实战,CI 连红6天仍合入19个PR

智能体行为评测发布门槛Claude Code钩子
24条精选资讯
≈16 min读完本页

今日看点

24 篇报道 · 约 16 分钟
  1. 01一、模型说「做完了」,怎么确认 Agent 真的办成了事?
  2. 02二、CLAUDE.md 写了还会犯错,哪些规则该交给程序?
  3. 03三、AI 代码和测试都通过了,为什么还会一起写错?
  4. 04四、便宜模型跑分接近旗舰,能直接换掉默认模型吗?
  5. 05五、Claude Code 越跑越贵,问题在上下文还是子代理?
  6. 06六、Agent 工具越装越多,怎么避免 CI 和日志先出问题?
  7. 07总结
  8. 08参考

CI 连红 6 天,19 个 PR 还是合进去了。更扎眼的是,期间新增的 36 个测试全部通过,老的 45 个失败却一直挂着。AI 写代码越来越快,负责验收的红灯反而没人看了。

这是 2026 年 11 月 21 日这份 AI 热点里,我最想先聊的反差。模型降价、语音待机、子代理缓存都关系到账单,但更直接的问题是,生成速度上来了,我们有没有能力确认它做对了。这篇沿着六条线,聊清 Agent 验收、执行边界、代码回归和模型成本,给天天交付业务的程序员留几种当天就能试的办法。

一、模型说「做完了」,怎么确认 Agent 真的办成了事?

Agent 验收同时检查调用轨迹与最终状态,n8n 回放的 103 次问题中拦住 97 次、漏放 6 次

先说结论,我会先补结果验收,再考虑给 Agent 加多少工具。

一篇 Agent 测试指南把两类东西分得很清楚。运行记录能告诉你调用了什么工具、传了哪些参数、步骤怎么走;最终状态才能证明退款到账、预订存在、文件真的被改好。只看到 issue_refund 返回成功,还不足以说明整个业务任务完成。Agent 测试指南|dev.to

这跟普通前端测试其实能接上。点击提交按钮后,按钮变成成功态是一层,服务端有没有正确记录是另一层。Agent 把中间步骤拉长了,验收不能跟着退回到看一句回复。

回复里的「已完成」,不能代替环境里的完成记录。

顺着上面聊,n8n 的外发校验案例给了一个更具体的分母。作者从历史运行中取出 182 次客服待发记录,其中 103 次被判定存在问题,代码检查拦住了 97 次,漏了 6 次。这是对已记录输出的回放,没有重新运行模型,也不能读成线上整体成功率。n8n 外发校验回放|dev.to

那 6 次漏放尤其有意思。它们都来自同一封订单状态邮件,在两个阶段各运行三次。邮件隐藏元素里带着 outage 等词,检查程序直接搜索客户文本,结果把用户看不见的内容当成了值班告警依据。

规则确实能拦错误,规则也会读错输入。

所以我不太赞成把验收全部交给另一个模型,也不赞成堆一排正则就宣布安全。订单号、权限、状态变化适合确定性检查;回复是否完整、解释是否合理,再交给有标准的模型评分或人工判断。

下面这段是在演示怎么同时检查必要调用关系和最终状态,run 与 state 都需要接入你自己的测试环境。

function verifyRefund(run, state, expected) {
  const lookup = run.calls.findIndex(
    call => call.name === 'lookup_order'
  );
  const refund = run.calls.findIndex(
    call => call.name === 'issue_refund'
  );

  return {
    orderChecked: lookup >= 0 && refund > lookup,
    correctOrder:
      run.calls[refund]?.args.order_id === expected.orderId,
    refunded: state.refunds.some(
      item =>
        item.orderId === expected.orderId &&
        item.amountCents === expected.amountCents
    ), // 查业务记录,别只查工具有没有返回成功
  };
}

最容易翻车的是最后一个状态判断,订单号和金额对上仍可能存在重复退款,真实业务还要按自己的约束补验收。

对同一个任务重复运行也很有必要。测试指南区分了 pass@k 和 pass^k,前者关注 k 次里至少成功一次,后者关注 k 次全部成功。允许反复尝试的素材生成,与必须每次正确执行的退款,不能用同一种口径报成绩。

真要今天动手,我会选一个已经接好工具的任务,重复跑几轮,同时保留调用轨迹和最终状态;再插入一次工具超时或矛盾返回,看看失败到底发生在执行、恢复,还是验收程序本身。指南没规定统一次数和发布阈值,这两个数得由业务风险决定。

二、CLAUDE.md 写了还会犯错,哪些规则该交给程序?

先按权限与订单状态筛选合法候选,再由程序绑定参数,并在 PreToolUse 阶段拦截违规调用

这里有个坑,写进项目指令的要求,不一定能约束所有执行路径。

Claude Code Hooks 那篇文章里,作者维护了 70 个脚本。他反复提醒邮件不要用某些长横线,后来才发现,已有检查只覆盖文件编辑,邮件正文根本没经过那条路径。规则写了,检查也有,入口没接上。Claude Code Hooks 实践|dev.to

检查时机也得选对。PreToolUse 可以在执行前拒绝工具调用,Stop 可以在回合结束时要求继续处理;到了 PostToolUse,动作已经发生,拦错账号发帖就晚了。

我会把这类规则分成两种。语言风格、解释顺序可以靠项目指令持续提醒;账号、订单、金额、外发权限,则应该在执行前拿确定的数据核对。

退款参数绑定的案例刚好补上了另一半。模型把实际订单号 88231 写成了不存在的 ORD-88213,收到 404 后继续尝试变体。作者补提示词能降低错误频率,但后来改成由程序提供合法候选,让模型选择,再构造调用。退款工具参数绑定|dev.to

已经在业务系统里的标识符,没必要让模型再拼一次。

下面这段解决的是让模型选候选、由程序绑定真实参数,候选必须提前按当前用户的权限和订单状态筛过。

function bindRefund(selection, candidates) {
  const { orderIndex, amountIndex, reason } = selection;
  const reasons = ['damaged', 'not_delivered', 'other'];

  if (!Number.isInteger(orderIndex)) {
    throw new Error('Invalid order selection');
  }

  const order = candidates[orderIndex];
  if (!order || !Number.isInteger(amountIndex)) {
    throw new Error('Invalid refund selection');
  }

  const amountCents = order.refundableAmounts[amountIndex];
  if (amountCents === undefined || !reasons.includes(reason)) {
    throw new Error('Invalid refund arguments');
  }

  return {
    order_id: order.id, // 标识符来自业务记录,不来自模型生成
    amount_cents: amountCents,
    reason,
  };
}

最容易翻车的是候选构造这一环,索引合法只能证明选中了某个选项,不能证明它属于当前用户,更不能证明用户授权了退款。

回到这块,n8n 作者采取的策略更保守,退款、额度发放和取消操作统一进人工队列。它会拦住一些原本可能合理的动作,但对仍在摸索自动执行条件的团队,这个取舍我能接受。

项目指令仍然有用。另一篇文章建议要求 Claude 先看代码、日志或查询结果,再决定是否接受用户的新判断;改变判断时,说清新事实、推理漏洞或遗漏约束。减少 Claude 盲从的项目指令|dev.to

这很适合排查时用,效果目前主要是作者的经验反馈,不能当作稳定性保证。你要是也在做 AI 办公提效,尤其涉及邮件、工单和外发内容,我会先挑一条能客观判断的重复错误,把正常输入和故意违规的输入各走一次,确认检查既能拦,也能放行。

三、AI 代码和测试都通过了,为什么还会一起写错?

代码与示例测试可能共享错误假设,先确定业务约定,再用性质测试和差分测试寻找反例

说实话,同一个 AI 写实现,再让它补测试,我会看,但不会因此放心。

性质测试那篇文章指出了一个很实际的问题,代码和测试可能共享同一套错误假设。比如约定接触端点的区间也要合并,实现却用了严格小于;如果生成测试时也没想到这个边界,测试可以全绿。性质测试与差分测试|dev.to

作者报告,区间合并示例通过自动生成输入找到了 [(0, 0), (0, 0)] 这个反例。不过能判定它是错误,前提仍然是业务已经约定接触端点需要合并。性质写错了,生成再多输入也只是反复执行错误标准。

我喜欢这套方法的地方,是它逼着人先回答「哪些行为必须保持成立」。归一化函数重复执行,结果是否不变;调整输入顺序,结果是否应该一致;优化后与旧实现相比,哪些输出必须相同。这些问题比让模型随手补五条示例更接近验收。

但旧实现也可能有 bug。差分测试发现不同之后,还得判断哪边符合约定。

另一篇让 Agent 持续修改生产看板的复盘,提供了让这种测试容易落地的代码结构。作者把决策逻辑放进纯函数,存储层负责文件读写,当前时间由调用方传入,核心模块不碰 fs、fetch 和系统时钟。隔离生产代码副作用|dev.to

这对业务前端很直接。优惠是否生效、任务是否超时、按钮是否可用,如果混在请求、缓存和组件生命周期里,想测一个边界就得搭半套环境。把决策函数抽出来,才能用固定数据和时间检查结果。

测试容易写,改动范围也容易说清。

大概率你也遇到过另一种麻烦,共享函数测过了,页面还是坏了。影响分析那篇建议在改代码前,让 AI 从指定函数或字段出发,逐层追到调用方、页面、API 和测试,并给出文件与行号。改代码前梳理回归范围|dev.to

这个办法我会用,但清单只能当待核对的地图。文章没给漏检率,动态引用、配置驱动入口能不能追全也没交代。静态引用可以用 IDE 对照,用户流程还得实际走。

今天就能做的版本,是挑一个准备修改的金额格式化或超时判断函数,先列受影响页面,再补一条边界性质或旧实现对照;改完跑测试,把清单上的关键页面打开。别等代码写了一半,才发现它连着三个业务入口。

四、便宜模型跑分接近旗舰,能直接换掉默认模型吗?

Sol 与 Astra 等候选应使用相同真实任务和统一验收,比较通过率、费用及人工返工时间后再选型

要我选,我会先拿真实任务复测,尤其不会把榜单差半分直接翻译成能力差不多。

关于 GPT-6.2 Sol 的文章,转述了 Cognition 的 FrontierCode 2.0 评测,称 Sol 与 Astra 相差约半分,单个完成任务的成本约为后者五分之一。文中列出的输入、输出单价则是 Astra 每百万 token 8 和 40 美元,Sol 为 2 和 10 美元。GPT-6.2 模型成本比较|dev.to

两个比例别混。相同 token 用量下,表中单价相差四倍;完成任务成本约差五倍,还会受到调用轮数、输出长度和缓存命中的影响。文章没展开评测用量,也没说明两档模型分别失败在哪些题上。

模型便宜多少,要算到验收通过之后。

Gemini 的调价文章也在提醒同一件事。按文中报价,Carbon 的每百万输入、输出 token 价格将在 12 月 1 日从 2、10 美元涨到 4、20 美元,Neon 保持 3、15 美元。假设每月 1000 万输入、200 万输出且完全不命中缓存,Carbon 从 40 美元变成 80 美元,Neon 是 60 美元。Gemini Neon 与 Carbon 价格比较|dev.to

这笔算术成立的边界很清楚,同一用量、同一计费口径、不算缓存。模型换过去后如果多重试两轮,或者默认推理消耗变了,实际账单就会偏离表格。以上价格和发布时间都来自所列文章的转述,我会把它们当作复测和核对采购预算的线索。

微软 Ignite 汇总里还有一个很容易被拿来宣传的数字。258 名评估者参与前端应用评价,MAI Code 2 的输出有 64% 的时候比 GPT-6 Sol 更受偏好。这是特定样本下的主观选择,不能替代代码正确率或维护性;文中部分低价比较还使用了五折促销价格。微软 Ignite 开发工具汇总|dev.to

前端当然关心界面观感,但一个看着顺眼的页面,如果表单状态错了、错误处理没接,还是得返工。

我会从仓库最近的真实任务里抽一小批,覆盖页面修改、类型修复、跨文件 bug 和测试修复,固定权限与验收条件跑两个候选。当天先记录通过率、费用和人工返工时间;难题再升级强模型,看看升级到底多救回了哪些任务。任务量不够时,先拿到初步结果,也别急着给整个团队换默认值。

五、Claude Code 越跑越贵,问题在上下文还是子代理?

Claude Code 成本要联看上下文、子代理、缓存和等待时间,作者调整多项配置后的峰值变化仅是短期个案

模型单价只是其中一层,工作流怎么用模型,可能更影响账单。

长会话实测里,作者在主会话达到 200K tokens 时增加提醒,但上线后的第一个完整日,单次上下文仍达到 689K。当天子代理占总用量的 56%,其中 96% 跑在 Opus 上,而提醒并不覆盖子代理。Claude Code 上下文上限实测|dev.to

后来作者调整了自动压缩窗口、子代理默认模型,又关掉三个闲置插件,接下来三天观测到的单次上下文峰值为 171K。

这个变化值得参考,但我不会据此算出一个通用省钱比例。配置同时改了几项,观察窗口只有三天,任务负载也未必相同。能确定的是,提醒没有阻止那次峰值;调整后,作者日志里的峰值降下来了。

缓存案例又补了一个容易忽略的成本。作者发现,工具列表或系统提示变化会打断可复用的前缀;在通用代理之后启动的自定义代理,首次请求可能完全读不到缓存,并写入约 59K tokens。Claude Code 子代理缓存日志|dev.to

作者改成同类型代理分批启动,先起一个,等它开始回答,再放行其余。四轮实验里,被延迟启动的代理首次请求缓存读取命中为 7/7,但没测试同类型超过三个代理同时启动,也没测订阅额度实际节省多少。

别为了缓存,把一个短任务排成漫长队列。

回到这块,我会把每次调用的上下文、缓存读取、缓存写入、模型和等待时间放在同一份记录里。否则你看到 token 少了,却不知道任务是不是慢了,看到代理并行了,也不知道是不是各自付了一遍启动成本。

语音场景也是同样的账。GPT-Live-1.1 报道称,WebRTC 待机费可以从活跃时每分钟 0.05 美元降到 0.02 美元,旧版 GPT-Live-1 也能使用待机能力。但 60% 的降幅只覆盖实际进入待机的时段,没跨过静默超时线就没有这部分节省,后端委派推理还要另算。GPT-Live-1.1 待机模式|MarkTechPost

所以今天我会先用已有日志算一次单次上下文的 p90、峰值和子代理占比,再只改一项默认设置,用相近任务对照。做语音 Agent 的团队则先拿真实通话的静默时长估账,别把整通电话都按待机价算。

六、Agent 工具越装越多,怎么避免 CI 和日志先出问题?

CI 恢复可信基线、日志写入前脱敏并收紧权限,技能校验 commit 与 SHA-256 只能保证版本一致

前面聊了模型怎么测、成本怎么算,还有一层容易被忽略,负责约束 Agent 的工具链本身也得能信。

开头那次 CI 连红,主要故障来自仓库导入时丢了可执行权限,以及两个符号链接被压成普通文件。修复还替换了不适合当前仓库的模板断言;之后 16 次运行有 15 次通过。CI 连红六天的修复记录|dev.to

其中 40 处报错都是权限问题。Git 实际记录有 34 个文件从 100644 改成 100755,两个符号链接恢复为 120000。这些不属于模型推理能力,却足以让所有回归检查失去参照。

我更在意的是作者已经定位了问题,修复仍然拖了几天。持续相同的失败,会把红灯变成背景。文章没有证明这期间真的混进了新故障,但团队已经很难通过一个红色状态判断这次 PR 是否更糟。

日志也有类似反差。一个 macOS Agent 监控工具为了排障,把完整进程命令行写入事故快照,结果连启动参数里的 Bearer token 一起落盘,其他本地账户还能读取。Agent 崩溃快照凭据泄露|dev.to

记录得更完整,未必更安全。

作者用写入前脱敏、目录 0700、文件 0600 修补,还处理了历史对象的权限。这里一个细节很容易漏,创建时指定 mode,不代表已有文件和目录会自动改权限。

再看技能安装,SourceWeft 教程把源仓库 commit 和逐文件 SHA-256 绑定,下载文件与扫描记录不一致就中止安装。这能解决版本是否一致的问题,不能证明扫描过的脚本无害。Agent 技能安装完整性校验|dev.to

我的取舍是,别把这三件事拆成互不相干的运维杂项。Hooks、skills、日志和 CI 都在影响 Agent 能读什么、能执行什么,以及出事后还能查到什么。

当天能做完的一轮检查,可以从最近迁入的脚本仓库开始,核对执行权限和符号链接,解释当前每一项 CI 失败;再抽一份事故日志看有没有命令行凭据,抽一个已安装技能看能否追到具体提交。若发现真实令牌已落盘,还要处理凭据本身,不能只给新日志加一条脱敏规则。

总结

今天这些材料里,比较扎实的是带着运行记录的个案。n8n 回放暴露了 6 次漏放,CI 作者查到了权限与符号链接故障,长会话作者记录了调整前后的上下文峰值。它们能解释各自的问题,不能直接变成所有团队的收益承诺。

我的判断是,AI 编程接下来更值得投入的地方,是把验收和执行边界接进工作流。模型负责理解需求、提出候选、生成实现;业务系统掌握身份、权限和真实状态;测试负责主动找反例。这样模型升级时,团队才有东西可以比较。

至于 Sol 能否替代 Astra、缓存启动策略能省多少、语音新版在真实口音下表现怎样,目前这些文章还不足以替你的业务回答。价格和榜单能缩小候选范围,最终还是要落到真实任务、统一验收和完整账单。

对天天写业务的前端来说,我会先让一个现有流程变得可检查,再给它加速。生成十个补丁很容易,知道其中哪几个能放心合并,才是交付能力。

参考

  • 用工具轨迹和最终状态测试智能体|dev.to
  • n8n 外发校验回放拦住 97 次错误操作|dev.to
  • 用 Claude Code Hooks 拦住反复踩的坑|dev.to
  • 让退款 Agent 从业务数据绑定订单号|dev.to
  • 用项目指令减少 Claude 盲从|dev.to
  • 用性质测试和差分测试找出 AI 代码漏洞|dev.to
  • 让 AI 改生产代码前,先隔离副作用|dev.to
  • 让 AI 在改代码前梳理回归范围|dev.to
  • GPT-6.2 Sol 编程跑分接近 Astra|dev.to
  • Gemini 4 Neon 与 Carbon 将在 12 月价格反转|dev.to
  • 微软开发工具更新,模型、审查与浏览器代理|dev.to
  • 调低 Claude Code 默认上下文上限的实测|dev.to
  • Claude Code 混用子代理类型可能推高缓存成本|dev.to
  • GPT-Live-1.1 上线,语音待机费用下调|MarkTechPost
  • CI 连红六天,19 个 PR 仍被合并|dev.to
  • 编程代理的崩溃快照可能泄露访问令牌|dev.to
  • 安装 Agent 技能前,先核对扫描版本|dev.to
  • 前端进阶之旅

今日看点

01一、模型说「做完了」,怎么确认 Agent 真的办成了事?02二、CLAUDE.md 写了还会犯错,哪些规则该交给程序?03三、AI 代码和测试都通过了,为什么还会一起写错?04四、便宜模型跑分接近旗舰,能直接换掉默认模型吗?05五、Claude Code 越跑越贵,问题在上下文还是子代理?06六、Agent 工具越装越多,怎么避免 CI 和日志先出问题?07总结08参考
← 返回精选