AI 代理运营应用踩坑:五类故障与护栏
一篇经创始人审阅的代理自述,复盘了缓存掩盖数据库故障、模型回退绕过校验、调度指令过期、队列过滤误判和并行部署竞态。文章强调用可执行护栏约束代理,而非依赖文字提醒。
AI 深度解读
一个 AI Agent 连续 28 天处理小型 Web 产品的代码、部署、页面、外联邮件和报告,踩出的坑并不复杂:监控报平安,数据库却已停摆;参数校验通过,实际提交的请求却不合法;队列看着很满,发送窗口里却没有可用任务。
这篇由 Agent 撰写、创始人审阅的复盘,最有用的结论是:可靠的防护必须自动执行,不能依赖 Agent 记得遵守。 不过,五类问题并未全部解决,其中几项仍停留在人工检查阶段。
健康检查返回正常,为什么用户仍然用不了
他们的技术栈是 Next.js、Cloudflare Workers,以及通过连接池访问的 Postgres。某晚 22:04 UTC,访问数据库的读取开始耗时 15 到 31 秒,/api/health 却仍在几毫秒内返回 {"db":"ok"}。
原因是连接池会缓存事务外的读取结果。select 1 的结果不会变化,探针连续 40 分钟拿到的都是内存里的答案,根本没有验证数据库当时能否响应。
下面的修改,让探针通过事务执行查询,绕过该连接池的读取缓存:
// before
await db.execute(sql`select 1`);
// after: a transaction is never cached, so a stuck database means a stuck probe
await readFresh(db, (tx) => tx.execute(sql`select 1`));
关键是 readFresh 包裹的事务路径。这里「事务不缓存」是作者所用连接池的行为,不能直接推广到所有数据库中间件。
他们还补了一个针对性测试:构造普通读取成功、事务失败的假数据库,要求健康状态返回 degraded。旧探针无法通过这个测试。
但监控修好,不等于故障查清。那次事故是用户报错后才被发现的,数据库为什么卡住,作者至今没有答案。
请求被改写以后,之前的校验就过期了
第二个问题发生在余额不足时。页面会把用户选择的配置降为免费选项,同时替换模型、长度和声音。参数校验却发生在替换之前。
原模型允许 20,000 个字符,免费模型只允许 2,500 个。用户输入了 3,077 个字符,先通过原模型的检查,再被切到免费模型,最终收到服务端的 400 invalid_prompt。
这条链路还有第二处漏洞:页面只上报 5xx 和连接中断,4xx 不留记录。回查两周数据,27 个账号保存了照片,却没有生成视频,也没有失败原因记录。其中 11 个后来可以还原为被机器人检查拦截,其余无法追溯。不能把这 27 个账号全部归因于模型降级。
修复办法是在余额处理返回最终请求后、上传之前,再校验一次:
// the request the credits check hands back is checked again, before any upload
const go = await creditsBlock(state);
if (!go) return idle();
state = go;
if (blocked(state, { pick: false })) return idle();
需要盯住的是 state = go 后面的 blocked:它检查的才是即将提交的配置。
错误记录也扩大了范围。新增的 isUnrecordedRefusal 会记录已登录用户收到的 4xx,但排除 dryRun、状态码 409,以及带有 RECORDED_HEADER、表示已记录的响应。
校验结果只对当时的请求成立。 降级、兜底或任何参数改写,都可能让原来的检查失效。
写进记忆的规则,为什么仍然会失效
第 24 天,创始人要求所有浏览器工作切换到另一个浏览器。Agent 把要求记进了笔记,却没有同步修改定时任务提示词和子 Agent 定义。
第 28 天,上下文被压缩后,Agent 又整天使用旧浏览器,因为任务入口仍然明确指定了旧工具。
修复方式是把浏览器要求直接写进定时提示词,以及所有涉及浏览器的子任务说明。笔记需要被回忆起来,任务提示则会随执行进入上下文。
但迁移仍不完整:作者用 grep 搜索定义文件,还发现 5 处旧工具名。禁止废弃工具名出现的 lint 只是作者提出的补救方案,原文没有说已经落地。
外联队列暴露了同一种遗漏。发送器按地区时间窗口,从备注中筛选对应地区的任务。队列虽然有 237 行,符合欧洲标签的只有 2 行,另有 224 行没有地区标签。最终窗口内发送量为零,系统也没有告警。原文没有解释那 2 行为什么没发出。
第 20 天,他们已经遇到过高评分候选耗尽、早间窗口空跑的问题。当时只是记下来源正在枯竭,没有补检查。
后来,237 行被补齐为欧洲 135、美洲 52、亚太 41、中东及非洲 9。新规则是在窗口开启前,统计真正符合发送筛选条件的行数,再与计划发送量比较。但数量不足时的自动告警仍未实现,这一步依然需要记得执行。
并行部署靠互相询问,挡不住真正的竞争
多个 Agent 会话共享主 checkout,并部署同一个 Worker。最初它们在部署前互相询问能否开始。某天这类请求约有 25 条,不少还被转发进创始人的聊天,淹没了重要信息。
沟通也没有实现互斥:一次部署上传时,另一次部署删除了构建目录;90 分钟后,又有会话在部署构建期间执行 git pull。
他们随后改用可检查的状态。部署前通过原子操作 mkdirSync('.deploy.lock') 抢锁,失败时返回持有者信息,包括 pid、开始时间、分支、commit 和 session,再把信息写入 .deploy.lock/info.json。
配套措施包括:
- 用
npm run deploy:status查看锁的持有者。 - 用 Git
reference-transactionhook 在部署持锁期间拒绝该 checkout 中的 pull、merge 和 commit。 - 上传前校验
HEAD与构建路径的哈希,发现变化就中止。 - 清理 pid 已死亡或超过 30 分钟的锁,并由一个后台 Agent 发送必要通知。
锁负责互斥,哈希负责发现中途变化,聊天才退回通知职责。原文没有提供引入这些措施之后的长期运行数据。
我的判断
我认同作者寻找故障机制的方式:逐项追问系统报告的状态,到底有没有被真实验证。缓存结果不能证明数据库健康,队列总量不能证明任务可执行,口头同意也不能证明共享目录不会被修改。
这些修复的证据强度不同。健康探针有能区分新旧实现的测试;请求重校验有明确的失败路径;提示词迁移和队列检查仍有缺口。作者没有给出故障率前后对照,因此「防护已经有效」更多是机制分析与短期经验,不能当作稳定性收益的定量证明。
部署方案也有适用前提:他们共享同一 checkout,目录锁正好能约束这个范围。相较之下,独立 worktree、隔离构建产物或统一 CI 部署入口,可以减少共享目录引发的竞争。原文没有比较这些方案的成本,更没有证明目录锁足以处理跨机器部署。
还有一个需要单独审查的细节:超过 30 分钟就清锁,可能误伤仍在运行的长部署。超时规则需要与任务存活状态配合,不能把「运行得久」直接当成「已经失效」。
能拿来做什么
- 检查 Next.js 或 Node 服务的健康探针是否经过缓存,并模拟「缓存可读、真实数据库不可用」,确认监控能识别这类故障。
- 找出模型切换、额度降级等会改写请求的路径,在最终参数确定后重新校验,并给用户可见的拒绝留下可追溯记录。
- 把 AI 编程流程里的强制规则放进实际执行的任务提示和检查脚本。工具迁移后,搜索定时任务及子 Agent 定义,核对旧引用是否清除。
- 并行 Agent 共用代码目录时,为部署增加互斥和构建变更检查;对于按条件消费的任务队列,监控符合筛选条件的数量,并补上不足告警。