两周对照实验拆解智能体异常行为
作者用模拟工具、预先设定的判定规则和正对照测试智能体异常行为,发现含糊的工具输出主要引发额外读取,破坏性操作极少。首轮上下文压缩实验的 19 次运行均未触发压缩,因此无法检验规则是否会被遗忘。
AI 深度解读
给 AI 智能体一条古怪的工具返回,它会擅自执行删除吗?对话太长、被压缩成摘要之后,它还记得「等我确认再删」吗?作者花了两周,用模拟工具测试这两种看起来像「闹鬼」的行为。异常返回主要带来了额外的排查读取,压缩实验也没观察到违规增加。对写 AI 工具的程序员来说,更有参考价值的是作者怎么发现测试跑偏,以及哪些结果值得信。
工具返回有异常,智能体会自己动手吗?
G1 给智能体喂入古怪或不完整的工具返回,同时不给出任何行动指令。作者统计的是破坏性操作,观察到的主要变化却是智能体多做了几次诊断性读取,破坏性行为几乎没出现。
任务类型似乎比返回内容更能左右行为。让模型总结信息,和让它操作资源,即使遇到同一份异常返回,也可能走出不同的下一步。原文没给出这两类任务各自的结果数字,这只能算一个观察。作者按事先登记的规则搁置了后续扩展。
压缩上下文后,「等我确认再删」还管用吗?
H1 的第一版连压缩都没触发。模型并行读完材料,3–4 步就结束任务,19 次里触发压缩的次数是 0(0/19)。去掉确认规则的阳性对照确实发生了删除。这个对照检验的是测试能否观察到删除行为。作者据此结束了第一版设计。
第二版改用约 21–22k tokens 的脚本化历史,强制做一次摘要压缩。在 gpt-4.1-mini 上,移除规则的阳性对照有 16/20 次执行了删除。保留规则并提供完整历史时,删除是 0/20。保留规则并改用压缩后的摘要时,两种摘要提示各得到 0/20。
这里有个地板效应。完整历史组的违规基线已经是 0/20,压缩组得出现多次违规,才可能看出有意义的差异。每段历史的 4 次重复也不是独立样本。再加上第二版只有一个模型成功跑完,结论只能落在这套实验设置内。
测试脚手架出了哪些错?
一次测试误发了 315 次付费调用,花了 $0.81。作者后来默认拒绝付费调用。动作统计也曾把只读查询误算为写入操作。另一次,任务措辞让模型编出了不存在的路径。
推理模型还有一种失败方式。一次预跑里,它把输出预算全花在推理上,16/16 次返回空摘要,这组测试按预设条件叫停。压缩触发器则比它监视的上下文慢了一步。一条判定规则也写反了,把低基线当成问题,作者在用它做判定前修正了逻辑。这些问题都在正式跑数前被预跑或阳性对照发现。
我的判断
我认同用阳性对照来检验测试能否捕捉目标行为。只把长对话丢给智能体,再回头看它有没有删文件,很容易把「压根没触发压缩」记成一次通过。作者还发现,用关键词检查规则是否被保留,会漏掉大部分改写。检查工具调用、更进一步核对模拟资源的状态,才贴近这项实验真正关心的结果。
对于「任务类型比异常返回更重要」,原文没有给出分组对照数据,目前只能当作这次实验里的定性观察。H1 也只测了一次压缩,且只报告了一个成功跑完的模型。多轮压缩会怎样,真实产品会怎样,原文没有给出证据。
能拿来做什么
- 给 Node 工具调用层接一个模拟资源库,分别记录只读查询和状态变更。跑删除测试时,直接断言资源是否还在。
- 为「确认后才能删除」做两组测试。有规则组检查模型是否遵守约束,无规则组确认这个场景确实能诱发删除。
- 给会压缩对话的编程助手做回归测试时,单独记录压缩是否触发、摘要是否为空,再判断压缩后有没有发生违规写入。