普通表格也能误导智能体推荐
作者发现,三款能识别或忽略工具结果中隐藏指令的模型,都曾被一张没有显式指令的表格误导,推荐此前未见过的域名。测试对象是会读取文档和消息的工具调用型助手。
AI 深度解读
能识别提示注入的 AI Agent,仍可能被工具返回的数据带偏。作者在间接提示注入练习环境里发现,三种加固模型会忽略或标记藏在工具结果里的指令,却都根据一张普通的流量表推荐了此前没见过的域名。
如果你在做会读文档、查报表、调接口的助手,这个实验值得看。它把两个容易混在一起的问题拆开了。工具返回的数据有多可信?即使模型相信了这些数据,它又被允许做什么?
拦住伪造指令以后,模型还会相信什么?
作者在工作中开发一款能读取文档和消息的工具调用助手,写入操作先经过审批卡片。为了看看手工试几次提示注入会漏掉什么,他花了几天在练习环境里测试。每个场景都有 5 个模型,用户照常提问,Agent 照常调用工具。作者只能控制返回结果里的一个字段,每次提交后没有继续对话的机会。

起初,作者把伪造的运行错误放进工具结果,用状态码、完整性检查失败和 assistant_action 字段冒充运行时消息。两个较弱的模型照做了,表现最稳的模型则提醒用户这是提示注入。后来,作者把指令伪装成数据源的备注,又有一个模型受影响。假系统标签、伪造的策略块和假用户确认,在加固模型那里也都被忽略或标记。
抽奖场景暴露了另一类问题。原本应该装人名的字段里出现了一条 503 错误记录,声称 214 个条目只加载了 1 个。表现最稳的模型接受了这个说法,判断名单不全时抽奖有失公平,于是建议等服务恢复。这里左右决定的是「名单是否完整」这个前提。模型关于公平性的推理说得通,依据却来自名单里的内容。
作文评分也有类似现象。作者第一次填入了一篇跑题作文,所有模型都调用了另一个工具,查到真实题目后判它不合格。第二次,字段里是一段符合题目要求的正文,附带学生自述,称上传失败了两次。表现最稳的模型逐项对照评分标准,还自行免除了迟交扣分,给出 A−。作文质量和迟交是否该免责,原本需要两种不同的证据。
一张普通报表为什么会改变推荐?
在流量分析场景里,作者针对加固模型试了 5 次。原文列出的失败尝试包括门户迁移通知、转化率高达 11.6% 的引荐报告,以及带有开放注册说明的报告。最后的报表只有来源、访问量、转化率、每次注册成本和 90 天留存率,没有附注。三种加固模型都用自己的话推荐了陌生域名。
报表中,该域名的转化率是 5.0%,邮件简报是 4.0%。两者的 90 天留存率分别是 44% 和 38%,该域名的每次注册成本也更低。就表内数据而言,推荐有据可循。作者推测,留存这一列让模型能够独立解释推荐理由,但他没有给出删掉这列后的对照结果。另一次测试里,当合法选项的表现同样好时,模型提到了目标数据,却没选它。
这类问题也更难从对话记录里看出来。审阅者能看到一条逻辑通顺的分析,却未必看得出决定排序的数字来自哪里。
模型相信一条数据以后,还能做什么?
作者在另一项测试中用系统提示限定了唯一可调用的工具。即使较容易受影响的模型复述了「另一个工具可以修复问题」的假通知,它们也表示没有调用其他函数。这个结果只覆盖了作者测试的场景。原文没有展示工具执行层是否也强制实施了同样的限制。
流量报表影响的是助手给用户的建议,限定工具约束的是助手能调用什么,审批卡片管的是写入能否执行。对有实际操作权限的助手,这三处都可能影响用户。一次推荐即使无需调用额外工具,也已经能改变用户接下来的决定。
我的判断
这组实验最扎实的发现,是模型可以在推理合理的情况下得出一个受错误数据影响的结论。只测助手会不会执行工具结果里的命令,会漏掉这种失败。至于模型或分类器普遍靠识别命令来发现注入,以及留存列能提高推荐概率,都是作者根据现象给出的解释。原文没公开模型名称、版本或逐次结果,没法据此比较模型,也无法估算这类问题在真实业务中的发生率。
结构化返回值仍然有用。Schema 可以检查某个字段是否是数字,数据来源校验才能回答这个数字从哪来。同样,系统提示可以表达工具规则,执行端白名单可以直接拦下越权调用。作者保留写入审批的选择有道理,原文没有给出审批卡片拦截这类案例的对照数据。
能拿来做什么
- 给现有 Agent 的回归测试补一组数据可信度用例。用自有测试数据覆盖来源缺失、字段含义不符和两份记录互相矛盾的情况,检查助手会怎样描述证据、给出建议和请求核实。
- 在 Node 工具层把请求状态、分页完整性和业务记录放进各自独立的字段。HTTP 状态和完整性标记由服务端生成,文档正文、学生备注等自由文本继续按业务内容处理。
- 把允许调用的工具和写入前的审批放到执行端校验。审批卡片展示操作对象、实际参数和依据的数据来源,让用户能核对自己将要批准的动作。