限制智能体处理外部文本时的工具权限
网页、工单和邮件等外部内容可能通过间接提示注入诱导智能体执行越权操作,造成数据外泄。文章建议使用工具白名单,将内容读取与操作执行分离,并根据用户意图校验工具参数。
AI 深度解读
一个会归纳工单、读取网页、调用 API 的 AI Agent,可能把资料里的文字当成下一步操作指令。原文讨论的就是这种间接提示注入(indirect prompt injection)。作者的结论是,控制数据外泄最有效的位置在工具执行前。对正在给 Agent 接入业务工具的前端和全栈开发者,这篇最值得读的地方是,它把一个模型判断问题拆成了可以在代码里检查的权限和参数。
为什么一张表格也能影响工具调用
Markdown 表格的单元格、CSV 的字段、用户评论和 GitHub issue,对应用来说都是待处理的数据。传给模型后,它们也成了模型判断下一步做什么的上下文。即使系统提示已经要求忽略资料中的指令,模型依然可能照着其中的文字行动。原文援引了一篇在 dev.to 获得 26 个反应的帖子,用表格说明这种风险。26 是社区互动数,原文没有给出攻击成功率。
真正决定后果的是 Agent 当时有什么权限。一个能读取会话、又能调用 http_request 或 send_email 的 Agent,可能在原本只需做摘要的任务里发出一次工具调用。调用在日志里看起来完全正常。要判断它是否越权,得知道这次任务授权了什么、请求发给谁,以及其中带了哪些数据。
工具在白名单里,参数也得符合任务
作者把工具白名单排在第一位。先按任务缩小可调用的工具范围,再用 schema 校验参数结构。接下来要检查业务授权。同一个 http_request,访问获准的文档域名和通过 POST 把完整会话发出去,可能都满足同一套 schema。因此还要限制目标域名,并由执行层判断这次调用允许发送哪些字段。
作者也建议把读取资料和执行动作拆开。负责摘要、提取或分类的组件只交付下游需要的字段,例如工单编号和分类结果。负责写入的组件再按当前任务的授权决定能否调用 create_ticket。如果交接时把整段原文塞回执行组件的上下文,它仍然会读到那些文字。拆分能减少风险,靠的是交接字段和执行权限确实收窄。
存进记忆的内容也要保留来源
一段不可信的网页内容可能先被写进摘要,再存进数据库或 Agent 记忆。下一次会话把摘要读出来时,界面上也许已经把它叫作「历史笔记」,内容的来源却没有变。作者把这种延迟出现的风险称为二阶注入。保存来源,能让后续流程继续按外部数据处理这些内容。
排查时,作者建议记录工具名、参数、促成调用的上下文片段以及结果哈希。对团队来说,重点是能重建当时的调用依据,同时别把会话正文或密钥再复制进日志。作者还建议把有问题的文档、工单和评论加入回归评测。他们提供的启动清单有 20 项检查,包含 verify-before-claim,另有一个 100 行的评测运行器,可用预先定义的结果写用例。
我的判断
我认同先做执行层授权。系统提示适合告诉模型如何处理资料,关键词过滤也能挡住部分固定措辞,但两者都无法保证一次调用符合用户授权。只做查询的流程,先把工具收窄就能控制一部分风险。流程必须一边读外部资料、一边写入业务系统时,拆分组件才更有价值,也会多出字段设计和排查成本。
原文没有给出不同模型、工具组合或防护方案的对照结果。「10 分钟修好」和「花一周猜」是作者用来说明日志价值的经验判断。工具名也不能直接代表安全性。如果 search_docs 能返回内部资料,而 create_ticket 能向外部可见的项目写入任意正文,这两个看起来克制的工具也可能连成泄露路径。评测时应看执行层实际放行了什么,模型说「我拒绝了」只是其中一个信号。
能拿来做什么
- 在 Node 的工具执行入口同时检查当前任务允许的工具、参数结构和写入目标。做工单归纳时只开放读取,创建工单时再按用户权限限制项目和可提交字段。
- 检查摘要和记忆的读写链路,保存内容来源,并给读取组件和执行组件定义结构化交接。能用工单编号和分类结果完成的动作,就只传这两个字段。
- 给 AI 编程助手加两类回归用例,分别覆盖首次读取外部资料和下一轮读取历史摘要。断言越权调用被执行层拦截,同时验证正常工单仍能创建。