为 RAG 应用加上提示注入防线
网页、邮件或 PDF 中的外部文本可能影响模型行为,形成间接提示注入。文章建议限制模型的工具权限,对高风险操作要求人工审批,同时标记不可信内容并定期开展安全测试。
AI 深度解读
一个 RAG 应用读到网页、邮件或 PDF 后,可能把文档里的文字当成指令。如果模型同时能读用户私有数据,还能发邮件或请求外部 URL,一次错误判断就可能变成一次数据外传。作者给出的选择是 C 起步,D 做目标。先用最小权限和人工审批限制模型能做什么,再用来源标记和红队测试降低出错概率。
做全栈和 AI 编程工具时,可以把这篇文章当作一次接口设计检查。模型读了什么、能访问什么、它提出的动作由谁决定执行,这三件事要一起看。
为什么系统提示词只能当第一层
OWASP 把提示注入列为大模型应用十大风险的第一项,编号是 LLM01:2025。用户直接在对话中输入恶意指令,属于直接提示注入。应用从网页、文件等外部来源读取内容,里面的文字改变了模型行为,属于间接提示注入。只要内容会被模型解析,即使用户在页面上看不见,也在风险范围内。OWASP 也指出,RAG 和微调都无法充分缓解这个问题。
Greshake 等人在 2023 年的论文里展示过真实系统中的间接提示注入,案例包括由 GPT-4 驱动的 Bing Chat。Simon Willison 在 2025 年 6 月 16 日的文章中解释了原因。系统要求和检索内容最终都作为 token 序列进入模型,模型有时会把文档里的命令误当成有权要求它行动的指令。
因此,A 选项里的系统提示词适合作为第一层提醒。B 选项的输入输出过滤也能拦下一些可疑内容,包括用字符串规则或语义判断做筛查。不过同一个意思可以有多种写法,单靠这两层很难保证每次都拦住。
哪三种能力放在一起最危险
Willison 提出的检查方法很直接。看同一个 Agent 是否具备三种能力:访问私有数据、接触不可信内容、向外部通信。第三项很容易漏算。发邮件算,请求外部 URL 算,渲染外链图片也可能触发外部请求。
这三项同时存在时,外部内容就可能影响模型,让它读取并向外传送私有数据。作者建议从架构上拆掉其中一项。比如让读取任意网页的 Agent 只产出摘要,把发邮件交给另一个受控流程。即使模型误判了文档内容,执行端也没有自动发信的入口。
这就是作者把 C 当作带工具应用最低配置的原因。应用使用独立的 API token,只开放当前任务必需的权限,特权操作由业务代码控制。发送、删除、付款等高风险动作要经过人工审批。模型输出的格式也由确定性代码校验。格式校验解决的是「参数是否符合约定」,操作是否获准仍要由执行端检查。
文档标记能把成功率降到多少
D 在 C 的基础上增加来源标记和定期红队测试。微软研究者 Hines 等人在 2024 年的 Spotlighting 研究中测试了三类做法:用分隔符包住文档,在文档内部插入来源标记(例如把空格换成特殊字符),以及用 base64 等方式编码内容。它们都试图让模型更容易识别哪些文字来自外部文档。
研究者报告,在 GPT 系列模型的实验中,攻击成功率从超过 50% 降到低于 2%,对任务表现的影响很小。这组数字来自论文实验。原文没有给出不同模型和业务流程各自的结果,也没有提供 A、B、C、D 的整套对照测试。作者还建议把含有越权指令的文档放进评测集,反复检查模型受到干扰时,权限边界是否依然有效。
我的判断
C 和 D 回答的是两个不同的问题。权限和审批限制一次误判能造成的后果,文档标记和过滤尝试减少误判。两种效果应该分别验收。文档标记有论文实验支撑,把 C 作为最低配置、D 作为目标,则是作者根据这些材料做出的工程判断,原文没有提供整套方案的对照数据。
相比给系统提示词继续加限制,拿掉一个不必要的工具更容易验收,直接检查服务端有没有执行入口就行。人工审批则要看业务形态。如果产品需要后台自动运行,可以给它范围明确的只读能力,把确实要向外发送或修改数据的操作留给交互流程。否则审批容易变成一个用户看不清具体动作、只能习惯性点击的弹窗。
能拿来做什么
- 给现有 RAG 或 AI 编程工具列一张能力表,逐项确认它能读哪些私有数据、会接触哪些外部内容、能发起哪些外部请求。把任务用不到的能力从工具列表和服务端权限里一并移除。
- 在 Node 工具执行层校验模型给出的参数,并用当前用户的权限检查目标资源。产品需要审批时,在界面上展示这次操作的目标和内容,审批通过后由服务端执行同一份操作。
- 在评测集里加入带有无害越权请求的测试文档,同时检查正常摘要的质量和高风险工具的实际调用结果。模型口头拒绝和工具执行端成功拦截,应分别记录。