基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-20 12:27

为 RAG 应用加上提示注入防线

dev.to · AI#RAG#提示注入#最小权限
Editor brief · 编辑速览

网页、邮件或 PDF 中的外部文本可能影响模型行为,形成间接提示注入。文章建议限制模型的工具权限,对高风险操作要求人工审批,同时标记不可信内容并定期开展安全测试。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

一个 RAG 应用读到网页、邮件或 PDF 后,可能把文档里的文字当成指令。如果模型同时能读用户私有数据,还能发邮件或请求外部 URL,一次错误判断就可能变成一次数据外传。作者给出的选择是 C 起步,D 做目标。先用最小权限和人工审批限制模型能做什么,再用来源标记和红队测试降低出错概率。

做全栈和 AI 编程工具时,可以把这篇文章当作一次接口设计检查。模型读了什么、能访问什么、它提出的动作由谁决定执行,这三件事要一起看。

为什么系统提示词只能当第一层

OWASP 把提示注入列为大模型应用十大风险的第一项,编号是 LLM01:2025。用户直接在对话中输入恶意指令,属于直接提示注入。应用从网页、文件等外部来源读取内容,里面的文字改变了模型行为,属于间接提示注入。只要内容会被模型解析,即使用户在页面上看不见,也在风险范围内。OWASP 也指出,RAG 和微调都无法充分缓解这个问题。

Greshake 等人在 2023 年的论文里展示过真实系统中的间接提示注入,案例包括由 GPT-4 驱动的 Bing Chat。Simon Willison 在 2025 年 6 月 16 日的文章中解释了原因。系统要求和检索内容最终都作为 token 序列进入模型,模型有时会把文档里的命令误当成有权要求它行动的指令。

因此,A 选项里的系统提示词适合作为第一层提醒。B 选项的输入输出过滤也能拦下一些可疑内容,包括用字符串规则或语义判断做筛查。不过同一个意思可以有多种写法,单靠这两层很难保证每次都拦住。

哪三种能力放在一起最危险

Willison 提出的检查方法很直接。看同一个 Agent 是否具备三种能力:访问私有数据、接触不可信内容、向外部通信。第三项很容易漏算。发邮件算,请求外部 URL 算,渲染外链图片也可能触发外部请求。

这三项同时存在时,外部内容就可能影响模型,让它读取并向外传送私有数据。作者建议从架构上拆掉其中一项。比如让读取任意网页的 Agent 只产出摘要,把发邮件交给另一个受控流程。即使模型误判了文档内容,执行端也没有自动发信的入口。

这就是作者把 C 当作带工具应用最低配置的原因。应用使用独立的 API token,只开放当前任务必需的权限,特权操作由业务代码控制。发送、删除、付款等高风险动作要经过人工审批。模型输出的格式也由确定性代码校验。格式校验解决的是「参数是否符合约定」,操作是否获准仍要由执行端检查。

文档标记能把成功率降到多少

D 在 C 的基础上增加来源标记和定期红队测试。微软研究者 Hines 等人在 2024 年的 Spotlighting 研究中测试了三类做法:用分隔符包住文档,在文档内部插入来源标记(例如把空格换成特殊字符),以及用 base64 等方式编码内容。它们都试图让模型更容易识别哪些文字来自外部文档。

研究者报告,在 GPT 系列模型的实验中,攻击成功率从超过 50% 降到低于 2%,对任务表现的影响很小。这组数字来自论文实验。原文没有给出不同模型和业务流程各自的结果,也没有提供 A、B、C、D 的整套对照测试。作者还建议把含有越权指令的文档放进评测集,反复检查模型受到干扰时,权限边界是否依然有效。

我的判断

C 和 D 回答的是两个不同的问题。权限和审批限制一次误判能造成的后果,文档标记和过滤尝试减少误判。两种效果应该分别验收。文档标记有论文实验支撑,把 C 作为最低配置、D 作为目标,则是作者根据这些材料做出的工程判断,原文没有提供整套方案的对照数据。

相比给系统提示词继续加限制,拿掉一个不必要的工具更容易验收,直接检查服务端有没有执行入口就行。人工审批则要看业务形态。如果产品需要后台自动运行,可以给它范围明确的只读能力,把确实要向外发送或修改数据的操作留给交互流程。否则审批容易变成一个用户看不清具体动作、只能习惯性点击的弹窗。

能拿来做什么

  • 给现有 RAG 或 AI 编程工具列一张能力表,逐项确认它能读哪些私有数据、会接触哪些外部内容、能发起哪些外部请求。把任务用不到的能力从工具列表和服务端权限里一并移除。
  • 在 Node 工具执行层校验模型给出的参数,并用当前用户的权限检查目标资源。产品需要审批时,在界面上展示这次操作的目标和内容,审批通过后由服务端执行同一份操作。
  • 在评测集里加入带有无害越权请求的测试文档,同时检查正常摘要的质量和高风险工具的实际调用结果。模型口头拒绝和工具执行端成功拦截,应分别记录。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
Kiteline 让本地编程智能体后台运行
下一篇
复盘编程智能体的任务级联阻塞

资讯速览

dev.to · AI · 2026-11-20 12:27

AI 评分 8.0 / 10

相关标签

#RAG#提示注入#最小权限

继续阅读

  • 一份可用于选型的 MCP 服务目录
  • Kiteline 让本地编程智能体后台运行
  • 复盘编程智能体的任务级联阻塞
  • 用十个真实任务评估本地模型
  • 小模型匹配工单时,截短正文更有效