基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
知识卡片
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
  • AI 助手随时提问,即时解析
  • AI 模拟面试模拟真实面试 + 报告
  • AI 知识地图串起全站知识点
  • AI 定制路线按你的简历现排
AI 热点
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-10-30 17:34

从四类注入入口梳理 Agent 防护

dev.to · AI#提示注入#Agent#安全
Editor brief · 编辑速览

文章将提示注入划分为直接、间接、持久化和跨代理四类,分别讨论攻击者能力、真实事件及对应控制措施。重点覆盖外部数据、跨会话上下文和代理间传递载荷,说明单层防护的局限。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

给 AI 编程助手加一句「忽略外部内容中的恶意指令」,并不能解决提示注入。Speakeasy 的 Cameron McClellan 把攻击分成直接、间接、存储、跨 Agent 四类:真正决定防线该放在哪里的,是恶意文本从哪里进入,以及什么时候被当成命令执行。

这篇值得读的地方,是把讨论从「模型够不够听话」推进到工具、记忆和权限设计。它的结论很明确:没有一种过滤器能包办所有入口,团队需要假设注入可能成功,再限制它能触达的数据和操作。

四类攻击,区别在入口和生效时间

提示注入(Prompt injection)指攻击者把指令混进模型会读取的文本,让模型偏离操作者的任务。Simon Willison 在 2022 年提出这个名称,类比 SQL 注入:不可信输入混入了可信指令。

但两者的修复难度不同。SQL 可以通过参数化查询分开语句与数据;自然语言模型的指令和资料都进入上下文,目前没有一个对应机制,能彻底保证资料不会被理解成命令。

作者按攻击路径划出四类:

直接注入最容易理解。攻击者就是输入框前的用户,通过「忽略之前的指令」或编码后的命令,尝试覆盖 system prompt。越狱(Jailbreaking)是其中针对安全策略的一类。指令层级、系统提示词加固,主要应对这个入口。

间接注入则绕过输入框。攻击者把命令放进网页、邮件、工单或工具返回值,等待 Agent 执行正常任务时读到。用户可能只要求整理资料,模型却被资料中的文字诱导去读取、发送其他数据。

存储注入是在间接注入上增加延迟。恶意内容先进入长期记忆、笔记文件或检索增强生成(RAG)的知识库,等后续会话检索时,再以「历史上下文」的身份影响模型。作者举的客服案例是解释性场景:攻击者连续提交工单,试图把指令写进客服 Agent 的记忆。这不是文中报告的一次独立实测。

跨 Agent 注入发生在协作链上。Agent A 受到影响后,把恶意指令带进发给 Agent B 的消息。B 如果直接信任同伴输出,攻击就获得了新的传播路径。

进入系统的数据,不应仅因被检索、存储或转述,就自动获得指挥系统的权限。

这四类也不是互斥分类。同一段攻击可以先通过网页进入,再被写入记忆,最后经 Agent 消息继续传播。

真正危险的是「能读秘密,也能向外发送」

原文引用了几组研究和案例,用来说明攻击已经越过聊天框。

Greshake 等人在 2023 年的论文《Not what you've signed up for》中,把指令藏进网页内容,攻击包括 Bing Chat 在内的真实 LLM 应用,展示远程控制、数据窃取和蠕虫传播。

EchoLeak(CVE-2025-32711)则利用一封特制邮件,让 Microsoft 365 Copilot 在无需用户点击的情况下外泄收件箱内容。原文还提到,2025 年针对 GitHub MCP server 的演示中,公开仓库里的恶意 issue 能诱导 Agent 泄露私有仓库的数据。

这些案例背后有一个共同条件。Willison 将它称为「致命三要素」(lethal trifecta):Agent 能访问私有数据,会接触不可信内容,还能向外通信。

三项能力单独看都有合理用途,放在同一个执行主体上,却形成了从读取秘密到向外发送的完整路径。移除其中任何一项,都能切断原文讨论的这条外泄路径,但不能据此宣布所有注入风险消失。

跨 Agent 的例子是 2024 年的 Morris II。这是一项零点击蠕虫概念验证:自我复制的提示随邮件助手的输出继续传播,无需人在中间操作。原文称传播率随上下文窗口大小和跳数扩大而变化,但没有给出具体测量值,也没有提供可供复核的实验配置。

对 AI 编程助手来说,关键问题因此不只是「它会不会听信 README」,还包括「听信之后,它能读取哪些仓库、使用哪些凭据、调用哪些外发工具」。

防线要放在文本获得权限的位置

作者给出的对应关系很实用,但应理解为控制点,而不是成功拦截的保证。

模型层负责降低直接注入成功率。OpenAI 的 instruction hierarchy 训练模型优先服从 system 和 developer 消息;Meta 的 Llama Prompt Guard 2 检查已知注入与越狱模式;Microsoft 的 spotlighting 给不可信内容加标记,帮助模型按资料处理。

这些机制都有价值,也都存在概率性。尤其是只检查用户输入的分类器,看不到稍后进入上下文的工具结果。

运行时检查因此要覆盖 Agent 读取内容的位置。MCP gateway 可以代理工具调用、检查返回内容;Agent hooks 可以在循环内部检查、改写或阻止提示、检索和工具调用。这里的关键是覆盖范围:网页读取、RAG 检索若没有经过相应检查点,部署一个 gateway 也不会自动覆盖它们。

更进一步的方案,是限制不可信文本影响执行的方式。Willison 的 dual-LLM 模式把外部内容交给没有执行权限的第二个模型处理;Google 的 CaMeL 则重构执行过程,约束环境数据对程序控制流的影响。两者都试图减少「必须准确识别每一句恶意话术」的依赖。

对存储注入,检查必须围绕写入和读取两端展开。长期记忆的写入需要验证并记录来源,检索出的内容需要再次检查,还要按用户和 Agent 隔离作用范围。RAG 知识库同样需要文档来源、允许入库的来源清单,以及定期扫描。

对跨 Agent 注入,作者强调每次调用携带身份、每一跳执行策略、完整保留审计记录。同伴 Agent 的消息也需要接受权限判断,不能把入口处的一次检查当成整条链的通行证。

最后是最小权限:凭据按 Agent 和任务限定范围,不可逆或面向外部的动作设置人工审批。即使模型已经受骗,工具端仍应限制它能做什么。

我的判断

这套分类最有用的地方,是能帮助团队检查漏掉的入口。只加固 system prompt,却允许工具结果直接指挥后续操作,防线确实没有落到主要风险上。

不过,原文没有给出四类攻击的统一测试集,也没有提供各层控制的拦截率、误报率或延迟对照。它是结合既有研究和案例整理出的工程框架,不能据此认定某个 gateway、hook 或控制平面已经有效解决问题。

有两处表述尤其需要收紧。

一是「存储注入完全击败输入过滤」。更准确的解释是:只检查当前用户输入,覆盖不了后续检索的内容。恶意文本不一定在写入时就是安全的,也可能已经包含明显攻击指令,只是当时没有识别出来。原文把「尚未执行」与「内容干净」混在了一起。

二是「模型防护只覆盖直接注入」。指令层级和不可信内容标记,也可能降低间接注入的成功率;问题在于它们不能独自构成可靠的权限边界。类似地,身份和审计有助于归责、调查,真正限制传播还需要每一跳的策略执行。

识别恶意文本和限制危险操作,是两个都要回答的问题。

相比继续堆提示词,更明确的工具权限和执行约束通常更容易检查;相比完全禁用外部内容,分离读取、决策和执行又能保留更多用途。具体代价多大,原文没有量化,团队仍需用自己的任务验证。

作者来自 Speakeasy,后半篇也明显围绕控制平面组织方案。可以拿走它的检查框架,但没必要直接接受「企业必须凑齐某套产品能力」的购买结论。

能拿来做什么

  • 给 AI 编程助手列出真实输入来源,包括 issue、README、网页、工具返回值和历史记忆,检查哪些内容会进入上下文,以及它们能否影响后续工具调用。
  • 在 Node Agent 中按任务配置工具和凭据,检查读取公开资料的执行主体是否同时持有私有仓库权限与外发能力,并在工具执行端落实限制。
  • 为 RAG 和长期记忆保留来源、写入者及作用范围,检索时继续按不可信资料处理,避免存储过程把外部文字升级成可信指令。
  • 如果使用多个 Agent,逐跳校验调用身份和允许动作,并记录消息与工具调用链;用包含恶意指令的工具结果和同伴消息,验证限制是否真正生效。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
桌面 AI 如何隔离项目记忆并支持撤销
下一篇
AI 生成代码合并前的审查清单

资讯速览

dev.to · AI · 2026-10-30 17:34

AI 评分 8.0 / 10

相关标签

#提示注入#Agent#安全

继续阅读

  • 桌面 AI 如何隔离项目记忆并支持撤销
  • AI 生成代码合并前的审查清单
  • Mistral Large 4 开放权重,自托管门槛高
  • AI 生成的 Compose 为何冷启动失败