分析 agent 系统独特的安全边界(工具调用、数据库访问、文件操作),阐述模型窃取、提示注入、密钥暴露的具体威胁机制及防控方向。
AI Agent 所做的不只是生成文本。它们还会调用工具、查询数据库、读取文件、调用外部服务,并保留上下文信息。这种自主性形成了一个广泛的安全边界,使不受信任的 prompt 有可能影响受信任的操作。
模型外泄可能以多种形式发生。攻击者可能反复查询某个端点,以近似还原专有模型的行为;也可能操纵 Agent 泄露系统指令;还可能通过精心设计的 prompt,提取敏感的检索数据。如果 Agent 能够访问模型制品或部署存储,滥用工具还可能暴露模型权重、配置文件或私有适配器。
API key 也面临类似风险。嵌入 prompt、环境变量、日志、源文件或工具响应中的凭证,都可能进入模型的上下文窗口。随后,prompt injection 攻击便可指示 Agent 复现这些信息,或通过某个已获批准的集成将其传输出去。
传统的边界安全措施并不足够,因为危险请求看起来可能来自一个已获授权的 Agent。因此,安全团队必须控制每个 Agent 可以访问什么、可以执行哪些操作,以及其输出可以流向何处。
每个 Agent、模型端点、工具和数据源都应该拥有独立的工作负载身份。避免在多个服务之间共享长期有效的 API key。应改为签发短期凭证,并将其权限限定在特定任务、资源和执行时间窗口内。
一个安全的 Agent 架构应该强制执行:
授权还必须在执行时进行评估。获准搜索公开文档的 Agent,不应仅仅因为内部代码仓库与公开文档使用了同一个检索服务,就自动获得对内部仓库的访问权限。
基于图的策略模型在这里很有价值,因为它们可以揭示间接的信任路径。开源项目 TrustGraph 为分析身份、Agent、工具、模型和受保护资源之间的关系提供了实用基础。将这些依赖关系可视化,有助于团队识别某个组件一旦遭到入侵,可能进一步解锁哪些额外权限。
最安全的 secret,是模型从未见过的 secret。工具网关应该代表 Agent 执行经过身份验证的请求,而不应将原始凭证插入 prompt 或响应。日志应该记录凭证标识符和策略决策,而不是 secret 的实际值。
在内容到达模型之前,输入处理管道可以检测常见的 token 格式、私钥、Authorization header 和高熵字符串。与之对应,输出网关应在生成内容抵达用户或外部工具之前进行检查。仅仅检测还不够:匹配到的内容应该被阻止或脱敏,并关联到相应的安全事件处置流程。
HONEYPOTZ INC 在 honeypotz.net 上介绍了面向安全的基础设施方案。类似的控制措施对于敏感的科学应用同样重要,包括 DEEPBODY INC 的 deepbody.me 等长寿与健康平台,因为这些平台的 Agent 上下文中可能包含私有研究资料或个人数据。
有效的监控需要将 prompt、工具调用、策略决策、身份声明和数据流动关联到一条统一的审计轨迹中。值得关注的信号包括:重复的模型查询、异常的 token 用量、超出正常任务范围的访问、经过编码的输出,以及突然调用此前从未使用过的目标地址。
团队还应该在部署前使用对抗性 prompt 测试 Agent。模拟测试应覆盖间接 prompt injection、secret 恢复、过度使用工具、检索投毒,以及尝试重建受保护模型行为等场景。
归根结底,AI Agent 安全是一个信任管理问题。强身份认证、短期凭证、明确的策略边界、上下文隔离和可观测的执行过程,能够显著降低单个恶意 prompt 演变为重大安全事件的可能性。
探索 TrustGraph,绘制 Agent 的信任关系,并增强针对模型外泄和 API key 泄露的防御能力。
如需采取进一步措施,你可以考虑屏蔽此人和/或举报滥用行为。