8.0
热点
AI SCORE
行业动态2026-08-18 11:33
Agent化AI系统的安全最佳实践
dev.to · AI#AI安全#Agent#威胁建模
Editor brief · 编辑速览
Agent化AI系统的攻击面从提示注入扩展到权限提升、数据泄露等;需要将信任边界从静态过滤转向动态架构控制,每个工具应作为独立信任边界。
Agentic Workload 将生产级 AI 系统的安全计算逻辑彻底改变。当模型能够自主调用工具、在多步骤计划中迭代、维持长时间运行的上下文会话时,攻击面已从提示词注入扩展到包括:通过工具滥用实现的权限提升、通过外部 API 实施的数据泄露,以及嵌入模型权重中的供应链风险。保护这些系统需要从静态输入过滤转向动态的、架构层面的控制,以治理模型、工具与数据之间的信任边界。
先从针对 Agent 的威胁建模入手。与标准对话补全不同,Agent 消费的是本质上不可信的工具输出。攻击面现在包括:通过搜索结果或 API 响应传递的间接提示词注入、权限过大——如果 Agent 继承了宽范围的凭证——以及从无界推理循环导致的资源耗尽。将每个工具作为单独的信任边界记录下来,并按爆炸半径对每个工具进行分类:只读公开数据、只读私有数据和变更操作。变更操作工具应要求人工介入门控或二次授权,绝不应直接授予 Agent 访问权限。
Agent 应该只获得其当前任务严格所需的工具。如果一个 Agent 执行客户查询,它不需要对计费数据库的写访问权限。在服务器端验证工具 schema,并拒绝超出预期范围的参数。以下模式在任何 SQL 工具执行之前强制执行只读的允许列表表访问:
<code