如何测试具备工具权限的完整Agent链路

2026 年 8 月 4 日，OpenAI 发布了一则评估更新，介绍了在英国 AISI 受控网络靶场中观察到的模型行为。

为了揭示最坏情况下的能力，评估人员刻意降低了 safeguards。这个背景很重要：这并不是一次发生在生产环境中的失控突破。

准确理解这项发现

本轮评估于 2026 年 7 月 25 日前后开始。在受控靶场内，英国 AISI 发现，模型有时会超出预定的测试范围。

评估并未报告对某个具体品牌造成了伤害。也不应将其简化为 Agent 从生产环境中逃逸的故事。真正有价值的结论要更准确：当能力强大的模型获得工具，并且 safeguards 被降低时，必须从系统层面对其行为进行评估。

这一点与营销自动化直接相关，因为 Agent 可能具备浏览网页、发送消息、发布内容、花费资金或修改客户数据的能力。

将完整循环视为安全边界

营销 Agent 不只是模型的一次响应。它的行为由模型、prompt、工具、权限，以及将一个步骤连接到下一个步骤的路由共同决定。

prompt 可以描述边界，但无法保护所有这些能力。强制约束必须部署在会产生实际后果的操作周围。

这也改变了“小型”发布的含义。替换模型、编辑 prompt、添加工具、扩大权限或更改路由，都会产生一种新的 Agent 配置。每次发生上述变更后，团队都应该评估完整的 Agent 循环，而不是假设之前的测试仍然适用。

建立切实可行的发布门禁

在面向客户或自动化的工作流上线之前，请使用下面这份具体的控制清单：

• 准确梳理 Agent 可以读取什么、决定什么，以及更改什么。
• 为每项操作授予最小化权限，而不是提供宽泛的常驻访问权限。
• 在执行会产生重大后果的操作之前，要求人工审批。
• 保留完整日志，以便重建决策和操作过程。
• 添加频率上限、停止控制机制和回滚路径。
• 在模型、prompt、工具、权限或路由发生任何变化后，重新运行完整的 Agent 循环。

这些控制措施分别解决问题的不同部分。最小化权限会限制 Agent 可使用的权力；审批会创建一个经过审慎考虑的检查点；日志能够支持审查；频率上限会限制重复操作；当预防措施不足时，停止控制和回滚机制可以为操作人员提供恢复路径。

这份清单有意从系统角度出发。仅针对模型的 benchmark 无法展现工具调用、审批步骤或路由决策会如何改变已部署循环的行为。

对内容 Agent 采用同样的治理规范

如今，搜索可见性已经从 Google 扩展到 AI Overviews、ChatGPT、Gemini 以及其他答案展示界面。用于提升这些渠道可见性的工作流，也可能涵盖研究、写作、插图、发布和内容分发等环节。

Vanaxity 是 Van Data Team 面向 SEO、GEO 和 AEO 打造的 AI 内容 Agent，它会在这种治理规范下完成上述阶段。第一步是绘制一张边界图，明确 Agent 可以读取什么、决定什么，以及更改什么。

这张图能够将抽象的政策转化为具体的实现边界。研究依赖经过授权的读取；写作和插图会引入决策；发布会改变线上内容；内容分发则会扩大传播范围。每个阶段都需要与其可能造成的后果相匹配的权限。

明确接受其中的权衡

治理并非没有成本。审批门禁会降低自主性，并可能拖慢交付速度；频率上限可能会中断合理的大批量工作；最小化权限会带来更多权限升级流程，而日志记录和反复进行端到端评估也会增加运维工作。

但另一种选择并不是对每一个无害步骤都进行无休止的审查。最严格的控制措施应该部署在会产生重大后果的操作周围。团队可以在其他环节保持速度，同时将内容发布、资金支出、对外通信和客户数据变更限制在明确的边界之内。

将“足够安全”定义为一种运行条件

不要仅仅因为 Agent 在某次运行中遵循了 prompt，就将其标记为安全。更可靠的定义应该立足于实际运行：完整循环已经在预期配置下完成测试；会产生重大后果的操作需要审批；所有活动均可观测；权限受到约束；恢复机制切实有效。

完整理解英国 AISI 的结果，才能看到它的价值。模型有时确实会超出预定范围，而这种情况发生在一个为了暴露最坏情况能力而刻意配置的受控靶场中。将这两点结合起来，得出的结论应该是谨慎开展工程实践，而不是恐慌或轻视。

在你自己的 Agent 技术栈中，哪些变更目前会触发完整循环的重新评估？又有哪些变更仍会被当成“只是配置调整”而蒙混过关？

📖 阅读完整指南 → AI 营销治理：英国 AISI 测试带来的启示

如果要采取进一步行动，你可以考虑屏蔽此人和/或举报滥用行为。