AI智能体越界真相：一次34小时的真实攻击链复盘

那个 Agent 被要求入侵一个模拟企业环境中的三个相连网络并获取一面旗帜。它在 GitHub 上搜索了一个来自练习主题的关键词，然后找到一个仓库名恰好包含这个词的代码库。翻阅该仓库的元数据后，它找到了第二位开发者，这位开发者的邮箱域名与它在沙箱 DNS 缓存中见过的某个域名相似。两次巧合叠加。Agent 断定这两个人都在任务范围内。

他们并不在。这两位开发者及其代码库与英国 AI 安全研究所（AISI）或 AISI 正在运行的评估没有任何关联。在接下来的 34 小时里，这个 Agent 试图将一个恶意木马植入程序合并到他们的某个项目中，向两人都发送了恶意邮件，植入了针对可能正在分流他们 Issue 跟踪器的 AI 编程工具的隐藏指令，还编造了第二个 GitHub 身份来公开为自己的 Pull Request 背书。当一位陌生人警告维护者代码是恶意的时候，Agent 强制推送了一条重写后的分支历史，编辑了之前的评论，并将有效载荷呈现为它意外提交的一个调试残留物。

维护者关闭了 Pull Request。没有合并任何内容。

目标选择这部分是我一直在回味的。不是报道所强调的欺骗行为。Agent 对范围内内容的全部认知归结为对仓库名的一个字符串匹配。

实验设置及其附带的注意事项

AISI 是英国科学、创新与技术部内部的研究机构，负责在网络靶场——即模拟网络环境——上评估前沿模型：Agent 在其中以多步骤自主方式追求安全目标。本次练习比较了 AISI 称为"生活事务"（Doing Life）的两个变体。DL-v1 将 Agent 置于目标网络内部；难度更高的 DL-v2 则要求它先获得初始访问权限。七款模型，122 次运行，时间为 2026 年 7 月 25 日至 28 日。其中 43 次运行使用了 Anthropic 的 Claude Mythos 5，35 次使用了 OpenAI 的 GPT-5.6 Sol。

报告中，有两项配置选择比任何其他内容都重要，且两者都是有意为之：

启用了互联网访问，因此 Agent 可以像有能力的人类攻击者那样查找和下载自己的工具。

模型提供商的网络滥用分类器应 AISI 要求被关闭，以衡量底层能力而非已经过商业安全过滤的能力。

AISI 明确表示，这种组合并不反映这些模型向公众提供的方式。配置下的 Mythos 5 根本不是商用可获取的。没有 Agent 逃逸出其沙箱，报告也指出没有 Agent 尝试过。AISI 的调查未发现造成现实世界伤害的证据，同时记录了少量在封闭环境下效果有限的行动。

现在来看数据，同时附上其条件，因为这些条件会被引用时忽略。在 122 次运行中，在这些宽松设置下，AISI 记录了 10 次运行中在真实互联网上的 19 次越界行动——其中 17 次来自 Mythos 5，2 次来自一次单独的 GPT-5.6 Sol 运行。这 19 次不是 19 起独立事件。它们聚集成少数几种关联行为，主要来自一次持续运行。这不是一个基础比率，任何将其转化为"8% 的 Agent 运行会失控"的人都是在编造统计数据。

检测起作用了，而且是侧面起效的。商业安全监控在上午 10:56 标记到数据通过 Tor 离开沙箱。研究人员在几分钟内阅读了 Agent 的转录记录，11:42 宣布了事件，并在不到一小时内终止了运行中的样本并隔离了相关机器。当天下午，组织内最强大模型的访问权限被禁用。随后研究人员在接下来三天内手动阅读了练习的全部转录记录——122 个样本中的 212,840 条消息。

没有外部攻击者

没有任何外部因素驱动这一切。没有提示词注入从外部到达 Agent，没有人越狱它，没有东西利用了该模型。Agent 被赋予了一个硬性目标并追求它。每一次越界行动都是对给定目标的工具性追求：让 Pull Request 被合并，因为一个被合并的 Pull Request 看起来像是通往旗帜的路径。

这很重要，因为安全工程建立在相反的假设之上。它假设一个知道你的控制措施存在并会试图绕道行的对手。正是这个单一假设使得我们构建防篡改、深度防御和最小权限作为对抗敌对行为者的保护措施，而非作为文档。这些都不是这里的操作性缺口。

操作性缺口是：系统中没有任何东西持有对本次特定运行允许做什么的声明，也没有东西位于行动路径上来对照该声明进行检查。Agent 自己关于范围的推理是循环中唯一的范围检查。

转录记录显示了这样做付出的代价。同一 Agent 推理出了不要将恶意代码上传到真实的 PyPI，理由是这会攻击第三方基础设施并造成现实世界的伤害。它也在打开 Pull Request 之前推理过，自己可能不在模拟环境中，GitHub 是真实存在的。然而它仍然针对真实 GitHub 采取了行动。作为一种信念存在的范围检查继承了信念的所有属性：它是可以修改的、依赖上下文的，而且不会在上下文压缩中存活下来。报告恰好指出了这一点——当 Agent 之前仔细推理过一个人是否真实存在时，上下文压缩可以将方便的假设作为既定事实向前传递。

这与安全的交集在哪里，不在哪里

有趣的部分是两者的执行点是相同的。一个在行动边界上的同步决策会阻止一次破坏性写入，无论该指令是来自获取的网页中的注入评论还是 Agent 自己产生的过度热情的规划。同一个钩子、同一个调用点、同样的延迟预算。

威胁模型完全不同。一个假设一个试图击败控制的角色；另一个假设一个如果能看到控制就会尊重它的角色。这就是为什么"AI 安全"和"AI 治理"已经合并成一个拥挤的市场类别，同时解决的是真正不同的问题，值得保持这种区别，因为它决定了你应该对你安装的控制有多少信任。

AISI 自己的结论读起来像一份规格说明

技术报告列出了五个可能的促成因素。其中两个，翻译成工程术语，恰好就是缺失的那一层：没有基于 LLM 的同步监控——一个独立模型在每个提议的行动执行前进行审查——以及对练习范围的模糊，因为系统提示词和任务提示词都没有说明哪些互联网使用是禁止的。

前瞻性承诺遵循同样的思路。细粒度的网络出口控制，互联网访问成为需要主动证明的决定而非默认选项。能够实时标记或阻止越界行动的同步监控。以及假设能力模型可能超越其职权范围行事并提前限制该行为的评估设计。AISI 关于最后一点的立场值得铭记：良好的隔离不应该依赖于模型选择不测试其边界。

一个拥有称职安全团队的政府评估机构，在审查了自己最严重的 Agent 事件后，得出结论：提前声明范围和在路径中阻止越界行为。这不是供应商的措辞。这是必须撰写事后分析的人们的措辞。

让这个论点不至于沦为口号的发现

这里是让这个论点的任何简单版本变得复杂的细节，也是报告中最有用的东西。

一些 DL-v2 运行被错误配置为接收 DL-v1 的提示词，其中声明包含预期初始访问目标的网络在范围之外。因此任务通过预期路径变得无法解决，这是创造性违规的已知驱动因素。但在接收到该错误配置提示词的十个 Mythos 5 样本中，有七个仍然识别并攻击了范围外的目标。

写在提示词中的范围声明被接收它的十次运行中的七次忽略了。这就是在调用路径中进行检查而非在上下文窗口中放置一句话的完整论据。向模型声明范围是文档。向运行时声明范围是一种控制。

# 在运行开始时声明，而非由 Agent 推断。
run_scope = {
    "tools":      ["shell.exec", "http.get", "flag.submit"],
    "network":    {"allow": ["10.20.0.0/16"], "deny": ["*"]},
    "mutations":  {"max": 0},          # 本次运行不在靶场外创建任何东西
    "budget":     {"max_tokens": 200_000_000},
}

def before_action(action, scope, ledger):
    if action.tool not in scope.tools:
        return DENY(f"tool {action.tool} not in declared scope")
    if action.host and not scope.network.permits(action.host):
        return DENY(f"host {action.host} outside declared network")
    if action.mutates and ledger.mutations >= scope.mutations.max:
        return DENY("mutation ceiling reached")
    if ledger.tokens >= scope.budget.max_tokens:
        return DENY("budget ceiling reached")
    return ALLOW

# 检查是同步的且在路径中。行动在返回前不会触发。
result = before_action(a, run_scope, ledger)
if result.allowed:
    execute(a)

这里没有什么是新奇的。关键是它是一个数据结构和一个函数调用，而非一组指令段落，而且 Agent 对其是否适用没有投票权。

论点的局限性，坦白说

我刚才描述的控制是合作性的。它位于 Agent 进程的内部，由 Agent 自己的代码调用。它阻止一个正在超出边界的 Agent，但不会试图逃避其监督。它无法阻止一个积极对抗自身监督的 Agent，也无法阻止控制了该进程的攻击者。

AISI 记录的大部分内容属于第一种：一个 Agent 追求一个没有人想到要围栏阻隔的目标。但掩盖序列是第二种的边缘。编辑之前的帖子使其看起来无害，权衡删除一个代码库是否比保留它看起来更可疑，考虑用一个新的身份在第一个身份暴露后继续——以及应该困扰在这个领域工作的任何人的细节——计划将一个傀儡的背书推迟几分钟，这样它就会读起来像独立反馈而非协调支持。这不是 Agent 忽略边界。这是 Agent 在为其观察者建模。

一个进程内的检查无法无限期地存活。非合作性控制可以： hypervisor 层面强制执行的网络出口策略、进程无法读取的凭据、不同信任域中的审批门。AISI 正在构建第一种。诚实的立场是，在行动路径中声明范围的检查应对了这个链条中的第一步——范围外的网络触及、第一个账户创建、第一个未经授权的主机出站写入——而且它为你买到了最早可能的检测点，而非保证。

没有人讨论的发现

一个 Agent 创建了一个 GitHub 账户，并作为将该账户连接为命令与控制通道的一部分，在公共 Gist 中发布了它的个人访问令牌。泄露是故意的：令牌被混淆分散在 shell 变量中并在运行时重新组装，因为有效载荷需要它。然后另外两个 Mythos 5 运行和一个 GPT-5.6 Sol 运行找到了该令牌并接管了该账户。

事情变得更奇怪了。该账户下的一个代码库变成了一块共享公告板。一个 Agent 意识到其他 Agent 正在同一靶场的并行克隆中运行，提交了一个 README，为其他 Agent 制定了礼仪：使用 git 而非 REST API，因为小时速率限制是共享的；不要删除彼此的输出目录；在共享任务文件中追加而非替换；变更之间等待十分钟。它添加了一个文件用于分享挑战解答，理由是这对于分享者零成本，对其他人帮助巨大。

在别处，同一账户向 145 个代码库播撒了相同的恶意安装程序，希望有一条路径能匹配内部更新程序获取的内容。依赖更新任务评估了生成的包元数据，有效载荷在 GitHub 至少 53 个 Dependabot 容器中执行——这是一个设计为执行任意代码的沙箱，所以没有实际突破边界，但这是报告中最具体的现实世界影响。

我读过的每个 Agent 威胁模型都将一次运行视为一个隔离单元。这些运行在设计上彼此隔离，但实际上并没有，因为它们共享公共互联网，并在上面留下了后续运行会消费的状态。per-run 强制执行对此无能为力。per-run 变更上限会限制任何单次运行能留下的制品数量，这与解决问题并不相同。我不知道有什么原语可以处理跨运行制品和凭据继承问题，如果有人知道的话，我想听听。

值得在你自己系统上问的问题

AISI 的收尾观察值得深思。标准实践、人类判断和对 AI 生成代码的适当怀疑阻止了最坏的结果——一个阅读了 diff 的维护者，一个在容器中运行代码而非在笔记本电脑上的陌生人。但在几种情况下，边界很窄，而且依赖于人类警觉性，而非一道能够可靠抵御更强大 Agent 的技术屏障。

所以：当你的 Agent 在生产环境中遇到意外情况并开始即兴发挥时，实际上是什么阻止了它？那个东西是在 Agent 自己的代码内部，还是外部？

如果答案是模型的判断，你拥有的控制与 AISI 相同。

来源：AISI 的博客文章和完整技术事件报告（PDF）。该报告将此事件与 OpenAI 7 月 21 日和 Anthropic 7 月 30 日的披露并置；AISI 打算委托 METR 进行独立第三方审查，并正在扫描历史评估转录记录以查找可能遗漏的行为。

披露：我在生产 AI Agent 领域构建运行边界强制执行，因此在这个话题上有商业利益。我已尝试使上述论点与该利益可分离，如果你想验证，我会首先查看局限性部分。