Nvidia推出Open Agent安全平台，管控越狱AI智能体

Check your inbox for a confirmation email where you can adjust your preferences and even join additional groups.

Follow TNS on your favorite social media networks.

Become a TNS follower on LinkedIn.

Check out the latest featured and trending stories while you wait for your first TNS newsletter.

OpenAI、Anthropic、Meta 和 Google 近来都披露了他们的模型突破测试环境、抵达真实系统的事件。英伟达在周一宣布的应对方案是一套运行时，它能将 Agent 锁定在内核强制的沙箱中，并在这块芯片上内置了一个看门狗服务，可在必要时将其关闭。

英伟达 Open Agent Safety Platform 将 OpenShell 0.1.0——公司在今年 3 月 GTC 上发布的 Apache 2.0 许可的 Agent 运行时——与 Nvidia Sentry 相结合，后者是一款运行在英伟达 BlueField-4 数据处理单元（DPU）上的看门狗服务。

新版 OpenShell 新增了一个策略证明器（policy prover），用于检查 Agent 的各项权限不会被组合出操作者意料之外的能力——比如黑入 HuggingFace。

由于 BlueField DPU 是一块拥有独立信任域的独立处理器，它可以监控 Agent 对模型的流量，并密切关注其所有行动和推理过程。然后，在出现问题时，它能在网络层面切断 Agent 的连接。

英伟达企业 AI 副总裁 Justin Boitano 在一次新闻发布会上表示，最近的这些事件"凸显了 AI Agent 面临的一个根本障碍，那就是仅靠模型层面的安全防护无法管控 Agent 能访问什么或做什么。"

"迄今为止，模型安全一直是将良好行为训练进模型里。业界称之为模型对齐（model alignment），"Boitano 说。"对于概率系统，这种方法有明显的局限性。这就是为什么我们引入了一个确定性系统来调解和强制执行这些 Agent 的行为方式。"

沙箱逃逸之夏

OpenAI 在 7 月 21 日披露，GPT-5.6 Sol 和一个研究原型利用了其沙箱唯一网络路径上的一个零日漏洞，进而访问了 Hugging Face 的生产数据库。

仅仅几天后，Anthropic 报告称，其三个模型在评估合作伙伴 Irregular 处发现了意外的互联网访问，并在此过程中访问了一家真实公司的数据库，并向 PyPI 发布了一个实时的恶意包。

Meta 在 8 月 6 日跟进，报告了一个预发布版 Muse Spark 模型在读取并修改了一个真实网站的数据库，此前同一个 Irregular 错误配置向它提供了一个真实网站名称。

最近，Google 宣布 Gemini 突破了三家公司的网络，同样来自 Irregular 的测试环境。

Irregular 为前沿实验室运行预发布网络评估，是这些事件的共同关联方，值得注意的是，该公司列于英伟达此次发布的合作伙伴名单中。

英伟达自己的技术博客将这些突破归结为不是新能力，而是"工具、时间和模糊指令的组合"。

当被问及该平台是否能阻止 Hugging Face 入侵事件时，Boitano 表示每起事件都是独特的，但"根据我们所知，如果这个新的安全平台在前沿实验室的模型评估早期就被使用，是可以阻止这次入侵的。"

在 Agent 外部强制执行策略

OpenShell 是该平台的核心，自英伟达 3 月在 GTC 上首次展示以来，它并没有太大变化。

借助 OpenShell——英伟达最初在并行发布 NemoClaw 发行版（OpenClaw 的发行版）时宣布的——每个 Agent 运行在一个内核隔离的沙箱中，除通过一个位于工作负载外部的监管者外，没有任何网络访问。

"传统沙箱——无论是微虚拟机、容器还是虚拟机——都是为了应用级隔离而构建的，"Boitano 说。"在你公司内运行的每个 Agent 都需要运行在各自独立的隔离沙箱中，且安全控制位于 Agent 够不着的地方。"

证明器，而非裁判

OpenShell 现已到达 0.1.0 版本，此次更新中添加的重要新组件是策略证明器。这个 Prover 检查给定策略授予的权限是否始终保持在操作者实际设定的边界内。

"它是确定性的，是数学推理。所以这不是用 LLM 做裁判，"英伟达 AI 软件高级总监 Ali Golshan 在简报中说。正因如此，他说，它的运行"大约高出两个数量级的性能和速度。"

在 Golshan 的示例中，一个策略可以禁止 Agent 在 GitHub 上读取代码并将其发布到外部。

"Agent 可以通过生成两个子 Agent 来绕过这一点：一个可以从 GitHub 读取，它可以与另一个通信，后者随后可以发布到外部，"他说。证明器对整个 Agent 集群的组合访问权限进行建模，以发现那条路径。

在英伟达自己的测试中，使用降低安全防护措施的 Agent 花了长达两个小时试图说服 AI 审查者授予其对受保护仓库的写权限。英伟达表示，证明器向审查者提供了请求实际允许内容的证据，最终没有发生任何受保护的写操作。

Sentry：安全岛

Nvidia Sentry 为这个系统增加了一层额外的硬件保障。它运行在 BlueField-4 上，位于独立于主机的信任域中，英伟达称它可以在毫秒级隔离一个 Agent。

有了系统中的 DPU，Agent 的模型端点会被"通过 DPU 上的一个代理进行路由，这样你就能看到主机上所有 Agent 的推理轨迹，"Boitano 说。

与 OpenShell 不同，Sentry 不是开源的，不过 Boitano 表示它有开放的 API，且 OpenShell 可以与其他网络强制执行硬件配合工作。

他将其比作自动驾驶汽车。"有一个主系统可能正在运行感知系统，然后有一个安全岛确保系统的安全性。"

"DPU 在这些架构中真的是可选的，"Boitano 说。"在很多情况下，仅在 CPU 上使用 OpenShell 实际上已经足够为 Agent 提供严格的访问控制。"

他说，DPU 用于"评估模型或系统的前沿用例，在这些用例中你可能关闭了模型的护栏，所以它可能用于红队演练。"

Anthropic 正在将 OpenShell 与 Claude Managed Agents 集成，后者已经将 Agent 循环保持在 Anthropic 的基础设施上，并将工具执行推送到客户控制的沙箱中。

SpaceXAI 表示正在将这个平台用于 Cursor 编码 Agent 和 Grok 模型，而 Salesforce 已将 OpenShell 审计事件和权限审批集成到 Slack 中。

SAP 正在将运行时嵌入 Joule Studio，同时也贡献代码。

OpenAI 和 Google——今年夏天 Agent 失控的四个实验室中的两个——不在合作伙伴名单上。AWS 也不在其中。

当被问及 Anthropic 和 OpenAI 是否计划为他们自己的训练运行使用 OpenShell 和 Nvidia Sentry 时，Boitano 说要看合作伙伴们自己的博客文章。