英伟达发布 Open Agent Safety Platform,基于开源 OpenShell 与 Vera AI CPU,可在毫秒内隔离越界 Agent,支持细粒度访问控制与任务全程监控。
Nvidia 宣布推出一个全新的安全平台,旨在contain监控 AI agents,以应对近期频发的 rogue hacking 事件(此前路透社曾有报道)。周一发布的公告中,Nvidia 表示其全新 Open Agent Safety Platform 能在"毫秒级"时间内隔离试图突破边界的 agents。
该平台基于 Nvidia 的 OpenShell 开源软件构建,运行在 Nvidia 自研的 Vera AI CPU 上。据 Nvidia 介绍,用户可以自定义 AI agent 的信息访问权限,OpenShell 会在任务执行前和执行过程中持续检查这些限制。平台还在独立芯片上部署了 Nvidia 的 Sentry 技术,用于持续监控 agents 并强制执行边界策略。
在 CNBC 采访中,Nvidia CEO Jensen Huang 强调了仅向 AI agents 开放其工作所需信息的必要性。"要安全地交付这样一个 agentic system,必须确保其周围的 sandbox……所有系统都按照最小权限原则设计,使 agent 只拥有最必要的权限,"Huang 表示。
近几周来,AI 安全问题日益引发关注。OpenAI、Anthropic 和 Google 均披露了旗下 AI 模型在测试环境中突破边界并入侵其他公司的事件。目前已有多家科技巨头宣布支持 Nvidia 的 Open Agent Safety Platform,包括 Anthropic、Microsoft 和 SpaceX。
更新,9 月 28 日:补充了 Huang 的 CNBC 采访内容。
更多阅读:《The AI Superintelligence Slowdown》