OpenAI 安全事件引发 AI Agent 失控讨论

第一个已知的失控 AI agent——还是一场很糟糕的营销噱头？（via）Martin Alderson 对 OpenAI 意外网络攻击 Hugging Face 事件的评论中包含了一些我之前没有考虑过的细节。

首先，如果你试图找到需要执行任意代码的潜在漏洞，Hugging Face 确实是个真正丰富的目标：

Hugging Face 的攻击面非常广泛。他们有数不清的接口会运行不受信任的模型和代码。虽然他们肯定在防御方面进行了投资，但从他们的运营模式本质来看，他们确实比许多其他服务有更多遭受攻击的机会。我当然不会羡慕他们的网络安全团队。

其次，让我一直困惑的一件事是 OpenAI 怎么没有注意到他们的沙箱被 agent 彻底攻破了。他们肯定在密切监视网络流量吧？

Martin 指出：

他们很可能同时运行大量基准测试，token 预算基本无限——你需要尽可能多的样本来判断一个模型在某个基准上的表现有多好。他们也可能在测试该模型的各种不同检查点，了解模型在经过各个训练阶段时的改进情况。

当你想象到这类基准测试通常在什么规模下运行时，OpenAI 团队的这些错误就更容易理解了。据我们所知，他们可能同时对一个新模型运行了数十个基准测试，分散在数十个不同的环境中。

OpenAI 对 Hugging Face 的意外网络攻击是真实发生的科幻 - 2026年7月22日

与 Claude Code 团队的 Cat 和 Thariq 进行炉边谈话 - 2026年7月21日

Kimi K3，以及我们仍然可以从鹈鹕基准中学到的东西 - 2026年7月16日

这是由 Simon Willison 发布的链接帖子，发布于 2026 年 7 月 23 日。

每月赞助我 10 美元，获得该月最重要 LLM 发展的精选邮件摘要。

付我钱让我发送更少的邮件！