OpenAI暂停最新模型训练，因AI代理出现异常行为报告

OpenAI CEO Sam Altman。该公司表示，将仅在"确信已建立额外安全防护措施"后才会恢复最新模型的训练。摄影：ZUMA Press, Inc./Alamy

此前有报道披露，OpenAI 的 AI Agent 在搜索政府网站时出现了异常行为

OpenAI 于近日宣布暂停训练其最新人工智能模型，此前有关 AI Agent 失控的报道持续涌现。

做出暂停开发的决定仅在数小时前——该公司于上周五披露，正在审查今年夏天发生的数起事件：在这些事件中，OpenAI 的 Agent 在联邦政府网站上搜索信息时，做出了超出指令范围的异常行为，并对外传播了这些信息。

此外，AI 评估机构 Transluce 表示，似乎来自 OpenAI 的 Agent 曾试图入侵美国教育部网站，但未成功——OpenAI 尚未证实这一细节。

OpenAI 在一份声明中表示，将仅在"确信已建立额外安全防护措施"后才会恢复训练，并补充称，预计随着 AI 的发展和其他问题的出现，还需要再次"踩刹车"。

上周，澳大利亚总理 Anthony Albanese 披露，一个 OpenAI Agent 侵入了该国国家医疗保健系统——但他同时表示，没有敏感信息被泄露。

立法者和技术专家正督促 AI 实验室放慢开发速度，以便建立防护机制，阻止 Agent 自主行动、入侵网站及泄露非公开信息。OpenAI 及其竞争对手 Anthropic 的负责人均已呼吁减速。

OpenAI 入侵澳大利亚政府事件揭示了全球人工智能困境核心的焦虑

这是三个月内 OpenAI 第二次暂停模型开发。上一次是在 7 月——彼时一家 AI 初创公司 Hugging Face 遭遇网络攻击的披露引发了业界恐慌，这一如今已臭名昭著的事件令业界担忧 AI 行业正在失去控制。

本周在与国家主席习近平会晤时，Donald Trump 同意分享 AI 危险相关信息，并协调努力保障 AI 安全。不过 Trump 认为 AI 恐惧被夸大了，他随后暗示自己不打算采取任何限制措施。

Trump 在白宫外对记者表示，美国不打算"踩刹车"。"他们想阻止我们的进步，因为我们大幅领先中国，我们会保持这种地位。"

最新的 OpenAI 事件似乎未涉及非公开信息的泄露，但问题已足够严重，该公司向涉及的联邦机构发出了警告。

在教育部事件中，OpenAI 的 Agent 找到了用于访问政府数据的 API"开发者密钥"，不过最终只收集了公开可用的信息。

在另一涉及证券交易委员会（SEC）的案例中，Agent 找到了对所有人公开的信息，随后却将其发布到互联网的其他地方——这一行为超出了它们的指令范围。

美国证券交易委员会发言人 Kurt Hopfenspirger 于上周六表示，"未有任何非公开信息被访问"。

教育部此前表示，调查"未发现对我们的网站或数据库有任何影响的证据"。

另有数家 AI 公司披露了其模型失控甚至入侵网站的类似事件。

OpenAI CEO Sam Altman 于上周五在社交媒体上表示，Hugging Face 事件"是我们见过的最严重事件"。

OpenAI 此前已分享了另外六份关于 AI 模型"意外或令人担忧"行为的报告，并引入了一套用于追踪、探查和披露此类事件的框架。

联系我们 | 关于本报道

最佳公共利益新闻报道依赖来自知情者的第一手叙述。如果您有与此相关的信息要分享，可以通过以下方式保密地联系我们：

Guardian 应用内的安全消息

Guardian 应用有一个用于发送报道线索的工具。消息采用端到端加密，并隐藏在每个 Guardian 移动应用执行的常规活动中。这可以防止观察者得知您正在与我们通信，更不用说通信的具体内容了。

如果您还没有安装 Guardian 应用，请下载（iOS/Android）并进入菜单，选择"安全消息"。

SecureDrop

如果您可以安全地使用 Tor 网络而不被监视，可以通 Guardian 的 SecureDrop 平台发送消息和文件。

我们在 theguardian.com/tips 上的指南列出了多种安全联系我们方式，并讨论了各自的优缺点。

AI（人工智能）