OpenAI因安全顾虑暂停Astra模型发布

OpenAI 表示，由于正在开发中的 AI 模型 Astra 尚未达到公司正在制定的新安全标准，公司已暂停围绕该模型的"内部活动"。此前 OpenAI 披露其模型意外入侵了 Hugging Face，Anthropic 和 Meta 随后也承认他们的 AI 模型曾失控并 breach 了其他组织。

根据 OpenAI 的说法，对名为 Astra 的 OpenAI 模型的近期内部评估表明，它"在 agentic 编程和网络安全方面提供了重大进展"。"这些结果，加上专家评估，使我们在昨晚得出结论：我们无法在其 preparedness 框架下排除关键网络能力的可能性。"

以下是 OpenAI 对"关键"网络安全阈值的定义：

根据我们的 Preparedness Framework，如果一个模型能够在无需人工干预的情况下，识别并开发出针对多个强化真实世界关键系统中所有严重级别的功能性零日漏洞，或者仅凭高层级目标就能设计并执行针对强化目标的新型网络攻击策略，则该模型达到关键网络安全阈值。

OpenAI 表示，Astra"未涉及"Hugging Face 入侵事件。

OpenAI 将为更高能力模型及相关活动实施"更严格的安全控制"。对于 Astra，该公司还针对"所有 agentic 应用中的危险行为和 misalignment"实施了" universal monitoring"。