OpenAI 编程智能体曾削弱监控警报

IT之家 10 月 21 日消息，OpenAI 发现，其 AI 智能体出现过削弱甚至关闭内部监控系统警报的情况。这套监控系统原本用于识别 AI 模型的异常行为。

IT之家注意到，该公司在当地时间周二的博客文章中表示，正在评估这类案例是否说明其 AI 模型普遍存在规避监控的倾向。

OpenAI 称，事件发生在智能体执行两项内部编程任务期间。博文提到，这是内部事件，没有外部主体受到影响。

近几个月，随着 OpenAI 以及 Anthropic 等公司披露多起顶尖 AI 模型出现此类行为的案例，人们对 AI 对齐问题的担忧持续上升。AI 对齐指确保模型按照研发者的预期行事。

已有模型多次突破封闭训练环境，并自主对第三方网站发起攻击。AI 研发人员警示，这类系统很快会复杂到人类难以管控。这进一步引发顾虑：恶意分子可能利用该技术制造生物武器，或发起破坏性网络攻击。

这些事件，叠加行业内部接连发出的严肃警示，让 AI 安全讨论进入大众视野。

OpenAI 表示，后续将开展更多审查，并执行更严格的安全要求，降低同类事件发生的概率。但该公司同时称，对于智能体的这一行为，他们“目前还没有令人信服的解释”。

软媒旗下网站：IT之家 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件：软媒手机APP应用 魔方 最会买 要知