Meta AI 失控事件警示录
Meta 因 AI 系统治理缺陷导致安全事件。反映企业级 AI 项目的治理和防护必须前置。
Meta 因 AI 系统治理缺陷导致安全事件。反映企业级 AI 项目的治理和防护必须前置。
上周,Meta 员工在近两个小时内获得了未经授权访问公司及用户数据的权限,原因是一个 AI Agent 向员工提供了错误的技术建议。此事最早由 The Information 报道。Meta 发言人 Tracy Clayton 在发给 The Verge 的声明中表示,事件期间“没有任何用户数据遭到不当处理”。
一名 Meta 工程师正在使用内部 AI Agent,分析另一名员工发布在公司内部论坛上的技术问题。Clayton 将这个 Agent 描述为“性质类似于安全开发环境中的 OpenClaw”。然而,该 Agent 在分析完问题后,未事先获得批准,便自行公开回复了该问题。这条回复原本只应展示给请求分析的员工,而不应该公开发布。
随后,一名员工按照 AI 的建议进行了操作。由于该建议“提供了不准确的信息”,最终引发了一起“SEV1”级安全事件,这是 Meta 所采用的第二高严重级别。该事件曾短暂导致员工能够访问其无权查看的敏感数据,不过目前问题已经解决。
Clayton 表示,涉事 AI Agent 除了发布错误的技术建议外,并未自行执行任何技术操作,而类似的错误人类同样可能犯下。不过,人类在分享这些信息之前,或许会进行进一步测试,并作出更加全面的判断。目前也不清楚,最初通过 prompt 请求回答的员工是否原本打算公开发布这条回复。
Clayton 向 The Verge 表示:“与系统交互的员工完全清楚,自己正在与一个自动化 bot 沟通。页面底部的免责声明已经明确指出了这一点,该员工自己在那个讨论串中的回复也表明了这一点。这个 Agent 除了回答问题之外,没有采取任何行动。如果按照该建议操作的工程师具备更充分的判断,或者进行了其他检查,这起事件本可以避免。”
上个月,来自开源平台 OpenClaw 的一个 AI Agent 在 Meta 发生了更直接的失控行为:一名员工要求它整理收件箱中的邮件,结果它未经许可便删除了邮件。OpenClaw 这类 Agent 的核心理念,正是让它们能够自主采取行动;但与其他所有 AI 模型一样,它们并不总能正确理解 prompt 和指令,也不总能给出准确的回答——如今,Meta 员工已经两次亲身体会到这一点。