AI Agent 安全隐患警告：监控风险与可靠性问题

Signal 领导者警告 agentic AI 是不安全、不可靠的监控风险

由于 agentic AI 嵌入了操作系统级别，存储整个数字生活的数据库容易被恶意软件访问，任务的可靠性在每一步都迅速下降，以及用户被默认启用而不需要同意，Signal 的领导层正在向整个行业发出警告，要求暂停部署，直到威胁能够得到缓解。

在德国汉堡举行的第 39 届混沌通信大会（39C3）上，Signal 总裁 Meredith Whittaker 和全球战略与事务副总裁 Udbhav Tiwari 发表了题为《AI Agent, AI Spy》的演讲。在演讲中，他们分享了对 agentic AI 实现方式的众多漏洞和顾虑、它给企业带来的真实威胁，以及他们建议行业如何改变以缓解这场即将来临的灾难。

AI agent 的一个关键组成部分是它们必须充分了解你并能访问敏感数据，以便能够代表你自主地采取行动，例如进行购买、安排日程和回复信息。然而，AI agent 目前的实现方式使其不安全、不可靠，并且容易被监控。

AI agent 如何容易受到威胁

微软正试图通过 Recall 功能向 Windows 11 用户引入 agentic AI。Recall 每隔几秒钟截取一次屏幕，对文本进行 OCR 识别，并对上下文和操作进行语义分析。然后它将你所做的一切创建成一份法医档案，存储在电脑上的单个数据库中。该数据库包含精确的操作时间线、完整的原始文本（通过 OCR）、停留时间以及对特定应用和操作的关注。此外，它还为特定活动分配主题。

Tiwari 表示这种方法的问题是它无法缓解恶意软件威胁（通过在线攻击）和间接（隐藏）prompt 注入攻击，所有这些都可以获得对数据库的访问权限。这些漏洞随后绕过了端到端加密（E2EE），促使 Signal 在其应用中添加了一个标志来防止屏幕被录制，但 Tiwari 表示这不是一个可靠或长期的解决方案。

为什么复杂的 agentic 任务不可靠

Whittaker 强调，agentic AI 不仅侵犯隐私且容易受到威胁，而且也不可靠。她表示 AI agent 是概率性的而非确定性的，他们在任务中采取的每一步都会降低其准确性和最终操作的质量。

她表示，如果 AI agent 的每一步都能达到 95% 的准确率——这目前是不可能的——一个 10 步的任务将产生大约 59.9% 的成功率。如果是 30 步的任务，成功率将降至约 21.4%。此外，如果我们采用更现实的 90% 准确率，那么 30 步的任务成功率将降至 4.2%。她补充说，最好的 agent 模型失败率为 70%。

如何让 AI agent 更加私密和安全

Whittaker 表示，目前还没有办法让 AI agent 同时保护隐私、安全和控制；目前只有应急措施，但公司现在可以采取措施来缓解这个问题。

• 停止 AI agent 的鲁莽部署，以避免恶意软件对明文数据库的访问。

• 将退出作为默认选项，并强制开发人员选择加入。

• AI 公司必须提供彻底的（或至少是某种程度的）透明度，说明一切如何运作，并使其在细粒度级别上可以审计。

如果行业不听取 Whittaker 和 Tiwari 的警告，agentic AI 时代可能会面临危险，主要是因为消费者可能会迅速失去对一项已经被炒作和过度投资的技术的信任。

Jon Henshaw 是 Coywolf 的创始人，也是一位拥有近三十年 SEO、数字营销和网络技术经验的行业资深人士。关注 @jon@henshaw.social