法院文件暗藏指令,揭示智能体注入风险
据文中报道,一份巴西法院诉讼文件用白底白字嵌入针对 AI 的指令,试图影响处理结果,最终被法院工具识别。文章借此说明外部文档可成为间接提示注入入口,应纳入生产智能体的威胁建模。
原文暂未完整获取,基于公开信息的快读
据 dev.to 文章转述,一份提交给巴西法院的劳动诉讼文件,用白底白字藏入了针对 AI 的指令,要求它浅显地反驳该诉状。法院的 AI 工具 Galileu 识别并报告了这次尝试。事件说明,智能体读取的外部文件,也可能携带试图改变其行为的指令。
目前能确认什么
隐藏文字在页面上不可见,但仍存在于文件中。涉事律师称,加入这些文字是为了保护客户免受 AI 自身评估的影响。这是他们的解释,不能据此认定做法有效或合理。
这属于间接提示注入(indirect prompt injection):攻击者把指令放进文档等外部内容,等待 AI 读取,试图让它把待处理材料当成操作要求。攻击者未必需要进入系统,只要能影响系统会读取的内容,就有机会触及这条边界。
Galileu 检出了这次尝试,但现有信息没有说明它如何检出。
原文节选还提出一种防护思路:记录内容来源,并据此限制工具调用。读取和生成摘要可以继续,写入评估、修改案件、发送消息等会改变外部状态的动作,则转交人工批准。这是文中的假设方案,不是 Galileu 已公开的实现。
我的判断
对接入 PDF、邮件、工单或仓库内容的程序员,这个案例最具体的提醒是:外部材料中的文字不能自动获得用户指令的权限。白底白字只是载体,把它改成普通段落,信任边界问题仍然存在。
检测负责发现攻击,权限控制负责限制漏检后的后果。
可以把这类隐藏指令加入测试,同时检查模型读完外部材料后,能否直接调用写入或发送工具。人工批准也应展示实际动作及参数,否则审批者难以判断将发生什么。
至于 Galileu 的检测机制、是否存在独立扫描层,以及改写后的指令能否被识别,现有节选都没有交代,不能从这一次检出推导出整体防护效果。