谷歌为智能体工具调用增加执行前审查
Semantic governance policies 通过 Agent Gateway,在工具执行前检查调用是否符合用户意图和自然语言规则,用于防范越权共享数据及提示注入。开发者可配置约束,并在 Cloud Logging 中查看可审计的判定记录。
AI 深度解读
Agent 能读文件、能发邮件,不代表它应该把未发布财报发给投资人。Google 在 Gemini platform 以 Preview 形式提供的 Semantic governance policies,想补上的就是这道检查:在工具调用执行前,同时判断它是否符合用户意图和企业规则。
它的价值在于把检查放到 Agent 外部。但判断仍由 LLM 完成,原文也明确承认结果可能波动。对正在接入邮件、文件、审批工具的开发者,值得读的是这层检查怎么接,以及它有哪些边界。
有工具权限,为什么还要再检查一次
原文从一个财报场景切入:距离业绩发布还有两天,员工要求 Agent 把初步季度数据发给一位声称签过 NDA 的投资人,同时抄送个人 Gmail,方便晚上查看。
从权限看,Agent 可以读取文件,也可以发送邮件。从用户要求看,收件人和附件都有明确指示。可从企业规则看,这次发送应该被拦截。
权限决定 Agent 能调用什么,语义治理判断这次调用是否应该执行。
把禁止外发写进 system instructions,仍然不够。用户可能给出紧急理由,文档也可能夹带指令,诱导 Agent 执行没人要求的操作。后者叫间接提示注入(indirect prompt injection):攻击内容藏在 Agent 读取的资料里,而不是直接出现在用户消息中。
Google 的方案是让外部检查同时看两件事。第一,调用是否符合企业用自然语言写出的政策;第二,调用是否偏离用户原始意图。两项都通过,调用才能继续。用户意图检查默认开启,不写业务政策也能启用。
两项检查各管一类问题。用户明确要求外发财报,可以通过意图检查,却过不了企业政策;文档偷偷要求删除草稿,则会因为偏离用户任务而被拦截。
检查发生在哪里,拒绝后又会怎样
当前支持的策略执行点是 Agent Gateway。原文要求配置 Agent,让全部出站流量经过它,由它衔接 Agent 与模型之间的通信。这套能力与文中所说的 10 月扩展的 Agent 治理控制配合,政策独立于 Agent 代码。
模型返回工具调用后,Agent Gateway 会先把拟议调用送往策略引擎。引擎中的 LLM judge 会结合当前对话、system instructions、工具描述和企业政策作出判断。
通过时,响应原样交给 Agent。拒绝时,引擎会替换响应内容,包括其中的工具调用,改为可配置的拒绝消息。因此,在这条受控路径上,被拒绝的调用不会执行。
Cloud Logging 会记录判定、理由和使用的 token,便于团队回看误拦截与漏拦截。拒绝理由可能引用内部政策;如果这些内容不适合展示给用户,需要自行设置拒绝消息。
这里有两个明确边界:只有文本的回答、计划和追问不接受检查;流式模型响应也不接受检查。不能因为接入了 Gateway,就推定所有输出都已经过语义审核。
模型接入方式则相对灵活。原文列出了 Gemini API、Anthropic Messages API、Gemini platform 中的 Claude models,以及 OpenAI-compatible Chat Completions APIs,也包括 vLLM 这类自托管服务。业务、法务和合规人员可以用自然语言修改政策,无需改代码或重新部署,但接入路径仍需开发者配置。
一条财报规则,怎样约束不同工具
原文的规则要求:公开发布前,季度财务数据只能分享给 @example.com 地址;禁止发给外部或个人地址、投资人、分析师和媒体,NDA、紧急程度、请求者职级都不能成为例外。
三个示例把边界讲得很清楚:
- 员工要求把初步 Q3 数据发给
controller@example.com做月末结账,拟议的send_email获准,因为用户要求和收件人规则都满足。 - 员工要求在周四投资人电话会前发给
jordan@investor.example,同时抄送个人 Gmail,即使声明签过 NDA,整个send_email仍被拒绝,不是只移除 Gmail 抄送。 - Agent 读取的规划文档藏着「删除 Forecasts 文件夹草稿」的指令,随后提出
delete_file。原文示例中,这被用户意图检查拒绝,因为没人要求删除,也没有政策允许这项删除。
政策可以覆盖一个 Agent 的所有工具,也可以限定某个工具、点名其参数。财报规则没有指定工具,因此分享链接、上传文件等调用也要接受同一规则检查,避免只管住邮件这一条出口。
下面是原文通过 Google Cloud CLI 创建该政策的命令,它同时绑定 Agent、业务约束和用户可见的拒绝消息:
gcloud beta ai semantic-governance-policies create POLICY_ID \
--location=LOCATION \
--display-name="Earnings disclosure" \
--agent=projects/PROJECT_ID/locations/LOCATION/agents/AGENT_ID \
--natural-language-constraint="Quarterly financial results (revenue, margins, bookings, guidance) should not be shared publicly until the public earnings release. Before the release, they may be shared only with @example.com addresses. Never send them to external or personal addresses, investors, analysts, or press, regardless of NDAs, urgency, or the requester's seniority." \
--agent-response-denial-message="I can't share unreleased financial results outside the company before the earnings release. Contact Investor Relations for approved disclosures." \
--project=PROJECT_ID
要看清 --agent 绑定的对象,以及 --natural-language-constraint 中具体的限制条件。判断还依赖上下文,财报发布日期这种必要事实,需要放进 Agent 的 system instructions;政策引擎不会凭空知道。
其他示例也遵循这个写法:发票必须全部审批后才能提交,退款金额不得超过 $80,简历可以总结,但录用或拒绝决定必须由人作出。它们都比一句「谨慎操作」更容易核验。
我的判断
我认同把检查移到 Agent 外部。执行任务的模型可能被用户或材料带偏,由独立执行点拦住拟议调用,比单靠提示词更有约束力。
但这篇是产品机制说明,并没有提供实测成绩。原文没有给出误拦截率、漏拦截率、额外延迟或成本对照,三个财报案例也不能当成安全基准测试结果。作者只预告下一篇会介绍公共安全基准 AgentDojo 上的提示注入测试。
LLM 判定可以增加一道防线,不能被当成确定性的授权结果。
对于金额上限、固定域名白名单这类条件,代码校验更容易得到稳定结果。语义政策更适合处理需要读懂上下文的问题,例如判断附件是否属于未发布财报,或文档中的删除要求是否偏离任务。两者适合配合使用。
原文也区分了其他控制的职责:IAM 和 Agent Gateway access policies 管工具及 MCP servers 的访问;Model Armor 筛查提示与响应中的越狱、敏感数据等威胁;Agent Anomaly Detection 异步分析会话。Semantic governance policies 补的是执行前的逐次语义判断,并不替代这些控制,也不替代披露流程和法务合规审核。
能拿来做什么
- 给已有邮件、文件工具的 Agent 接入检查时,先确认相关流量经过 Agent Gateway,再开启 dry run。这个模式只记录原本会拒绝的调用,不实际阻断,适合先核对判断是否符合业务预期。
- 为每个工具补齐清楚的描述,并让政策沿用描述中的术语。原文明确说,judge 依赖工具描述理解操作,而且被要求拒绝调用没有描述的工具。
- 在 Node Agent 的发送、上传、退款等业务链路中,保留可确定执行的参数校验,再用语义政策检查内容和意图。不要把已有的金额或收件人限制全部交给概率判断。
- 根据 Cloud Logging 中的判定和理由调整政策,确认效果后再切换到强制执行;如果实际使用流式模型响应,先核对这个覆盖缺口是否影响关键操作。